Comparaciones múltiples y p-hacking

1 · El problema

Con $\alpha = 0{,}05$, cada prueba tiene un 5 % de probabilidad de dar un falso positivo. Haciendo muchas, la probabilidad de que alguna lo dé se vuelve casi certeza:

$$P(\text{al menos un falso positivo}) = 1 - (1-\alpha)^{m}$$

Pruebas	Probabilidad
1	5 %
5	23 %
10	40 %
20	64 %
50	92 %
100	99,4 %

2 · Dónde aparece sin que se note

Lo grave no son las comparaciones explícitas —esas se corrigen— sino las decisiones que multiplican las pruebas de manera invisible:

• Muchas variables de resultado. Se miden 15 indicadores y se reporta el que dio.
• Muchos subgrupos. “No dio en general, pero sí en mujeres de más de 50”.
• Varias formas de medir lo mismo. Puntaje total, subescalas, dicotomizado.
• Varios momentos de medición.
• Distintos criterios de exclusión. Sacar atípicos, o no.
• Distintos modelos. Con y sin covariables, hasta que una dé.
• Parar de recolectar cuando el resultado se vuelve significativo.
• Elegir unilateral después de ver que bilateral no daba.

Cuánto infla cada una, medido

Simulación con la hipótesis nula cierta por construcción —dos grupos de 20 casos sacados de la misma población— y 40.000 réplicas por fila. Todas las filas deberían dar 5 %. El simulador de p-hacking la reproduce, con cada decisión detallada:

Práctica	Falsos positivos
Una sola prueba, como corresponde	5,02 %
Con y sin covariable, se reporta la mejor	5,61 %
Sacar atípicos, o no, según convenga	7,44 %
Dos variables de resultado, se reporta la mejor	9,20 %
Pasar a unilateral tras ver la dirección	10,12 %
El total más dos subgrupos	11,69 %
Parar de recolectar al dar significativo	12,82 %
Dos variables, atípicos y parar de recolectar, combinadas	32,16 %

3 · P-hacking

Es explorar variantes del análisis hasta que el resultado cruce el umbral. Rara vez es deliberado: lo habitual es una cadena de decisiones razonables, cada una tomada mirando el resultado.

La evidencia de que ocurre es estadística: en la literatura publicada hay un exceso de valores p apenas por debajo de 0,05, un escalón que ninguna distribución real produciría.

4 · Las correcciones

Controlar la tasa de error por familia (FWER): la probabilidad de al menos un falso positivo.

Método	Cómo
Bonferroni	umbral $\alpha/m$
Holm	secuencial; misma garantía y más potencia
Tukey	específico para todos los pares de un ANOVA

Cuánta más potencia tiene Holm, medido con efectos reales de $d = 0{,}80$ y 30 casos por grupo:

Escenario	Bonferroni detecta	Holm detecta	FWER de los dos
10 pruebas, 3 con efecto	61,6 %	63,4 %	3,4 % y 4,3 %
20 pruebas, 4 con efecto	52,8 %	53,9 %	4,2 % y 4,6 %
50 pruebas, 5 con efecto	42,6 %	43,0 %	4,6 % y 4,8 %

Controlar la tasa de falsos descubrimientos (FDR): la proporción esperada de falsos positivos entre los rechazados.

Método	Cómo
Benjamini-Hochberg	secuencial, mucho menos exigente

Los cuatro criterios sobre el mismo escenario

50 pruebas, de las cuales 5 tienen un efecto real de $d = 0{,}80$ con 30 casos por grupo, y 45 son nulas. 40.000 réplicas:

Criterio	Detecta los reales	Al menos un falso	Falsos entre lo reportado
Sin ajustar	87,2 %	89,9 %	31,2 %
Bonferroni	42,5 %	4,6 %	1,9 %
Holm	43,0 %	4,8 %	1,9 %
Benjamini-Hochberg	56,5 %	16,7 %	4,8 %

5 · Lo que no es corregible

Corregir sirve cuando las pruebas están declaradas. No hay corrección posible para las pruebas que no se cuentan. Si se hicieron cuarenta análisis y se reportan tres, ninguna fórmula arregla eso.

Por eso las soluciones reales son de procedimiento:

Práctica	Qué resuelve
Preregistro	fija las hipótesis y el análisis antes de ver los datos
Plan de análisis	define resultado primario y secundarios
Distinguir confirmatorio de exploratorio	los hallazgos exploratorios se declaran como tales
Reportar todo	incluidas las pruebas que no dieron
Replicación	la prueba definitiva

6 · Cuándo no corregir

No siempre corresponde:

• Cuando las pruebas responden preguntas independientes y cada una se interpreta por separado.
• Cuando hay una sola hipótesis primaria declarada de antemano y el resto son secundarias, así etiquetadas.
• En análisis declaradamente exploratorios, donde corregir a Bonferroni eliminaría todo.

Corregir siempre y por todo también tiene un costo: potencia. En el escenario de la sección 4, pasar de no ajustar a Bonferroni lleva la detección de efectos reales del 87,2 % al 42,5 %: se pierde la mitad de lo que hay. La decisión se declara y se justifica.

7 · Errores frecuentes

• No corregir con muchas comparaciones.
• Reportar solo lo significativo.
• Buscar subgrupos hasta encontrar un efecto.
• Parar la recolección al alcanzar significación. Es la práctica más costosa de a una: lleva el 5 % al 13 %.
• Presentar un hallazgo exploratorio como si fuera confirmatorio.
• Corregir dos veces por error, combinando métodos.
• Aplicar Bonferroni a cientos de pruebas, donde corresponde FDR.
• Creer que el problema se arregla con la corrección, cuando la mayoría de las pruebas no se declaró.

8 · En el software

# R — ajustar un vector de valores p
p <- c(0.001, 0.013, 0.021, 0.032, 0.048, 0.31)

p.adjust(p, method = "bonferroni")
p.adjust(p, method = "holm")        # el recomendado para FWER
p.adjust(p, method = "BH")          # Benjamini-Hochberg, para FDR

# Cuántos sobreviven a cada criterio
sum(p.adjust(p, "holm") < 0.05)
sum(p.adjust(p, "BH")   < 0.05)

# Python
from statsmodels.stats.multitest import multipletests
multipletests(p, alpha=0.05, method='holm')
multipletests(p, alpha=0.05, method='fdr_bh')

@misc{estadistica_ar_comparaciones_multiples_y_p_hacking,
  author       = {Montivero, Jorge Luis},
  title        = {{Comparaciones múltiples y p-hacking}},
  year         = {2026},
  howpublished = {\url{https://estadistica.ar/conceptos/comparaciones-multiples-y-p-hacking}},
  note         = {estadistica.ar. Consultado el \today},
  urldate      = {2026-09-26}
}