Simulador
P-hacking: sin trampa y sin nada que encontrar
Dos mil estudios donde la hipótesis nula es cierta. Cada decisión que se toma mirando el resultado es razonable por separado; mirá cuánto suman.
Lo que el investigador se permite
0 de 0 estudios dieron significativo.
En ninguno hay nada que encontrar: los dos grupos salen de la misma población. Cada una de las 3 decisiones es defendible por separado; juntas llevan el 5 % prometido a 0 %, y el paper solo va a mostrar la variante que dio. Simulando…
Un estudio, por dentro
Probó 26 variantes y la última dio p = 0,031. Es la que se publica, con 32 casos por grupo; las otras no aparecen en ningún lado.
- 1.Variable principal · n = 20p = 0,626
- 2.Variable principal, sin atípicos · n = 20p = 0,334
- 3.Segunda variable · n = 20p = 0,990
- 4.Segunda variable, sin atípicos · n = 20p = 0,683
- 5.Variable principal · n = 22p = 0,442
- 6.Variable principal, sin atípicos · n = 22p = 0,205
- 7.Segunda variable · n = 22p = 0,663
- 8.Segunda variable, sin atípicos · n = 22p = 0,937
- 9.Variable principal · n = 24p = 0,308
- 10.Variable principal, sin atípicos · n = 24p = 0,117
- 11.Segunda variable · n = 24p = 0,442
- 12.Segunda variable, sin atípicos · n = 24p = 0,984
- 13.Variable principal · n = 26p = 0,217
- 14.Variable principal, sin atípicos · n = 26p = 0,069
- 15.Segunda variable · n = 26p = 0,461
- 16.Segunda variable, sin atípicos · n = 26p = 0,967
- 17.Variable principal · n = 28p = 0,251
- 18.Variable principal, sin atípicos · n = 28p = 0,092
- 19.Segunda variable · n = 28p = 0,245
- 20.Segunda variable, sin atípicos · n = 28p = 0,800
- 21.Variable principal · n = 30p = 0,199
- 22.Variable principal, sin atípicos · n = 30p = 0,071
- 23.Segunda variable · n = 30p = 0,304
- 24.Segunda variable, sin atípicos · n = 30p = 0,916
- 25.Variable principal · n = 32p = 0,114
- 26.Variable principal, sin atípicos · n = 32p = 0,031 ← se publica
Los valores p que se reportan, entre 0 y 0,2
La línea punteada es lo que da una sola prueba honesta: bajo la nula, el valor p es uniforme y cada franja de 0,01 recibe lo mismo. Con p-hacking, los estudios que habrían quedado apenas por encima de 0,05 se empujan por debajo: 0 entre 0,04 y 0,05 contra 0 entre 0,05 y 0,06. Ese escalón es la firma que se busca en la literatura publicada.
Cómo está hecha la simulación
- Cada estudio saca dos grupos de 20 casos de la misma normal. Cada caso tiene dos variables de resultado con correlación 0,5, una covariable independiente y un sexo al azar. La prueba es la t de Student a dos colas, con α = 0,05.
- El investigador prueba las variantes que tiene permitidas, empezando por lo planeado, y se detiene en la primera que da. Se reporta esa; si ninguna da, la original.
- Está verificada: las pruebas contra SciPy y statsmodels, cada estudio contra una reimplementación independiente en Python, y las tasas contra la teoría donde la hay (una sola prueba da α; pasar a unilateral, 2α).
- El azar es reproducible. Con la semilla 1976 y 40.000 réplicas por fila sale exactamente la tabla de la ficha.
Nadie hizo trampa
Ninguna de las seis prácticas es fraude. Medir dos variables de resultado es prudente; revisar los atípicos, obligatorio; mirar los subgrupos, interesante. El problema aparece cuando la decisión se toma después de ver el valor p, y se reporta solo la variante que dio. Con las tres que la página prende al abrir, un estudio sobre datos donde no hay nada da significativo casi una vez de cada tres. Con las seis juntas, más de cuatro de cada cinco.
Es el argumento de Joseph Simmons, Leif Nelson y Uri Simonsohn en False-positive psychology, de 2011: los «grados de libertad del investigador» alcanzan para que casi cualquier cosa salga significativa, y el lector del paper no tiene cómo enterarse. El estudio de este simulador se parece al suyo, pero sus números no son los mismos: dependen de cuántas variantes se prueban y de cuánto se parecen entre sí.
Por qué unas prácticas pesan más que otras
Probar con y sin una covariable casi no infla nada: las dos pruebas dan valores p muy parecidos, así que tener dos oportunidades es casi como tener una. Dos variables de resultado correlacionadas 0,5 inflan más, porque sus pruebas coinciden menos. Y seguir recolectando es de lo peor, porque cada mirada nueva es otra oportunidad, y el valor p, bajo la nula, sube y baja sin parar hasta que en algún momento cruza el umbral. Por eso pasar a unilateral duplica exactamente la tasa: es lo mismo que usar α = 0,10.
La firma en la literatura
Bajo la nula, el valor p de una prueba honesta es uniforme: cae entre 0,04 y 0,05 tan seguido como entre 0,05 y 0,06. Con p-hacking, los estudios que iban a quedar apenas por encima del umbral se empujan apenas por debajo, y el histograma muestra un escalón justo en 0,05. Es lo que se encuentra cuando se juntan los valores p publicados en muchas revistas, y es la evidencia de que el umbral influyó en lo que se publicó.
Lo que lo resuelve, y lo que no
Las correcciones por comparaciones múltiples sirven cuando se sabe cuántas pruebas se hicieron. Acá el problema es justamente que no se sabe: nadie cuenta las variantes que probó mirando el resultado. Lo que funciona es decidir antes: un preregistro o un plan de análisis que fije la variable principal, qué se hace con los atípicos y cuántos casos se van a juntar. Si hace falta mirar los datos en el camino, existen diseños secuenciales que descuentan cada mirada del presupuesto de α.