El p-valor en movimiento

El p-valor también es aleatorio

Un p-valor se calcula con una muestra, y otra muestra de la misma población da otro. Es tan aleatorio como la media muestral, pero casi nunca se lo mira así: se lo informa con tres decimales, como si fuera una propiedad fija del fenómeno.

La primera figura lo muestra. Veinticinco repeticiones de un experimento idéntico —dos grupos de 20 personas, un efecto real de medio desvío— dan p-valores que recorren varios órdenes de magnitud. Geoff Cumming llamó a esto la danza de los p-valores, en un artículo de 2008 en Perspectives on Psychological Science. La consecuencia práctica es directa: que un estudio haya dado p = 0,01 dice muy poco sobre lo que va a dar su réplica.

Con la hipótesis nula cierta, cualquier p es igual de probable

Poné el efecto en cero. Los dos grupos salen ahora de la misma población y el histograma de los mil p-valores queda plano: la distribución del p-valor bajo la hipótesis nula es uniforme entre 0 y 1. Por eso la proporción de p-valores por debajo de 0,05 es 5 %, y eso —ni más ni menos— es lo que significa α: la tasa de falsos positivos que se acepta cuando no hay nada que encontrar.

También dice algo menos obvio: con la nula cierta, un p de 0,04 no es más raro que uno de 0,64. Un p chico no es «evidencia de que algo pasó» por sí mismo; es un resultado que, si no pasara nada, saldría una de cada veinticinco veces.

El p-valor no es la probabilidad de que la nula sea cierta

Es la confusión más extendida del tema. El p-valor es la probabilidad de obtener un resultado al menos tan extremo si la nula fuera cierta. La pregunta inversa —dado que salió significativo, ¿qué probabilidad hay de que sea un falso positivo?— tiene otra respuesta, que depende de dos cosas que el p-valor no conoce: la potencia del estudio y qué parte de las hipótesis que se ponen a prueba eran ciertas desde el principio.

El último panel hace la cuenta. Con los valores con que abre la página —estudios con potencia del 34 % y una de cada cuatro hipótesis cierta— casi un tercio de los resultados significativos son falsos positivos, aunque cada uno se haya probado al 5 %. Es el argumento del artículo de John Ioannidis de 2005 en PLoS Medicine, «Why most published research findings are false»: en campos donde se prueban muchas hipótesis poco plausibles con estudios chicos, la mayoría de lo significativo puede ser falso sin que nadie haya hecho trampa.

Lo que sale significativo exagera

Con poca potencia, solo pasan el umbral las muestras que por azar mostraron una diferencia grande. Con n = 20 por grupo y un efecto verdadero de d = 0,5, los experimentos significativos estiman a la larga, en promedio, d = 0,87: 1,7 veces el valor real. Cada tanda de mil de la simulación da un número parecido, que oscila alrededor de ese. Andrew Gelman y John Carlin lo llamaron error de tipo M —de magnitud— en 2014, y al de obtener un significativo con el signo al revés, error de tipo S.

Si solo se publica lo significativo, la literatura sobre un tema sobrestima el efecto, y los estudios que después intentan replicarlo, calculando la muestra con ese efecto inflado, se quedan cortos de potencia. Subí el n a 100 y mirá cómo la exageración casi desaparece: la solución es la potencia, no un α más estricto.

Y «no significativo» no quiere decir «no hay efecto»

Con el efecto en 0,5 y 20 por grupo, dos de cada tres experimentos dan no significativo sobre un efecto que existe. Concluir de ellos que «no hay diferencia» es el error de tipo II disfrazado de hallazgo. Un resultado no significativo con poca potencia no informa casi nada; por eso conviene acompañar cualquier p-valor con el intervalo de confianza del efecto, que muestra cuánto se sabe y cuánto no.