Potencia estadística

Las cuatro cantidades atadas

La potencia es la probabilidad de detectar un efecto que existe. Está atada a otras tres —el tamaño del efecto, el n y el nivel α— de modo que fijadas tres queda determinada la cuarta. Por eso una sola calculadora responde las tres preguntas útiles: cuántos casos hacen falta, qué potencia hay, y qué efecto queda al alcance.

La tercera es la menos usada y casi siempre la más pertinente. Cuando el n ya está dado —porque la encuesta se hizo, porque el registro es el que es, porque el presupuesto alcanza para eso— preguntar cuántos casos harían falta es un ejercicio sin destinatario. Lo que hay que saber es qué tamaño de efecto llega a detectarse, y si ese tamaño es interesante o es tan grande que sería una noticia.

Por qué la distribución no central

Una prueba de hipótesis compara un estadístico contra la distribución que tendría si la hipótesis nula fuera cierta. La potencia pregunta otra cosa: si el efecto existe y vale tanto, ¿con qué probabilidad el estadístico supera el valor crítico? Para eso hace falta la distribución del estadístico cuando el efecto existe, que ya no es la t sino la t no central.

Muchas calculadoras web saltean ese paso y usan una aproximación normal. La aproximación trata el estadístico como si el desvío fuera conocido, cuando en realidad se estima de los mismos datos, y eso pesa justamente donde uno calcula potencia: en las muestras chicas.

Los números, medidos: con diez casos por grupo y d = 0,8, la aproximación da 0,4322 donde el valor es 0,3951. Con cinco por grupo, 0,2441 donde va 0,2007. El error siempre va para el mismo lado —la aproximación sobreestima—, así que un estudio planificado con ella sale más chico de lo que debía. La calculadora muestra las dos cifras, para que se vea.

La potencia observada, que es el gran malentendido

Es habitual que una revista o un tribunal pida «calcular la potencia» después del estudio, usando el efecto que se observó. El pedido suena razonable y no lo es: ese cálculo no agrega ninguna información.

El motivo es que el efecto observado y el valor p son la misma cosa reescalada. Si se calcula la potencia con el efecto observado, el resultado es una función determinística del valor p: dos estudios con el mismo n y el mismo p tienen exactamente la misma «potencia observada», sin importar qué midieron ni cómo. La calculadora dibuja esa curva para el n que pongas.

De ahí que el argumento «no rechazamos porque la potencia fue baja» sea circular: la potencia observada salió baja porque no se rechazó. No es una explicación del resultado, es el resultado dicho dos veces.

Lo que sí contesta la pregunta de fondo —«¿tenía mi estudio con qué encontrar algo?»— es el efecto detectable: qué tamaño de efecto habría detectado ese n con potencia razonable. Se calcula sin mirar el resultado obtenido, y por eso significa algo. Si el efecto detectable era 0,9 y lo que se busca es un efecto de 0,3, el estudio nunca tuvo chance, y eso es una conclusión válida.

El 80 % no es una ley

La convención de apuntar al 80 % viene de Cohen, que la propuso como un punto de partida razonable cuando no hay nada mejor, no como un umbral. Aceptar el 80 % es aceptar perderse uno de cada cinco efectos reales, y si el estudio es caro o irrepetible eso puede ser demasiado.

Hay que mirar la forma de la curva: subir del 80 % al 90 % cuesta bastante más que llegar al 80 %, y del 90 % al 95 %, muchísimo más. La decisión es de costo y de consecuencias, no estadística.

De dónde sale el tamaño del efecto

Es la parte incómoda: para calcular la potencia hay que saber de antemano qué tan grande es el efecto, que es lo que el estudio viene a averiguar. No hay salida elegante, pero sí tres caminos honestos.

De estudios previos. Es el mejor, con una advertencia: los efectos publicados están inflados. Un estudio chico solo llega a publicarse si le dio significativo, y para darle significativo siendo chico tuvo que observar un efecto grande. Conviene tomar el efecto publicado y bajarlo.

Del efecto mínimo que importaría. No «cuánto creo que va a dar» sino «desde qué tamaño esto cambiaría alguna decisión». Es la pregunta correcta y la que más cuesta responder, porque no es estadística: es sustantiva.

De las convenciones de Cohen —chico, medio, grande—, que la calculadora muestra al lado de cada medida. Es el peor de los tres y a veces el único disponible. Cohen las publicó advirtiendo que eran provisorias y que había que reemplazarlas por conocimiento del campo apenas lo hubiera.

Qué está calculado exacto y qué no

Las pruebas t, el ANOVA y la chi-cuadrado usan la distribución no central que les corresponde, sin aproximar nada. Los resultados coinciden con statsmodels hasta el noveno decimal y con simulación directa —generar datos, correr la prueba, contar rechazos— dentro del error de Monte Carlo.

La correlación y la comparación de proporciones usan las aproximaciones estándar del campo: la transformación de Fisher y el arcoseno de Cohen. Son aproximaciones de verdad y está dicho en la salida. Contra simulación, la de Fisher se queda corta hasta 0,04 con muestras muy chicas y nunca se pasa, que es el lado por el que conviene equivocarse.