Tamaño del efecto

Un tamaño de efecto sin intervalo no dice nada

Es la idea que organiza toda esta página. Si un trabajo informa «d = 0,62» y nada más, no hay manera de saber si eso salió de dieciocho casos o de mil ochocientos, y la diferencia es entre una estimación que podría ser cualquier cosa y una que sirve.

Con dieciocho casos por grupo, una d de 0,62 viene con un intervalo de [−0,05 ; 1,29]: incluye el cero y también incluye un efecto enorme. Con mil ochocientos por grupo, el mismo 0,62 viene con [0,55 ; 0,69]. El número del medio es idéntico y lo que se puede afirmar es completamente distinto. Los dos intervalos salen de esta misma calculadora: se pueden reproducir cargando t = 1,86 con n = 18 y n = 18, y t = 18,6 con n = 1800 y n = 1800.

Informar el tamaño del efecto sin intervalo repite el problema del valor p en otra escala: un número solo, sin medida de su propia incertidumbre.

Por qué el intervalo no es simétrico

La forma habitual de armar un intervalo —el valor, más y menos un error estándar por un valor crítico— supone que la cantidad estimada se reparte de forma simétrica alrededor de su valor verdadero. La d no cumple eso.

El motivo es que la d tiene un desvío estimado en el denominador. Su distribución muestral es una t no central reescalada, que es asimétrica, y la asimetría crece a medida que el efecto es más grande y la muestra más chica. Por eso acá el intervalo se construye invirtiendo esa distribución: se buscan los dos valores del parámetro de no centralidad que dejarían al resultado observado justo en los bordes de lo esperable.

Es lo que en la literatura se llama método pivotal o de no centralidad. Lo implementa MBESS en R y, hasta donde pude revisar, ninguna calculadora web gratuita.

Y el aproximado, ¿está mal?

No como uno esperaría, y vale la pena decirlo con precisión porque es tentador exagerarlo. Medido por simulación, el intervalo aproximado no se queda corto: se pasa. Con seis casos por grupo y d = 1,5 cubre el 97,3 % cuando promete 95, y con diez casos y efecto nulo, 96,6 %.

O sea que es más ancho de lo necesario. No es peligroso —erra para el lado prudente— pero es menos informativo, y además es simétrico cuando la incertidumbre real no lo es. El exacto, en las mismas simulaciones, cubre entre 94,8 % y 95,4 %: exactamente lo que promete. La calculadora muestra los dos.

d o g: cuál informar

La d de Cohen sobreestima el efecto poblacional, y el sesgo depende solo de los grados de libertad. La g de Hedges es la misma d multiplicada por un factor de corrección que vale menos que uno.

Con veinte casos en total el factor vale 0,958: la d estaba cuatro por ciento inflada. Con diez casos, 0,921. Con doscientos, 0,996 y la distinción deja de importar. La regla práctica: con menos de cincuenta casos en total, informar g; con más, da igual cuál, pero decir cuál.

La familia de la varianza explicada

Cuando lo que hay es un ANOVA, la medida es η², la proporción de varianza que explica el factor. Y η² tiene el mismo problema que la d pero peor: sobreestima siempre y bastante. Con tres grupos de diez casos y un efecto poblacional exactamente nulo, el η² esperado no es cero: es 0,07.

Por eso existen ω² y ε², que descuentan ese sesgo, y por eso pueden dar negativo. Cuando pasa no es un error: significa que el efecto muestral es menor que el ruido que cabría esperar por azar, y lo honesto es informar cero y no el η² inflado.

La calculadora devuelve las tres, más la f de Cohen, que es la medida que pide la calculadora de potencia si uno quiere planificar el próximo estudio con lo que salió de este.

Cuando el trabajo solo publica el estadístico

Es la mitad de la literatura: «t(58) = 2,41, p = 0,019» y ni una media ni un desvío. Con el t y los dos n se recupera la d exacta, con su intervalo y todo, porque el t y la d son la misma cantidad reescalada. Lo mismo con una F y sus grados de libertad para llegar al η².

Es lo que hay que hacer para leer una revisión sistemática, o simplemente para saber si el efecto que reporta un trabajo es grande o es un p chiquito que salió de una muestra enorme.

El conversor, y su letra chica

Las conversiones entre d, r, razón de posibilidades, f y η² son exactas como álgebra y aproximadas como estadística: suponen dos grupos del mismo tamaño y distribuciones normales de igual varianza. Con grupos muy desbalanceados la que se corre es la r, porque su máximo posible depende de cómo estén repartidos los casos.

Sirven para comparar órdenes de magnitud entre estudios que usaron medidas distintas. No sirven para informar un resultado propio: para eso hay que calcular la medida que corresponde desde los datos.

Las etiquetas de Cohen

Chico, medio y grande. La calculadora las muestra porque todo el mundo las pide, y conviene saber de dónde salen: Cohen las publicó advirtiendo que eran provisorias y que había que reemplazarlas por conocimiento del campo apenas lo hubiera. Medio siglo después se las cita como si fueran una propiedad de la naturaleza.

Una d de 0,2 puede ser enorme si se trata de mortalidad y despreciable si se trata de un puntaje de satisfacción. El dibujo de las dos campanas que muestra la calculadora ayuda más que la etiqueta: una d de 0,5 deja dos distribuciones que se superponen en un 80 % del área, que es bastante más de lo que la palabra «medio» sugiere.