Pruebas de normalidad

Lo primero: para qué se pregunta

Casi nadie necesita saber si sus datos son normales. Lo que se necesita saber es otra cosa: si la prueba que se va a usar después aguanta el desvío que tienen. Y eso no lo contesta un valor p.

La confusión más cara del tema es creer que la prueba t exige que los datos sean normales. No: exige que lo sea la distribución de la media muestral, que por el teorema central del límite se vuelve normal aunque los datos no lo sean. Con n = 200 y una asimetría moderada, la t funciona bien y Shapiro-Wilk rechaza igual. El problema no está en la t.

Donde la normalidad sí importa de verdad es en muestras chicas —con n = 12 el teorema central del límite no salvó a nadie—, en los intervalos de predicción de una regresión, y en cualquier procedimiento que use la varianza directamente.

Por qué hay cuatro y no una

Porque miden cosas distintas y fallan en lugares distintos.

Shapiro-Wilk compara los datos ordenados con lo que cabría esperar de una normal, y es la de más potencia en casi todo escenario estudiado. Es la que hay que informar si hay que informar una sola. Acá está implementada con el algoritmo AS R94 de Royston, el mismo que usan R y scipy, y da los mismos dígitos.

Kolmogorov-Smirnov mide la máxima distancia vertical entre la acumulada de los datos y la de la normal. Tiene poca potencia y un problema propio, que es la sección siguiente.

Anderson-Darling hace lo mismo pero pesando las colas, que es donde un valor extremo arruina una media. Es la que conviene cuando lo que se sospecha son datos raros en los extremos.

D'Agostino-Pearson es la única que separa la asimetría de la curtosis. No es la de más potencia, pero es la única cuyo resultado se traduce en una decisión: cola larga a la derecha se ataca con un logaritmo, exceso de curtosis se ataca yendo a mirar los cinco datos que lo producen.

Con esa última hay un detalle que conviene saber, porque afecta a cualquiera que use Python. La función skewtest de scipy —hasta la versión 1.18— reemplaza el estadístico por 1 cuando da exactamente 0, con lo cual una muestra perfectamente simétrica devuelve z = 1,03 y p = 0,30: informa un desvío de la simetría justo cuando la simetría es exacta. No es un caso de laboratorio —pasa con cualquier conjunto armado por pares o con un diseño equilibrado—. Esta calculadora devuelve ahí z = 0 y p = 1, que es lo que corresponde.

La corrección de Lilliefors, que casi nadie aplica

El Kolmogorov-Smirnov clásico supone que la normal contra la que se compara está fijada de antemano: su media y su desvío vienen de afuera, no de los datos. Eso casi nunca pasa. Lo que se hace en la práctica es estimar la media y el desvío de la misma muestra y compararla contra esa normal.

Y ahí la prueba deja de ser válida. La normal ajustada queda necesariamente más cerca de la muestra de lo que estaría una normal cualquiera —se la ajustó para eso—, así que D sale más chico de lo que debería y el valor p sale más grande. La prueba se vuelve conservadora: deja pasar desvíos que son reales.

Lilliefors calculó la distribución nula correcta para ese caso. La calculadora la usa, y además muestra el valor p que habría dado sin corregir, para que se vea el tamaño del engaño. En muestras chicas la diferencia es enorme: no es raro pasar de p = 0,20 a p = 0,03.

Esto es lo que hace mal una planilla de cálculo a la que se le pasa la media y el desvío de la muestra, y también varias calculadoras web. Si alguna vez informaste un Kolmogorov-Smirnov con los parámetros estimados y sin corregir, el valor p estaba inflado.

El Q-Q plot y su banda

El Q-Q plot pone en un eje los cuantiles teóricos de una normal y en el otro los datos ordenados. Si son normales, los puntos caen sobre una recta. Es la mejor herramienta del tema y la más maltratada, porque casi siempre se la dibuja sin banda.

Sin banda, todo Q-Q plot con pocos datos parece torcido. Los extremos de una muestra se mueven muchísimo: el valor más alto de 20 datos normales varía tanto de muestra en muestra que a ojo siempre parece un problema. La lectura sin banda termina rechazando normales perfectas.

La banda de acá sale de la distribución exacta del estadístico de orden: si los datos son normales, el i-ésimo valor ordenado, pasado por la acumulada, se distribuye Beta(i, n+1−i). Es una banda puntual, no simultánea: con 100 puntos se esperan unos 5 afuera aunque la muestra sea impecablemente normal. La calculadora dice cuántos se esperaban y cuántos hay.

El n manda más que los datos

Todas estas pruebas tienen el mismo defecto estructural, y conviene tenerlo presente antes de mirar ningún valor p:

Con n chico —menos de 15, digamos— no tienen potencia para nada. No rechazar ahí no es evidencia de normalidad: es falta de datos. Es exactamente el escenario en el que la normalidad más importa, y es donde la prueba menos sirve.

Con n grande —más de 300— detectan desvíos tan chicos que no afectan a ninguna prueba t ni a ningún intervalo. Una asimetría de 0,15 es irrelevante para cualquier cosa que se vaya a hacer después, y con n = 2000 la rechazan igual.

Por eso la salida incluye la asimetría y la curtosis con su error estándar, y el Q-Q con banda. Eso se puede mirar sin que el tamaño de muestra lo arruine; el valor p, no.

Y si rechaza, ¿qué?

La respuesta casi nunca es «uso una no paramétrica». Antes hay tres preguntas mejores.

¿Es un puñado de valores extremos? Si la curtosis es lo que se desvía y la asimetría no, suelen ser tres o cuatro datos. Hay que ir a mirarlos: muchas veces son errores de carga, y ahí no hay estadística que arregle nada.

¿Es asimetría? Con cola larga a la derecha —lo habitual en ingresos, tiempos y superficies— un logaritmo suele dejar la variable razonablemente simétrica, y encima el resultado se interpreta en porcentajes, que a veces es lo que se quería desde el principio.

¿Cuántos datos hay? Si son más de 100 y la asimetría es moderada, la prueba t aguanta. El rechazo de Shapiro-Wilk en ese caso es información sobre el tamaño de muestra, no sobre el riesgo del procedimiento.

Recién si ninguna de las tres responde, las pruebas por rangos son la salida.