Calculadora
Acuerdo y concordancia
Dos observadores, dos instrumentos o la misma medición repetida: no alcanza con que se muevan juntos, tienen que coincidir. Kappa para categorías; el intraclase y Bland-Altman para mediciones.
Dos evaluadores clasifican 100 casos y coinciden en 85. Con categorías parejas, kappa es 0,70. Es la primera fila de la tabla de la ficha.
| Observador 1 ↓ · Observador 2 → | ||
|---|---|---|
| Apto | ||
| No apto |
La diagonal, remarcada, son los casos en que los dos coinciden. Para la kappa ponderada, el orden de las categorías importa: tiene que ir de un extremo al otro.
κ = 0,700 (IC del 95 %: 0,561 a 0,839): acuerdo bueno
Coinciden en el 85,0 % de los 100 casos. Por azar, con estos marginales, coincidirían en el 50,0 %. Kappa mide qué parte del acuerdo que no se explica por azar se consiguió.
Los marginales
| Categoría | Obs. 1 | Obs. 2 |
|---|---|---|
| Apto | 55,0 % | 50,0 % |
| No apto | 45,0 % | 50,0 % |
Con estos marginales, el kappa más alto posible es 0,900: si los dos observadores reparten distinto los casos, no pueden coincidir en todos.
La prueba
Error estándar: 0,071
Contra κ = 0: z = 7,04, p = 1,989 · 10⁻¹²
Que kappa sea distinto de cero casi nunca es la pregunta: dos observadores razonables siempre coinciden más que el azar. Lo que importa es cuánto, y eso lo dice el intervalo. La prueba usa el error bajo la hipótesis de acuerdo por azar, distinto del que arma el intervalo: con marginales extremos pueden no coincidir.
Por qué no la correlación
Si un instrumento da siempre 3 unidades más que otro, la correlación de Pearson entre los dos es exactamente 1 y no coinciden en ninguna medición. La correlación mide si los puntos caen sobre una recta cualquiera; el acuerdo exige que caigan sobre la recta y = x. El ejemplo «Correlación perfecta, sin acuerdo» lo muestra: el intraclase de acuerdo absoluto baja a 0,76.
Kappa, y su paradoja
Kappa descuenta el acuerdo que se lograría por azar con los mismos marginales. Por eso un 85 % de coincidencia puede ser un kappa de 0,70 o uno negativo, según cómo se repartan los casos: si casi todos caen en una categoría, coincidir es fácil y no tiene mérito. Conviene informar el porcentaje de acuerdo, el kappa y los marginales de cada observador. Con categorías ordenadas —leve, moderada, grave— va la ponderada, que cuenta en parte los desacuerdos cercanos; la cuadrática es la más usada y la que se parece al intraclase. Los errores estándar, del intervalo y de la prueba, son los de Fleiss, Cohen y Everitt (1969).
Cuál intraclase
Hay seis, y los programas no siempre dicen cuál devuelven. El que responde si dos métodos se pueden usar indistintamente es el de acuerdo absoluto, el ICC(2,1) de Shrout y Fleiss: penaliza las diferencias sistemáticas. El de consistencia, ICC(3,1), solo pide que los dos ordenen igual a los casos, y puede ser alto aunque un método mida siempre más. Los intervalos son los de McGraw y Wong (1996), y los valores del ejemplo de Shrout y Fleiss coinciden con los que publica el paquete psych de R.
Bland-Altman
Es el gráfico que conviene mirar antes que cualquier coeficiente: la diferencia entre los dos métodos contra su promedio, con la diferencia media —el sesgo— y los límites de acuerdo, a 1,96 desvíos de ella. Dice, en las unidades del instrumento, cuánto pueden discrepar dos mediciones del mismo caso. Si ese margen es tolerable no lo decide la estadística sino el uso que se le va a dar.