Simulador
Los cinco muestreos sobre el mismo mapa
Una ciudad chica con la población entera a la vista: se sabe el ingreso de cada uno de los 1.407 hogares, así que se sabe la respuesta. Cinco diseños sortean sobre ella y se puede ver, en vez de suponer, cuál se equivoca menos y cuál miente sobre cuánto se equivoca.
Esta muestra
| Ingreso medio estimado | $ 346.100 |
| El verdadero, que acá se conoce | $ 345.781 |
| Error estándar del diseño | ± $ 12.583 |
| Grados de libertad | 119 |
| Intervalo al 95 % | $ 321.184 – $ 371.016 |
| ¿Contiene al verdadero? | sí |
| Efecto del diseño | 0,90 |
Repitiendo el sorteo 500 veces
| Diseño | Error real | El que anuncia | deff | Cobertura |
|---|---|---|---|---|
| Simple | 13.511 | 13.180 | 1,04 | 95,0 % |
| Sistemático | 9.754 | 13.241 | 0,54 | 100,0 % |
| Estratificado | 10.673 | 10.182 | 0,65 | 94,0 % |
| Conglomerados | 35.725 | 33.197 | 7,07 | 90,6 % |
| Bietápico | 26.690 | 24.068 | 4,02 | 91,4 % |
«Error real» es el desvío de las 500 estimaciones: lo que el diseño se equivoca de verdad, que se puede calcular porque acá la población entera está a la vista. «El que anuncia» es el promedio de los errores que declara la fórmula de cada diseño. Que las dos columnas coincidan es lo único que hace creíble a un error estándar.
La misma selección, en R
# La ciudad se arma con el mismo generador; acá va solo la selección. set.seed(7) muestra <- sample(N, 120)
La ciudad
Ciento cuarenta y cuatro manzanas en cuatro anillos, del centro al borde. El ingreso medio va de $ 515.259 en el Centro a $ 222.570 en el Borde, y dentro de cada anillo las manzanas también difieren entre sí. El promedio de toda la ciudad es $ 345.781: ese es el número que los cinco diseños tratan de adivinar, y que acá se conoce.
Lo que hace interesante al mapa es cuánto se parecen entre sí los hogares de una misma manzana. La correlación intraclase da ρ = 0,53, que es alta y es realista: el ingreso está segregado en el espacio, y el vecino de al lado se parece mucho más a uno que un hogar cualquiera de la ciudad. De ese número cuelga casi todo lo que sigue.
Qué hace cada diseño
El aleatorio simple sortea 120 hogares del listado completo. Es la referencia contra la que se miden los demás, y el único donde la fórmula de manual —la que trae cualquier software por omisión— es la correcta.
El sistemático toma uno cada k siguiendo el recorrido del censista, que va serpenteando por la grilla. Sin proponérselo, barre los cuatro anillos de manera pareja: termina pareciéndose a una muestra estratificada, y en esta ciudad sale mejor que el aleatorio simple. El problema es otro y se explica más abajo.
El estratificado reparte los 120 casos entre los cuatro barrios en proporción a su tamaño y sortea dentro de cada uno. Saca de la ecuación la variabilidad entre barrios, que acá es la parte grande, y por eso su error baja un tercio.
Los conglomerados sortean manzanas enteras y visitan todos sus hogares. Es lo más barato de hacer y lo más caro de pagar en precisión: con ρ = 0,53, doce manzanas traen mucha menos información que 120 hogares sueltos, porque los hogares de una manzana repiten entre sí lo que ya se sabía.
El bietápico sortea manzanas y dentro de cada una unos pocos hogares. Es el diseño de casi todas las encuestas a hogares que se hacen en serio, porque el encuestador ya está en la manzana. Con el control de cuántos hogares por manzana se ve el intercambio completo: más hogares por manzana es más barato y menos preciso.
Lo que se ve al repetir el sorteo
Con 120 hogares y quinientas repeticiones, los efectos del diseño quedan así:
| Diseño | deff | Cobertura | Qué significa |
|---|---|---|---|
| Simple | 1,04 | 95,0 % | la referencia |
| Sistemático | 0,54 | 100,0 % | gana precisión y no puede declararla |
| Estratificado | 0,65 | 94,0 % | gana precisión y sí la declara |
| Conglomerados | 7,07 | 90,6 % | como tener 17 hogares en vez de 120 |
| Bietápico | 4,02 | 91,4 % | como tener 30 hogares en vez de 120 |
El efecto del diseño es cuántas veces más grande es la varianza del diseño que la de un aleatorio simple del mismo tamaño. Dividir el tamaño de muestra por el deff da el tamaño efectivo: los 120 hogares de la muestra por conglomerados informan como 17 hogares sorteados sueltos. Esa es la cuenta que hay que hacer antes de festejar que salió barato.
Para conglomerados de tamaño parecido vale la aproximación deff ≈ 1 + (m − 1)·ρ, con m el tamaño del conglomerado. En el bietápico con dos hogares por manzana da 1,53 y sale 1,52; con diez da 5,75 y sale 6,18. Con manzanas de tamaño desigual la aproximación se queda corta, que es lo que pasa en el diseño de una etapa.
Las dos maneras de mentir sobre el error
La columna «el que anuncia» del panel es la que separa a un informe serio de uno que no lo es. Un error estándar es una promesa sobre cuánto se equivoca el procedimiento; si la promesa no coincide con lo que pasa al repetir, no sirve de nada que esté calculada con muchos decimales.
Mentir para abajo. Aplicarle a una muestra por conglomerados la fórmula del aleatorio simple da un error de unos $ 14.400 cuando el de verdad ronda los $ 35.700: dos veces y media menos. El intervalo sale angosto, el informe parece preciso y está mal. Es el error más común del muestreo aplicado, y no es culpa del software: el software no tiene cómo saber que las 120 filas salieron de doce manzanas.
Mentir para arriba. El sistemático hace lo contrario: su error real es de $ 9.754 y la fórmula prestada del simple declara $ 13.241. La cobertura da 100 %, que suena bien y no lo es: significa que los intervalos son más anchos de lo necesario y que se está pagando precisión que ya se tenía. No hay estimador insesgado de la varianza de un sistemático con un solo arranque —hay una sola muestra posible por cada arranque, y no hay dos partes independientes que comparar—, así que lo que se hace en la práctica es usar varios arranques, o tratar la muestra como estratificada por tramos del recorrido.
Por qué los grados de libertad no son n − 1
En un diseño por conglomerados las unidades independientes son las manzanas, no los hogares. Con doce manzanas hay once grados de libertad por más que se hayan visitado 120 hogares, y el intervalo se arma con la t de once, que es 2,20 y no 1,96. El simulador lo hace así; con z, la cobertura caería otro punto y medio.
Aun con la t correcta, la cobertura de los conglomerados se queda en 90,6 % y no llega al 95 %. No es un error de la fórmula: es que con pocas unidades primarias el estimador de la varianza —que se linealiza alrededor de la media estimada— se queda corto. Se ve subiendo el tamaño de muestra, que en este diseño es subir la cantidad de manzanas:
De ahí la regla de oficio de no bajar de treinta o cuarenta unidades primarias, aunque el presupuesto tiente a visitar pocas manzanas con muchos hogares cada una. No es cabalística: es esta tabla.
El sorteo se puede auditar
Ninguna de estas muestras sale de Math.random(). El generador es el Mersenne-Twister de R con su sembrado y su muestreo por rechazo, reproducido bit por bit, así que el recuadro con el código de R de abajo del panel saca exactamente los mismos hogares en cualquier R del mundo. La ciudad también: se arma con uniformes de ese mismo generador y con sumas y productos nada más, sin normales, justamente para que reproducirla no dependa de cómo genere números normales cada lenguaje.
Cómo está verificado
El Mersenne-Twister de R está reescrito otra vez en Python dentro del verificador —con su sembrado, su fixup y su muestreo por rechazo— y se compara entero por entero contra el del simulador: es aritmética de 32 bits, así que se exige igualdad exacta. Con ese generador se rehace la ciudad hogar por hogar y se rehacen las cinco selecciones. Los cinco estimadores y sus cinco varianzas se recalculan con NumPy, incluida la linealización por último conglomerado, y se comprueban las identidades: que los pesos sumen la población en los diseños donde eso es exacto, que la afijación sume n, que el efecto de diseño de un aleatorio simple dé uno, que los grados de libertad sean los de las manzanas y no los de los hogares, y que cada hogar tenga probabilidad exactamente n/N en el sistemático —medida integrando los arranques que lo eligen, sin simular—. Y lo que ninguna fórmula garantiza: que el error que cada diseño anuncia coincida con el que efectivamente comete al repetir el sorteo dos mil veces, con la tolerancia que corresponde al error de Montecarlo de esa comparación, y que las dos excepciones —el sistemático, que anuncia de más, y los conglomerados con pocas manzanas, que anuncian de menos— sigan siendo del tamaño que acá se describe.