Big data: lo que el tamaño no arregla

1 · Qué se llama big data

La definición que más circula es la de las «tres V»: volumen, velocidad y variedad. Describe bien el problema informático (los datos no entran en una planilla, llegan todo el tiempo y vienen en formatos mezclados), pero dice poco de lo que le importa a la Estadística.

Para la inferencia, lo que distingue a la mayoría de las bases masivas no es el tamaño sino el origen:

	Datos diseñados	Datos encontrados
Ejemplos	Una encuesta, un ensayo clínico	Registros administrativos, transacciones, trazas digitales
Para qué se generan	Para responder una pregunta	Para cobrar, controlar o prestar un servicio
Quién entra	Lo decide un diseño	Lo decide el uso del servicio
Qué se mide	Lo que la pregunta necesita	Lo que el trámite necesita
Probabilidad de inclusión	Conocida	Desconocida

Una transacción de SUBE existe porque alguien pagó un viaje, no porque alguien quisiera medir la movilidad. Cuando se la usa para eso, se la está usando para otra cosa que aquella para la que se generó. Es lo que la entrada de censo, encuesta y registro llama un registro, ahora con millones de filas por día.

2 · La identidad que lo mide

La entrada de ciencia de datos muestra que 987.796 respuestas autoseleccionadas valen lo que unas 409 tomadas al azar. Ese número no sale de un experimento: sale de una identidad algebraica que publicó Xiao-Li Meng en 2018, y que vale para cualquier base.

Sea una población de $N$ personas, de las que $n$ están en la base; $f = n/N$ es la fracción que entró, $R$ vale 1 para quien está en la base y 0 para quien no, y $Y$ es la variable que se quiere promediar. Entonces el error del promedio de la base es, exactamente:

$$\bar{Y}_{\text{base}} - \bar{Y}_{\text{población}} = \underbrace{\rho_{R,Y}}_{\text{calidad}} \times \underbrace{\sqrt{\frac{1-f}{f}}}_{\text{cantidad}} \times \underbrace{\sigma_Y}_{\text{dificultad}}$$

Los tres factores:

• Calidad, $\rho_{R,Y}$: la correlación entre estar en la base y el valor de la variable. Si entrar no tiene nada que ver con $Y$, vale cero y la base no tiene sesgo. En una muestra al azar vale cero en promedio, por diseño.
• Cantidad, $\sqrt{(1-f)/f}$: cuánto de la población quedó afuera. No depende de $n$ sino de la fracción $f$.
• Dificultad, $\sigma_Y$: cuánto varía la variable. Una variable que vale casi lo mismo para todos se estima bien con cualquier base.

El n efectivo

Igualando el error de la base al de una muestra al azar simple, sale el tamaño de muestra aleatoria que tiene la misma precisión:

$$n_{\text{efectivo}} \approx \frac{f}{1-f} \times \frac{1}{\rho_{R,Y}^2}$$

En el ejemplo de ciencia de datos, una proporción de 0,400 con el 10,5 % de respuesta entre quienes tienen el atributo y el 9,5 % entre quienes no: $f$ vale 0,099 y $\rho$ vale 0,0164. La fórmula da 408, prácticamente los 409 que había dado la simulación.

La tabla muestra cuánto vale una base según qué fracción de la población cubre y qué tan relacionada está la entrada con la variable:

Una correlación de 0,05 entre estar en la base y la variable es imperceptible: nadie la notaría mirando los datos. Con ella, una base que cubre a la mitad de la población vale lo que una muestra al azar de 400 casos, sea la población de diez mil personas o de cuarenta millones.

3 · Un ejemplo con la EPH

Los perceptores de ingresos de la EPH del primer trimestre de 2026 hacen de población: 23.111 personas con ingreso individual declarado, cuyo promedio es $1.021.995. Ese es el valor verdadero que se quiere estimar.

Sobre ellos se arma una «base grande», como la de una aplicación o un registro al que no todos llegan por igual: la persona de menor ingreso tiene un 45 % de chances de estar en la base, la de mayor ingreso un 55 %, y las demás algo intermedio según su posición. Los ingresos son reales; el mecanismo de entrada es inventado, y es deliberadamente suave. La base termina teniendo a la mitad de la población.

Repitiendo el armado de la base mil veces, y comparando con mil muestras al azar simple de 400 personas:

	Base grande	Azar simple de 400
Tamaño	11.556 en promedio	400
Error cuadrático medio	$44.614	$53.842
El intervalo del 95 % contiene el promedio verdadero	1 vez en 1.000	939 veces en 1.000
Equivale a un azar simple de	593	400

La identidad se cumple al peso en cada repetición. En la primera, la base tiene 11.569 personas ($f = 0{,}5006$), la correlación entre estar en ella y el ingreso es 0,0208 y el desvío del ingreso es $1.100.829. El producto de los tres factores da $22.860, que es exactamente lo que el promedio de la base se pasa del verdadero. Su intervalo del 95 % es de ±$19.759: no llega a cubrir el error.

Con la población del país

En una población chica, el azar de quién entra agrega ruido a $\rho$. Con una población de millones ese ruido desaparece y queda la parte que produce el mecanismo, que en este ejemplo vale 0,040. Con la mitad de la población en la base, el $n$ efectivo es entonces de 623, y no depende de $N$: una base de diez millones de perceptores armada con la misma regla seguiría valiendo lo que 623 casos al azar.

4 · Qué cuenta en realidad un registro

El segundo problema de los datos encontrados es que miden lo que el trámite necesita, que casi nunca es exactamente lo que la pregunta necesita. Los datos de SUBE que publica el Ministerio de Transporte en datos.gob.ar son un buen ejemplo, y son reales sin intervenir: 3,1 millones de filas de 2020 a agosto de 2026, una por día, línea y empresa.

Usos no son personas

Un día de semana de 2025 hubo en promedio 12,65 millones de usos de SUBE. Ese mismo promedio, contado como tarjetas distintas, da 4,75 millones: unos 2,65 usos por tarjeta, porque un viaje con trasbordo son dos o tres usos. Y una tarjeta tampoco es una persona: hay quien tiene dos y quien comparte una.

Las dos cuentas ni siquiera se mueven juntas. Entre 2023 y 2025 los usos de un día de semana bajaron un 10,7 % y las tarjetas un 4,5 %: la caída de los viajes fue más del doble que la de los viajeros.

El instrumento cambia

Desde el 1 de febrero de 2025, 31 líneas de colectivo que figuraban bajo jurisdicción nacional pasan a figurar bajo la de la Ciudad de Buenos Aires:

Quien siga solo la serie nacional ve que pasó de 131,9 millones de usos en marzo de 2024 a 111,0 millones en marzo de 2025: un 15,8 % menos. Sumando las dos jurisdicciones, la variación es de −0,1 %. No cambió la cantidad de viajes: cambió en qué columna se anotan.

5 · Con millones de casos, todo es significativo

Con un $n$ enorme, el error estándar se achica tanto que cualquier diferencia, por mínima que sea, da un p-valor bajísimo. La pregunta deja de ser si una diferencia es significativa y pasa a ser si importa: es la distinción de significación y relevancia, y en una base masiva lo único que informa es el tamaño del efecto.

Hay dos problemas más que crecen con el volumen:

• Muchas variables. Una base con cientos de columnas permite probar cientos de cruces, y algunos van a dar «significativos» por azar. Es el problema de las comparaciones múltiples.
• Modelos que memorizan. Con muchas variables y mucha libertad, un modelo puede ajustar el ruido de la base. Se detecta con validación, nunca con el ajuste sobre los mismos datos.

Y sobre todo: un p-valor chico sobre una base sesgada solo dice que el promedio sesgado se estimó con mucha precisión. La sección 3 muestra a dónde lleva eso.

6 · ¿Hace falta cómputo especial?

Mucho menos de lo que sugiere la palabra. Los 3,1 millones de filas de SUBE ocupan 372 MB en CSV, y DuckDB los lee completos en alrededor de un segundo en una computadora común; una vez cargados, sumar por año y provincia lleva centésimas. La mayoría de las bases que se llaman big data en un trabajo de tesis o en una oficina pública entran en una notebook. Las herramientas están en la entrada de SQL.

En R, con el paquete duckdb:

library(duckdb)
con <- dbConnect(duckdb())
dbGetQuery(con, "
  select year(DIA_TRANSPORTE) anio, sum(CANTIDAD) usos
  from read_csv('sube/*.csv', union_by_name = true,
                types = {'DATO_PRELIMINAR': 'VARCHAR'})
  group by 1 order by 1")

En Python:

import duckdb

duckdb.sql("""
    select year(DIA_TRANSPORTE) anio, sum(CANTIDAD) usos
    from read_csv('sube/*.csv', union_by_name = true,
                  types = {'DATO_PRELIMINAR': 'VARCHAR'})
    group by 1 order by 1
""").df()

Las dos dan los mismos totales; el de 2025 es de 3.910 millones de usos. El types hace falta por un detalle de los datos: la columna de dato preliminar vale «NO» en todas las filas que DuckDB mira para adivinar el tipo, así que la toma por verdadero/falso, y en 2026 aparece un «SI» que no puede convertir. Una consulta sobre millones de filas puede fallar por una sola.

Muestrear también vale

Cuando una base no entra, o cuando cada consulta tarda demasiado, la herramienta más vieja de la Estadística sigue sirviendo: una muestra al azar. Con el 1 % de las filas de 2025, tomadas al azar (5.416 de 541.557), el total del año se estima en 4.001 millones, con un intervalo del 95 % de ±284 millones. El total verdadero, 3.910 millones, cae adentro.

7 · Errores frecuentes

• Creer que con suficientes datos el sesgo se promedia. El sesgo no baja con $n$: baja con $\rho$, y solo un diseño lo lleva a cero.
• Informar intervalos de confianza calculados como si la base fuera una muestra al azar. Son angostísimos y casi nunca contienen el valor verdadero.
• Tratar unidades de registro como personas. Usos no son viajeros, transacciones no son clientes, consultas no son pacientes.
• Leer como cambio en la realidad un cambio en el registro. Una reclasificación, una incorporación o un cambio de reglamento producen saltos que parecen tendencias.
• Usar el p-valor como medida de importancia. Con millones de casos, todo da significativo.
• Preguntar cuántos datos hay antes de preguntar quién falta. La primera pregunta ante una base masiva es la misma que ante una encuesta: quién quedó afuera y por qué. Ver no respuesta y ajuste.

8 · De dónde salen los números

datos/computo/preparar-big-data.py calcula todo, y datos/computo/big-data.R repite en R la identidad sobre la base de la primera repetición y las consultas de SUBE con DuckDB; el script se detiene si algún número difiere.

• La tabla del $n$ efectivo y el ejemplo de ciencia de datos son cálculos exactos con la fórmula.
• El ejemplo de la EPH es real intervenido: primer trimestre de 2026, sin ponderar, perceptores con ingreso declarado; la regla de entrada a la base es inventada (semilla 2026).
• Los datos de SUBE son reales sin intervenir: transacciones por día y línea y tarjetas distintas por día, 2020 a agosto de 2026. Ver la ficha de la fuente.

La identidad es de Xiao-Li Meng, «Statistical paradises and paradoxes in big data», Annals of Applied Statistics, 2018.

@misc{estadistica_ar_big_data,
  author       = {Montivero, Jorge Luis},
  title        = {{Big data: lo que el tamaño no arregla}},
  year         = {2026},
  howpublished = {\url{https://estadistica.ar/conceptos/big-data}},
  note         = {estadistica.ar. Consultado el \today},
  urldate      = {2026-10-01}
}