Selección de variables

1 · La pregunta

Con muchas predictoras candidatas, ¿cuáles entran al modelo?

2 · Depende de para qué sea el modelo

Objetivo	Criterio de inclusión
Estimar un efecto causal	las variables que el conocimiento del tema indica como confusoras, estén o no significativas
Predecir	lo que mejore la predicción fuera de la muestra
Explorar	lo que interese, declarándolo como exploratorio

3 · Los métodos automáticos

Método	Cómo procede
Hacia adelante	arranca vacío y agrega la mejor variable en cada paso
Hacia atrás	arranca completo y saca la peor
Por pasos (stepwise)	combina las dos, pudiendo revertir decisiones
Todas las regresiones posibles	evalúa los $2^k$ modelos

Suenan razonables y tienen problemas bien documentados:

• Los valores p resultantes no son válidos. El modelo se eligió mirando los datos, así que la inferencia posterior está contaminada: es selección múltiple encubierta.
• Los coeficientes están sesgados hacia arriba, porque sobreviven los que salieron grandes por azar.
• Son inestables: cambiar unos pocos casos cambia el modelo elegido.
• No garantizan encontrar el mejor modelo.
• Ignoran el conocimiento del tema.

Los tres primeros, medidos

Sobre ruido puro. Veinte predictoras sin ninguna relación con $Y$, cien casos, selección hacia atrás por valor p:

Variables que sobreviven, en promedio	1,19 de 20
Modelos con al menos una “significativa”	66,0 %
Lo correcto	0 y 0 %

El sesgo. Diez predictoras, de las cuales tres valen 0,25 de verdad:

Estimación de $x_1$ (valor real 0,25)	$b$ medio
Modelo completo, siempre	0,2502
Stepwise, cuando la selecciona	0,3050

La inestabilidad. Un conjunto de 100 casos donde stepwise elige cuatro variables. Sacando 5 casos al azar, 300 veces:

El modelo elegido cambia	58 % de los intentos
Variables que entran o salen, en promedio	0,69
Tamaño del modelo resultante	de 1 a 4 variables

4 · Qué hacer en su lugar

Para explicar:

1. Definir el efecto de interés.
2. Dibujar el orden causal supuesto entre las variables.
3. Incluir las confusoras; excluir mediadores y colisionadores. Ver variables de confusión.
4. Reportar el modelo completo, no el depurado.

Para predecir:

1. Separar datos de entrenamiento y de prueba.
2. Comparar modelos por validación cruzada.
3. Considerar métodos de regularización —lasso, ridge, elastic net—, que seleccionan y estiman a la vez y manejan mejor la incertidumbre.

5 · La regla de los casos por variable

Modelo	Mínimo razonable
Regresión lineal	10–20 casos por predictora
Regresión logística	10–20 eventos por predictora

En logística lo que cuenta no es el $n$ total sino la cantidad del resultado menos frecuente: con 1.000 casos y 40 eventos, el límite son 2 a 4 predictoras, no 50.

6 · El modelo más grande no es el mejor

Agregar variables siempre sube el $R^2$ —incluso con ruido puro—. Con 100 casos y predictoras generadas al azar, sin ninguna relación con $Y$:

Predictoras de ruido	$R^2$	$R^2$ ajustado
0	0,000	0,000
5	0,050	−0,001
25	0,251	−0,002
50	0,502	−0,006
80	0,810	0,011
99	1,0000	—

Y además:

• Aumenta la varianza de las estimaciones.
• Puede introducir multicolinealidad.
• Empeora la predicción fuera de la muestra.
• Complica la interpretación.

El equilibrio se llama parsimonia, y los criterios que lo formalizan son el AIC y el BIC.

7 · Errores frecuentes

• Usar stepwise y reportar los valores p como si fueran válidos. Sobre ruido puro, el 66 % de los modelos termina con variables “significativas”.
• Interpretar la magnitud de un coeficiente seleccionado. Viene sobreestimado: 0,305 donde el valor real es 0,25.
• Presentar el modelo elegido como si fuera el modelo. Sacando cinco casos de cien, cambia el 58 % de las veces.
• Sacar confusoras por no ser significativas.
• Incluir mediadores y concluir que el efecto desapareció.
• Probar muchas especificaciones y reportar solo la que gustó.
• Más variables que casos. El modelo no tiene solución única.
• No declarar el proceso de selección. Es parte del método y va en el informe.
• Seleccionar y validar con los mismos datos.

8 · En el software

# R — existe, pero con las advertencias de arriba
step(modelo_completo, direction = "both")

# Todas las regresiones posibles
leaps::regsubsets(ingreso ~ ., data = d)

# Regularización: la alternativa recomendable para predecir
library(glmnet)
cv.glmnet(X, y, alpha = 1)     # lasso, con validación cruzada

# Comparar modelos anidados, que es lo correcto para explicar
anova(m_sin_variable, m_con_variable)

# Python
from sklearn.linear_model import LassoCV
LassoCV(cv=5).fit(X, y)

from sklearn.model_selection import cross_val_score
cross_val_score(modelo, X, y, cv=5, scoring='r2')

@misc{estadistica_ar_seleccion_de_variables,
  author       = {Montivero, Jorge Luis},
  title        = {{Selección de variables}},
  year         = {2026},
  howpublished = {\url{https://estadistica.ar/conceptos/seleccion-de-variables}},
  note         = {estadistica.ar. Consultado el \today},
  urldate      = {2026-09-27}
}