Regresión penalizada: ridge, lasso y elastic net

1 · La idea

Mínimos cuadrados busca los coeficientes que minimizan la suma de cuadrados residual. La regresión penalizada le agrega un castigo por el tamaño de los coeficientes:

$$\min \; \underbrace{\sum (y_i - \hat{y}_i)^2}_{\text{ajuste}} \; + \; \underbrace{\lambda \cdot P(\beta)}_{\text{penalización}}$$

2 · Las tres penalizaciones

Método	$P(\beta)$	Qué hace
Ridge	$\sum \beta_j^2$	encoge todos; ninguno llega a cero
Lasso	$\sum \|\beta_j\|$	encoge y anula algunos: selecciona
Elastic net	mezcla de las dos	selecciona y reparte entre correlacionadas

3 · Hay que estandarizar

La penalización castiga el tamaño del coeficiente, y ese tamaño depende de las unidades: una variable en pesos tiene coeficientes minúsculos y una en millones de pesos, enormes. Sin estandarizar, la penalización recae arbitrariamente sobre las variables de escala chica.

La constante nunca se penaliza.

4 · Cómo se elige lambda

Por validación cruzada: se prueba una grilla de valores y se queda el que minimiza el error de predicción fuera de la muestra.

$\lambda$	Resultado
0	mínimos cuadrados común
chico	encogimiento leve
el de validación cruzada	el equilibrio
grande	todos los coeficientes cerca de cero
$\to \infty$	solo queda la constante

5 · Contra el stepwise, medido

El módulo dedica dos entradas a mostrar que la selección por pasos falla. La pregunta práctica es si la penalización lo arregla, y la respuesta depende de cuántas candidatas haya.

Error de predicción fuera de muestra, con 100 casos y 5 predictoras reales entre $p$ candidatas —el mínimo alcanzable es 1,00—:

Candidatas	Modelo completo	Stepwise	Ridge	Lasso
10	1,126	1,079	1,120	1,108
30	1,441	1,158	1,367	1,184
60	2,588	1,390	1,790	1,256
90	12,060	3,748	2,161	1,295

6 · Sobre ruido puro

El otro problema del stepwise es que inventa hallazgos. Con veinte predictoras sin ninguna relación con $Y$ y cien casos:

	Variables seleccionadas	Dice “no hay nada”
Stepwise	1,29 de 20	36 %
Lasso	1,49 de 20	60 %

7 · Cuándo usar cada cosa

Situación	Método
Pocas candidatas, objetivo explicar	mínimos cuadrados, con las variables que la teoría indique
Muchas candidatas, objetivo predecir	lasso o elastic net
Predictoras muy correlacionadas	ridge o elastic net
Más predictoras que casos	obligatoriamente penalizada
Hace falta un valor p del coeficiente	ninguna: penalizar no da inferencia

8 · Errores frecuentes

• No estandarizar las predictoras antes de penalizar.
• Elegir lambda mirando el error en los mismos datos con que se ajustó.
• Interpretar un coeficiente penalizado como una estimación insesgada del efecto.
• Reportar valores p de un modelo penalizado.
• Usar lasso con predictoras muy correlacionadas esperando que elija la “correcta”: elige una casi al azar.
• Penalizar con pocas candidatas, donde no aporta nada.
• Hacer la validación cruzada de lambda fuera de la validación general, que es la misma fuga medida en sobreajuste y validación.

9 · En el software

# R — glmnet es el estándar. Requiere matriz, no fórmula.
library(glmnet)
X <- model.matrix(y ~ . - 1, data = d)

cv <- cv.glmnet(X, d$y, alpha = 1)      # alpha = 1 lasso, 0 ridge
plot(cv)                                 # el error por lambda
cv$lambda.min; cv$lambda.1se

coef(cv, s = "lambda.1se")               # los coeficientes, muchos en cero

# Elastic net: probar varios alpha
cv.glmnet(X, d$y, alpha = 0.5)

# Python
from sklearn.linear_model import LassoCV, RidgeCV, ElasticNetCV
from sklearn.preprocessing import StandardScaler
from sklearn.pipeline import make_pipeline

modelo = make_pipeline(StandardScaler(), LassoCV(cv=5)).fit(X, y)
modelo[-1].alpha_                        # el lambda elegido
modelo[-1].coef_

@misc{estadistica_ar_regresion_penalizada,
  author       = {Montivero, Jorge Luis},
  title        = {{Regresión penalizada: ridge, lasso y elastic net}},
  year         = {2026},
  howpublished = {\url{https://estadistica.ar/conceptos/regresion-penalizada}},
  note         = {estadistica.ar. Consultado el \today},
  urldate      = {2026-09-27}
}