Árboles de clasificación y regresión

1 · Preguntas sucesivas

Un árbol de clasificación predice una categoría haciendo preguntas de sí o no sobre las variables, una después de otra: ¿el establecimiento tiene más de 10 personas?, ¿la tarea es calificada?, ¿trabaja más de 20 horas? Cada respuesta manda el caso a una rama, y al final de cada camino hay una hoja con una predicción. Si la respuesta es numérica, el mismo procedimiento da un árbol de regresión, y la hoja predice un promedio.

Es el único método de aprendizaje supervisado que se lee como un diagrama. No necesita ecuaciones para explicarse, encuentra solo las interacciones entre variables y no supone ninguna forma para la relación. Tiene también sus costos —es inestable y, solo, suele predecir peor que una regresión— y esta entrada los mide.

2 · El ejemplo: quién tiene empleo registrado

Se usa el mismo problema de la entrada de aprendizaje supervisado: predecir si un asalariado tiene descuento jubilatorio, la definición habitual de empleo registrado. Con los asalariados de 18 años o más de la EPH:

• el árbol se ajusta con los 13.897 del cuarto trimestre de 2025 (63,4 % registrados);
• se evalúa con los 13.864 del primer trimestre de 2026 (62,6 %).

Las variables son ocho: edad, sexo, nivel educativo, sector (estatal o privado), tamaño del establecimiento, horas trabajadas en la semana, calificación de la tarea y región.

El árbol se lee de arriba abajo:

• En los establecimientos de hasta 5 personas, el 27 % está registrado.
• De 6 a 10 personas, depende de la edad: 46 % entre los menores de 34 años y 68 % desde esa edad.
• En los de 11 o más, si la tarea es calificada (profesional, técnica u operativa), el 85 % está registrado.
• Si no es calificada, mandan las horas: 15 % con menos de 20 horas semanales, 40 % de 20 a 28, 62 % desde 29.

Ese árbol de siete hojas acierta el 76,6 % en el trimestre de prueba, contra el 62,6 % de predecir que todos están registrados.

3 · Cómo se elige cada pregunta

El algoritmo CART (Classification And Regression Trees, Breiman y otros, 1984) hace crecer el árbol de a una división por vez. En cada nodo prueba todas las variables y todos los puntos de corte posibles, y se queda con el que deja los dos grupos hijos más puros: lo más cerca posible de tener una sola clase cada uno.

La impureza de un nodo se mide habitualmente con el índice de Gini:

$G = 1 - \sum_{k} p_k^2,$

donde $p_k$ es la proporción de la clase $k$ en el nodo. Vale 0 si todos los casos son de la misma clase y es máximo cuando las clases están parejas. Se elige la división que más reduce la impureza promedio de los hijos, ponderada por su tamaño. En un árbol de regresión, en lugar del Gini se usa la suma de cuadrados: la división que más reduce la varianza de la respuesta dentro de los grupos.

El procedimiento es codicioso: elige la mejor división en cada paso sin mirar adelante. Una división que parece mala puede abrir paso a otras muy buenas, y el árbol no la va a encontrar.

Con una variable categórica de muchas categorías, CART busca la mejor manera de juntarlas en dos grupos; con una numérica u ordenada, el mejor punto de corte.

4 · Podar

Si se lo deja crecer, el árbol sigue partiendo hasta que cada hoja tiene muy pocos casos, y termina aprendiendo el ruido de los datos de ajuste. Es el sobreajuste en su forma más visible:

Árbol	Hojas	Acierto en el ajuste	Acierto en la prueba
Una sola división	2	71,6 %	71,2 %
Chico, para leer	7	77,6 %	76,6 %
Podado (regla de un EE)	45	81,2 %	78,7 %
Sin podar	248	84,8 %	77,6 %

La solución de CART es dejar crecer el árbol y después podarlo por complejidad de costo: se busca el subárbol que minimiza

$R_\alpha(T) = R(T) + \alpha\,|T|,$

donde $R(T)$ es el error del árbol, $|T|$ su cantidad de hojas y $\alpha$ cuánto se penaliza cada hoja. Cada valor de $\alpha$ da un árbol; el $\alpha$ se elige por validación cruzada. La regla habitual, la de un error estándar, toma el árbol más chico cuyo error de validación esté a menos de un error estándar del mínimo: aquí da 45 hojas, contra las 54 del mínimo estricto, con la misma capacidad de predecir.

5 · Qué tan estable es

Un árbol es un modelo de alta varianza: cambios chicos en los datos pueden cambiar mucho su forma. Para medirlo se ajustó el mismo árbol, podado con el mismo $\alpha$, sobre 200 remuestreos con reposición de los datos de ajuste:

• La primera división fue el tamaño del establecimiento en los 200.
• La cantidad de hojas fue de 34 a 71, con una mediana de 50.

Lo de arriba del árbol es firme; lo de abajo, no. Las divisiones profundas dependen de qué casos tocaron, y no conviene interpretarlas una por una. Esa inestabilidad es la razón de los bosques aleatorios, que promedian cientos de árboles ajustados sobre remuestreos y ganan en predicción lo que pierden en lectura.

6 · Cuánto rinde

Contra una regresión logística con las mismas ocho variables, evaluadas en el mismo trimestre de prueba:

Modelo	Acierto	AUC
Árbol podado (45 hojas)	78,7 %	0,827
Regresión logística	79,1 %	0,853

La logística gana por poco, y en el AUC por más: el árbol asigna la misma probabilidad a todos los casos de una hoja, y ordena peor dentro de ellas.

Con el ingreso pasa lo mismo. Un árbol de regresión para el logaritmo del ingreso, podado a 47 hojas, explica el 35,7 % de la varianza en el trimestre de prueba; la regresión lineal con las mismas variables, el 37,2 %. En los dos casos el árbol no gana en predicción: gana en que se puede leer y en que muestra las interacciones sin que haya que buscarlas.

Importancia de las variables

rpart informa cuánto contribuyó cada variable a reducir la impureza, contando también las divisiones sustitutas (ver la sección siguiente):

Variable	Importancia
Tamaño del establecimiento	40,0 %
Calificación de la tarea	22,0 %
Horas trabajadas	14,2 %
Sector	8,2 %
Nivel educativo	6,5 %
Edad	6,0 %
Región	2,6 %
Sexo	0,6 %

7 · Datos faltantes: las divisiones sustitutas

El tamaño del establecimiento falta en el 28,6 % de los asalariados del trimestre de ajuste: no corresponde o no lo saben. Una regresión tendría que descartarlos o imputarlos. CART los resuelve con divisiones sustitutas: para cada división, busca otras variables que reparten los casos de forma parecida, y cuando falta la principal usa la sustituta. En la figura, de los 4.377 casos de la rama «hasta 10 personas», 634 no tienen tamaño: los mandó ahí una división sustituta. Los otros 3.344 sin tamaño fueron a la rama de 11 o más.

Es una ventaja práctica real, pero no un remedio para cualquier faltante: si faltan por una razón ligada a la respuesta, el árbol aprende ese patrón como cualquier otro.

8 · CHAID

CHAID (Chi-squared Automatic Interaction Detection, Kass, 1980) es la otra familia de árboles, muy usada en investigación de mercado y la que SPSS ofrece junto con CART. Cambian tres cosas:

• Divisiones múltiples. Cada nodo puede abrirse en más de dos ramas: junta las categorías de la variable que no difieren entre sí y deja una rama por grupo.
• Pruebas de chi-cuadrado. La variable de cada división se elige por la prueba de independencia más significativa, con la corrección de Bonferroni por la cantidad de maneras de agrupar las categorías.
• No se poda. El árbol deja de crecer cuando ninguna división es significativa.

Produce árboles más anchos y menos profundos, cómodos para tablas de segmentación. Su criterio de parada depende de valores p, que con muestras grandes como la EPH declaran significativas diferencias minúsculas: conviene fijar un tamaño mínimo de nodo alto. Las cuentas de esta entrada son de CART; CHAID no tiene un paquete mantenido en CRAN.

9 · Errores frecuentes

• Interpretar un árbol sin podar. Las divisiones de abajo describen el ruido de la muestra de ajuste.
• Leer las divisiones profundas como hallazgos. En otra muestra, el mismo árbol tiene otras. Lo estable es la parte de arriba.
• Evaluar el árbol con los mismos datos con que se ajustó. El de 248 hojas acierta el 84,8 % en el ajuste y el 77,6 % fuera.
• Leer la importancia como efecto causal. Es contribución a la predicción, y se reparte entre variables correlacionadas.
• Usar un árbol solo esperando más precisión que una regresión. Rara vez la tiene; su ventaja es la lectura. Para predecir, los bosques y el boosting.

10 · En el software

En R, con rpart:

library(rpart)
set.seed(2026)
arbol <- rpart(registrado ~ edad + mujer + nivel + sector + tamano + horas + calif + region,
               data = ajuste, method = "class",
               control = rpart.control(cp = 0.0002, xval = 10))
printcp(arbol)                               # error de validación por tamaño
podado <- prune(arbol, cp = 0.00124)         # el cp de la regla de un EE
podado$variable.importance
predict(podado, prueba, type = "class")

rpart.plot lo dibuja, y partykit::ctree ajusta árboles de inferencia condicional, que eligen las divisiones con pruebas de permutación y no necesitan poda.

En Python, sklearn.tree.DecisionTreeClassifier implementa CART, con la poda por complejidad en ccp_alpha. No usa divisiones sustitutas: desde la versión 1.3 acepta faltantes y los manda, en cada división, a la rama que más reduce la impureza.

En SPSS, el menú Analizar → Clasificar → Árbol ofrece CHAID, CHAID exhaustivo, CRT (su nombre para CART) y QUEST.

El árbol de esta entrada está en datos/eph/arboles-m14.R, y datos/eph/preparar-arboles-m14.py prepara los datos, lo corre y comprueba cada cifra del texto.

@misc{estadistica_ar_arboles_de_clasificacion_y_regresion,
  author       = {Montivero, Jorge Luis},
  title        = {{Árboles de clasificación y regresión}},
  year         = {2026},
  howpublished = {\url{https://estadistica.ar/conceptos/arboles-de-clasificacion-y-regresion}},
  note         = {estadistica.ar. Consultado el \today},
  urldate      = {2026-10-31}
}