UD4: Métricas de Rendimiento de los Modelos de Regresión

Introducción

La evaluación precisa de los modelos de regresión es un pilar fundamental en el Machine Learning. Estos modelos, diseñados para predecir valores continuos (precio de viviendas, temperatura, ventas), requieren métricas específicas que capturen la precisión y eficacia de sus predicciones.

A diferencia de los modelos de clasificación, la regresión busca establecer una relación funcional entre variables, lo que implica desafíos únicos en su evaluación. Un detalle crucial es que ninguna métrica de rendimiento funciona de manera aislada: una combinación equilibrada de múltiples métricas es esencial para evaluar con precisión los modelos de regresión.

Tema 1: Comprensión de las Métricas Fundamentales en Regresión

1.1. Conceptos previos: Residuos y Correlación

Los residuos

En regresión, el residuo es la diferencia entre el valor real observado y el valor predicho por el modelo:

El análisis de residuos permite diagnosticar la calidad del modelo: si los residuos muestran patrones sistemáticos, el modelo no está capturando correctamente la estructura de los datos.

1. Correlación entre variables (Multicolinealidad)

Las características altamente correlacionadas proporcionan información redundante (multicolinealidad), lo que afecta negativamente la interpretación del modelo de regresión, evitando el sobreajuste y mejorando la capacidad de generalizar. Se recomienda usar matrices de correlación (matplotlib o seaborn) para identificar y eliminar variables redundantes antes de entrenar.

2. Correlación de variables dependientes con la variable a predecir (target)

Es fundamental calcular la correlación entre cada variable independiente y la variable target. El objetivo es incluir en el modelo las variables que tienen correlación significativa con la variable a predecir y que no estén correlacionadas entre sí.

3. Puntos relevantes durante la creación de modelos de regresión

• Uso de los errores de Regresión: Usar MSE, RMSE, MAE y R² para evaluar la calidad del modelo. Elegir la métrica más apropiada para el problema y objetivos.
• Validación Cruzada: Aplicar validación cruzada para evaluar el rendimiento en diferentes conjuntos de datos.
• Ajuste de Hiperparámetros: Usar métricas como la validación cruzada para encontrar la combinación óptima de parámetros.
• Interpretación de Coeficientes: Comprender cómo cada variable afecta a la variable objetivo.
• Regularización: Considerar Ridge o Lasso para controlar la complejidad del modelo.
• Selección de Características: Identificar las variables más importantes teniendo en cuenta la correlación.
• Validación Externa: Validar el modelo en datos externos para asegurarse de que sea generalizable.

1.2. Tabla de Métricas Fundamentales de Regresión

1.3. Limitaciones y Consideraciones de cada Métrica

MSE

• Sensible a outliers (eleva al cuadrado los errores, puede sobreestimar el mal rendimiento)
• Difícil de interpretar directamente (unidades cuadráticas)
• Útil en algoritmos de gradiente descendente (proporciona mínimo global diferenciable)

RMSE

• Mantiene la sensibilidad a outliers del MSE, aunque es interpretable en las unidades de la variable
• Valores bajos indican mayor precisión predictiva
• Puede sobreestimar el impacto de errores grandes

MAE

• Robusto frente a outliers (trata todos los errores por igual)
• Puede subestimar el impacto de errores grandes
• Puede presentar desafíos en algoritmos basados en gradiente (derivada no continua en 0)
• MAE bajo indica mejor rendimiento del modelo

R²

• No garantiza la adecuación del modelo; un coeficiente alto no implica que el modelo sea mejor o esté libre de multicolinealidad
• Siempre aumenta con la adición de más variables, independientemente de su relevancia → usar R²-ajustado
• Siempre complementar con análisis de residuos

R²-ajustado

• Fácil de interpretar: cuanto más cercano a 1, mejor
• Sensible al aumento de predictores, pero no garantiza un modelo adecuado por sí solo
• Complementar con estudio de residuos

MBE

• Buena medida para verificar la dirección del sesgo: positivo = sobreestimado, negativo = subestimado
• No es una buena medida de magnitud (los errores individuales se compensan entre sí)

RAE y MAPE

• RAE: útil para precisión relativa; RAE=10% significa que en promedio las predicciones tienen un error del 10% respecto a los valores reales
• MAPE: útil para comunicar el error en términos porcentuales; MAPE=10% indica que en promedio el pronóstico fue un 10% superior/inferior a los valores reales
• Ambas tienen limitaciones cuando los valores reales son cercanos a cero

NRMSE y RRMSE

• NRMSE: normaliza el RMSE por el rango (Max-Min), independiente de la escala de los datos
• RRMSE: normaliza el RMSE por la media, relevante cuando se trabaja con escalas diferentes
• Con menor valor, mejor ajuste del modelo

RMSLE

• Resistente a valores atípicos donde errores pequeños y grandes se tratan uniformemente
• Adecuado en distribuciones asimétricas o sesgadas
• No es apropiado si se trabaja con valores negativos
• Útil cuando las diferencias relativas son más importantes que las absolutas (e.g., precios de viviendas)

Tema 2: Evaluación y Comparación de Modelos de Regresión

2.1. Utilización de Métricas para la Evaluación de Modelos

Al comparar modelos, es crucial seleccionar la métrica más apropiada para el problema. Por ejemplo, en modelación financiera un alto error en predicciones tiene implicaciones significativas en términos de costes → usar MSE/RMSE. En sistemas de recomendación, MAE es más equilibrado. En estudios de investigación que exploran relaciones entre variables, usar R² junto con análisis de residuos.

2.2. Comparación de Modelos Basada en Métricas

La comparación de modelos no se limita a una sola métrica. Debe considerar:

• Complejidad del modelo
• Generalización a nuevos datos (validación cruzada)
• Interpretabilidad de los resultados
• Coste computacional

2.3. Ejemplo de evaluación en Python

from sklearn.linear_model import LinearRegression, Ridge
from sklearn.metrics import (mean_squared_error, mean_absolute_error,
                              r2_score)
import numpy as np

# Entrenar y evaluar
model = Ridge(alpha=1.0)
model.fit(X_train, y_train)
y_pred = model.predict(X_test)

# Calcular métricas
mse = mean_squared_error(y_test, y_pred)
rmse = np.sqrt(mse)
mae = mean_absolute_error(y_test, y_pred)
r2 = r2_score(y_test, y_pred)

print(f"MSE:  {mse:.4f}")
print(f"RMSE: {rmse:.4f}")
print(f"MAE:  {mae:.4f}")
print(f"R²:   {r2:.4f}")

Tema 3: Contextualización Práctica

3.1. Métricas en el Mundo Real

La elección de métricas siempre debe consensuarse con el negocio. Los científicos de datos están ahí para ayudar en las tomas de decisiones del día a día, y cualquier decisión sobre los datos debe estar alineada con los objetivos del negocio.

• Predicción de precios (inmobiliario): RMSE o MAE en unidades monetarias; RMSLE cuando la escala varía mucho
• Predicción de demanda: MAPE (fácil de comunicar como porcentaje)
• Modelos meteorológicos: RMSE en grados; un bajo RMSE indica predicciones de temperatura muy precisas
• Estudios económicos: R² para mostrar correlación entre variables de mercado

3.2. Comunicación de Resultados

Las métricas deben presentarse de forma comprensible para stakeholders no técnicos. Por ejemplo:

• "Nuestro modelo predice el precio de viviendas con un error medio de 15.000€ (MAE)"
• "El modelo explica el 87% de la variabilidad en las ventas (R² = 0.87)"
• "En promedio, nuestras predicciones de demanda se desvían un 8% del valor real (MAPE = 8%)"