UD3: Introducción a las Métricas de Rendimiento de Modelos de Machine Learning

Introducción

Las métricas de rendimiento son el puente entre el entrenamiento de un modelo de Machine Learning y su utilidad práctica. Sin una evaluación rigurosa, es imposible saber si un modelo generaliza correctamente o simplemente memoriza los datos de entrenamiento. Esta unidad establece el marco conceptual necesario para entender qué son las métricas, por qué importan y cómo seleccionarlas adecuadamente.

En un proyecto de ciencia de datos, aproximadamente el 60-70% del tiempo se dedica al preprocesamiento de datos, y el 20-30% restante a la ingeniería de características, selección del modelo y evaluación.

Tema 1: Contexto Actual en Algoritmos de Machine Learning

La jerarquía de la IA

La Inteligencia Artificial engloba un conjunto de disciplinas ordenadas jerárquicamente:

• Inteligencia Artificial (IA): Campo más amplio que busca crear sistemas capaces de realizar tareas que requieren inteligencia humana.
• Machine Learning (ML): Subconjunto de la IA donde los sistemas aprenden de los datos sin ser explícitamente programados.
• Deep Learning (DL): Subconjunto de ML basado en redes neuronales profundas con múltiples capas.
• IA Generativa: Subconjunto de DL capaz de generar contenido nuevo (texto, imágenes, audio).

Tipos de Machine Learning

Existen cuatro paradigmas principales de aprendizaje automático:

• Aprendizaje supervisado: El modelo aprende a partir de pares (entrada, etiqueta). Los datos de entrenamiento están etiquetados. Ejemplos: clasificación, regresión.
• Aprendizaje semi-supervisado: Combina datos etiquetados (pocos) y no etiquetados (muchos). Útil cuando etiquetar datos es costoso.
• Aprendizaje no supervisado: El modelo descubre estructuras en datos sin etiquetas. Ejemplos: clustering, reducción de dimensionalidad.
• Aprendizaje por refuerzo: Un agente aprende tomando acciones en un entorno para maximizar una recompensa acumulada.

Principales algoritmos supervisados

Principales algoritmos no supervisados

Tema 2: Definición e Importancia de las Métricas

Una métrica de rendimiento es una función matemática que cuantifica el grado de acierto o error de un modelo predictivo. Las métricas permiten:

• Comparar objetivamente diferentes modelos
• Seleccionar el modelo más adecuado para un problema específico
• Identificar áreas de mejora (¿el modelo falla más en una clase?)
• Comunicar el rendimiento a stakeholders no técnicos

Diferencia entre métricas de clasificación y regresión

La elección de métricas depende del tipo de problema:

• Clasificación: La variable objetivo es categórica. Se usan métricas como MCC (Matthews Correlation Coefficient), Specificity, Sensitivity, Accuracy.
• Regresión: La variable objetivo es continua. Se usan métricas como RMSE (Root Mean Squared Error), R² (coeficiente de determinación), MSE (Mean Squared Error).

Métricas principales de clasificación

• Accuracy: Porcentaje de predicciones correctas sobre el total.
• Sensitivity (Recall): Capacidad para detectar los verdaderos positivos.
• Specificity: Capacidad para detectar los verdaderos negativos.
• MCC: Métrica robusta para datasets desbalanceados que considera los cuatro valores de la matriz de confusión.

Métricas principales de regresión

• MSE (Mean Squared Error): Promedio de los errores al cuadrado. Penaliza los errores grandes.
• RMSE (Root MSE): Raíz cuadrada del MSE. Mismas unidades que la variable objetivo.
• R² (Coeficiente de Determinación): Proporción de varianza explicada por el modelo. Varía entre 0 y 1 (1 = ajuste perfecto).

Tema 3: Evaluación de Modelos en la Práctica

División de datos: TRAINING / VALIDATION / TEST

El conjunto de datos se divide en tres subconjuntos con propósitos distintos:

• Training (60-70%): Datos usados para entrenar el modelo y ajustar sus parámetros.
• Validation (10-20%): Datos usados para ajustar hiperparámetros y comparar modelos durante el desarrollo. El modelo no los ve durante el entrenamiento.
• Test (20%): Datos reservados para la evaluación final. Solo se usan una vez, al final del proceso.

Una mala práctica muy común es usar el conjunto de test para seleccionar modelos o ajustar hiperparámetros, lo que produce data leakage y una estimación optimista del rendimiento real.

Validación cruzada

La validación cruzada (ver UD2) permite estimar el rendimiento del modelo con mayor fiabilidad que una única división, especialmente cuando los datos son escasos. El K-Fold estratificado es la variante más recomendada para clasificación.

Overfitting y Underfitting

Dos fenómenos opuestos que indican un ajuste inadecuado del modelo:

• Overfitting (sobreajuste): El modelo aprende el ruido del conjunto de entrenamiento. Síntoma: rendimiento muy alto en train pero bajo en test.
  Soluciones: Regularización (L1/L2), reducir complejidad del modelo, más datos, dropout (redes neuronales).
• Underfitting (subajuste): El modelo es demasiado simple para capturar los patrones. Síntoma: rendimiento bajo tanto en train como en test.
  Soluciones: Aumentar complejidad, más características, menos regularización, más iteraciones.

Datos desbalanceados

En muchos problemas reales, las clases no están igualmente representadas. Esto afecta significativamente la evaluación del modelo:

• Un clasificador que siempre predice la clase mayoritaria puede obtener alta accuracy pero ser inútil.
• Se recomienda usar métricas robustas al desbalance: F1-Score, AUC-ROC, MCC.
• Técnicas de rebalanceo: SMOTE (sobremuestreo), NearMiss (submuestreo), ajuste de pesos de clase.

Caso Práctico: Predicción de Fraude con Datos Desequilibrados

Dataset de fraude en tarjetas de crédito (creditcard.csv). El objetivo es comparar el rendimiento de un modelo con y sin técnicas de rebalanceo, usando múltiples métricas.

Pipeline de evaluación

import pandas as pd
from sklearn.model_selection import train_test_split
from sklearn.ensemble import RandomForestClassifier
from sklearn.metrics import (accuracy_score, f1_score,
                              roc_auc_score, classification_report)

data = pd.read_csv('creditcard.csv')
X = data.drop('Class', axis=1)
y = data['Class']

# División train/test (80/20)
X_train, X_test, y_train, y_test = train_test_split(
    X, y, test_size=0.2, stratify=y, random_state=42
)

# Modelo base
rf = RandomForestClassifier(n_estimators=100, random_state=42)
rf.fit(X_train, y_train)
y_pred = rf.predict(X_test)

# Múltiples métricas
print(f"Accuracy: {accuracy_score(y_test, y_pred):.4f}")
print(f"F1-Score: {f1_score(y_test, y_pred):.4f}")
print(f"AUC-ROC: {roc_auc_score(y_test, y_pred):.4f}")
print(classification_report(y_test, y_pred))

Conclusión

Este caso práctico demuestra que la elección de métricas no es trivial: en un dataset con 0.17% de fraudes, un modelo que predice siempre "no fraude" obtiene 99.83% de accuracy. El uso de F1-Score, AUC-ROC y la matriz de confusión revela la realidad del rendimiento del modelo y guía las decisiones de mejora.