← Inicio
Calibración y Métricas
Evaluación, métricas y calibración de modelos de inteligencia artificial
1
UD1: XAI. Definición, Conceptos y Propiedades
Definición de XAI (Barredo et al. 2020)Conceptos: Inteligibilidad, Comprensibilidad, TransparenciaExplicabilidad y Explicabilidad Post-HocPropiedades XAI: Privacidad, Fiabilidad, Causalidad, TransferibilidadSHAP: summary, force y dependence plotLIME e ICE
2
UD2: Estabilidad y Sesgos
Sesgo vs Varianza (Bias-Variance Tradeoff)K-fold, K-fold repetido, LOO, LPOStratifiedKFold, StratifiedShuffleSplitGroupKFold, StratifiedGroupKFold, LeaveOneGroupOut, LeavePGroupsOutTimeSeriesSplitSMOTE y detección de fraude
3
UD3: Introducción a las Métricas de Rendimiento de Modelos de Machine Learning
IA > ML > Deep Learning > IA GenerativaTipos de ML: supervisado, semi-supervisado, no supervisado, refuerzoAlgoritmos supervisados y no supervisadosImportancia de las métricasTrain/Validation/Test splitOverfitting, underfitting, datos desbalanceados
4
UD4: Métricas de Rendimiento de los Modelos de Regresión
Residuos y correlación entre variablesMSE, RMSE, MAE, R², R²-ajustadoMBE, RAE, MAPE, NRMSE, RRMSE, RMSLELimitaciones de cada métricaEvaluación y comparación de modelos
5
UD5: Métricas de Rendimiento de los Modelos de Clasificación
Matriz de confusión: TP, FP, TN, FNAccuracy, Precisión, Recall, Especificidad, F1 ScoreAUC-ROC, Curva de Ganancia, Curva LiftDesbalance de clases y elección de métricas por contexto
6
UD6: Datos Balanceados
Introducción al balanceo de datosSubmuestreo y NearMissSobremuestreo y SMOTECaso práctico: Credit Card Fraud (Kaggle)Comparación modelo base vs NearMiss vs SMOTE