E9 - Los pros y los contras de los modelos más usados

Resumen

El episodio 9 de enCoders compara los modelos de machine learning más usados, con sus pros y contras. Primero clasifican los modelos: regresión frente a clasificación, supervisados frente a no supervisados, discriminativos frente a generativos. Después explican qué aspectos del dataset y del objetivo (rendimiento, explicabilidad, tiempo) influyen en la elección. Con un dataset de Kaggle sobre compras de clientes revisan el balance entre sesgo y varianza, y luego la regresión lineal y logística, el árbol de decisión, Random Forest, XGBoost, redes neuronales y KNN. Concluyen que casi todos rinden bien en un dataset simple y que algunos sobreajustan, lo que se corrige con regularización o reduciendo la complejidad. Destacan también el compromiso entre explicabilidad y rendimiento. Para ellos, Random Forest es un buen punto de partida, con un equilibrio entre rendimiento, tiempo y esfuerzo de ajuste.

Capítulos

• 00:00
  IntroPresentan el tema: los pros y contras de los modelos de machine learning. Comentan si modelar es lo más llamativo de ser Data Scientist; coinciden en que sí, porque es donde el esfuerzo se vuelve algo concreto.
• 01:55
  Clasificación de modelosDistinguen regresión (predecir un valor numérico, como la temperatura, una nota o el valor del dólar) de clasificación (predecir una categoría: fuga de clientes, tumor, spam). Explican supervisados frente a no supervisados y discriminativos frente a generativos (Dall-E, Stable Diffusion). Piden considerar el tipo de datos (registros, atributos, linealidad, balance de clases, texto e imagen) y el objetivo (rendimiento, explicabilidad, tiempo de entrenamiento). Recomiendan empezar con un modelo simple y luego complejizar.
• 19:48
  Ejemplos con datasets de KagglePresentan un dataset de Kaggle con género, edad, salario y si compró un producto (250 casos sin compra y 150 con compra). Agrupan la edad en bins, miran correlaciones (0,44 con la edad) y comentan qué hacer con variables muy correlacionadas.
• 27:04
  Resultados de regresión lineal y logísticaLa regresión logística da un AUC de 0,82 y resultados similares en train y test.
• 28:02
  Balance entre sesgo y varianzaExplican sesgo y varianza con la analogía de los dardos. Debaten si usar un modelo con 0,9 en train y 0,7 en test, y prefieren un modelo consistente con más sesgo y menos varianza. Mencionan los regularizadores. Revisan los coeficientes de la regresión lineal como ventaja de explicabilidad. Citan como pros su rapidez y la ausencia de hiperparámetros, y como contra los supuestos que exige.
• 42:39
  Arbol de desiciónEl árbol sobreajusta (0,99 en train). Sus pros: es intuitivo, rápido, maneja la no linealidad y muestra la importancia de variables. Sus contras: hace cortes solo horizontales y verticales (ejemplo del tablero de ajedrez con rombos) y sobreajusta. Al limitar la profundidad a 3 o 4 baja el rendimiento, pero el árbol se entiende mejor.
• 51:23
  Random ForestEntrena varios árboles con atributos y filas aleatorios y promedia sus resultados, lo que reduce el sobreajuste. Como contras mencionan que no se puede graficar un árbol, que no da el signo del efecto de las variables y que es más lento, aunque paralelizable (H2O). Al reducir la profundidad sube el test a 0,93. También hablan de la consistencia de la importancia de variables entre modelos.
• 01:01:34
  XGBoostCorrige los errores del modelo anterior. Es popular y gana competencias de Kaggle, pero tiene muchos hiperparámetros poco intuitivos y es más lento. Algunos recurren a grid search ante ese desconocimiento.
• 01:07:28
  Redes neuronalesLa red tiene un rendimiento algo mayor que Random Forest, pero la importancia de variables es difícil de obtener y el entrenamiento escala mal con más datos y capas. Son la base de los modelos de IA para texto, imagen y audio. Tienen compromiso entre explicabilidad y rendimiento. Comentan un caso de leakage por un left join mal hecho, detectado con un Random Forest. Mencionan Dropout y la dificultad de definir la arquitectura.
• 01:14:08
  KNNObtiene un resultado decente (0,97 de AUC según el ASR), no exige supuestos y se basa en distancias. Sus contras: necesita escalado, no maneja bien clases desbalanceadas y sufre la maldición de la dimensionalidad.
• 01:16:57
  CierreRecapitulan: tipos de modelos, métricas train y test, sobreajuste, regularización y consistencia. Dejan para otra sesión un dataset desbalanceado de rotación de empleados. Concluyen que Random Forest es un buen punto de partida y que mejorar el rendimiento suele costar explicabilidad y tiempo.

Palabras clave