E28 - Data drift, salud de un modelo y cómo entrenar un modelo continuamente en producción

Resumen

El episodio explica qué es el drift en modelos de machine learning: cambios en los datos o en la realidad que hacen que un modelo entrenado deje de predecir bien. Se distinguen los tipos de drift (concept, data, label, feature, virtual) y las formas en que ocurre en el tiempo (abrupto, gradual, incremental, recurrente, blip). Se discuten las dos fuentes principales: cambios reales (como el covid) y problemas de integridad de datos (cambios de columnas o unidades sin aviso). Se comenta por qué reentrenar automáticamente y sin análisis puede ser contraproducente, por ejemplo en modelos de fuga donde las propias acciones de retención degradan la métrica. Para detectar problemas se propone monitorear la performance (si hay labels) y las distribuciones de los datos (PSI, Kolmogorov-Smirnov), además de medir la calidad de los datos con Great Expectations. La conclusión principal es que el drift es frecuente en la vida real, que hay que monitorear, analizar la causa raíz y solo entonces corregir o reentrenar, porque un modelo abandonado deja de servir en pocos meses.

Capítulos

• 00:00
  IntroSe presentan los tres temas del episodio: tipos de drift, seguimiento de modelos y reentrenamiento automático en producción. Se explica el drift con un ejemplo de clientes VIP, se recuerda el efecto del covid en los modelos y se debate sobre quién se beneficiaría de detectar drift (por ejemplo, redes sociales como TikTok o YouTube).
• 12:48
  Algunos tipos de drift. Concept, Data, Label, Feature, VirtualSe presentan los patrones temporales: abrupto, gradual, incremental, recurrente (ventas en Navidad) y blip. Luego se definen concept drift (cambia la realidad, no los puntos), data drift, label drift (p. ej. covid y la compra de papel higiénico), feature drift (p. ej. la edad con el ejemplo de Pokémon) y virtual drift. Se aclara la notación X (features) e Y (variable respuesta) y se agrega una digresión sobre si Data Science e IA son lo mismo.
• 25:10
  Ejemplo en un modelo específicoCon un modelo de préstamos: concept drift si cambia qué nivel de ingresos se considera riesgoso en una crisis; label drift si más gente califica de golpe (un bono del Estado, como en Chile); feature drift si suben los ingresos de un segmento. Se comenta que en la práctica se combinan varios tipos y que lo principal es detectar el drift para activar una alerta.
• 38:47
  Triggers de ML Model DriftHay dos fuentes: cambios en la vida real y problemas de integridad de datos. Se cuentan anécdotas de columnas de origen y destino invertidas sin aviso, máquinas que capturan basura, logs con cambios de unidad y un bug que impidió comprar durante una semana. Se concluye que al Data Scientist le toca averiguar qué pasó.
• 46:02
  MemesMeme sobre reentrenar según el drift o usar siempre el mismo modelo. Se discute que a veces se prefiere no reentrenar por costo/beneficio y por tiempo. Se responde sobre la dificultad de integrar un modelo en producción: usar una rama aparte, probar conexiones y hacer despliegues progresivos (rollout). Se advierte que reentrenar periódicamente sin análisis puede empeorar el modelo si un mes tuvo datos anómalos.
• 55:36
  Detectar, analizar fuente y arreglarEl proceso es detectar el drift, analizar su origen y arreglarlo; el problema debe ser accionable. Se mencionan herramientas de monitoreo, entre ellas Blue Target (empresa latinoamericana).
• 59:51
  Monitoreo de performanceCon aprendizaje supervisado se pueden medir métricas contra los labels y fijar un umbral de corte con dashboards. Con modelos no supervisados hay que monitorear el drift de los datos. Se da el ejemplo del modelo de fuga cuyas acciones de retención reducen la fuga y lo hacen parecer peor, donde reentrenar automáticamente sería malo.
• 01:03:57
  PSIEl Population Stability Index compara dos distribuciones (entrenamiento vs. producción) con una suma ponderada con logaritmo. Se usa mucho en riesgo de crédito, con la regla informal de que menos de 0,1 es aceptable y más de 0,2 es problemático. Se aplica sobre el score o sobre cada variable para priorizar cuáles revisar, se explica que vale cero si las distribuciones son idénticas y que el máximo es infinito si están totalmente separadas.
• 01:17:39
  Otras métricas para monitorear distribucionesSe mencionan Kullback-Leibler (que se comenta como poco recomendable), Jensen-Shannon y Kolmogorov-Smirnov. Esta última mide la distancia máxima entre dos funciones de distribución acumulada y no es paramétrica.
• 01:20:00
  Algunos métodos de detección de driftSe muestra una lista de métodos que ninguno de los presentadores conoce por sigla. Uno describe su práctica: si la performance baja, calcula el PSI de todas las variables y revisa las que superan 0,2. Se señala el defecto del PSI con particiones muy finas, que pueden dar infinito, y la idea de buscar cortes con elementos de ambas distribuciones.
• 01:22:55
  Integridad de los datosHay que buscar la causa raíz. Se propone medir la calidad de los datos de forma periódica (rango típico, mediana, desviación estándar) con Great Expectations, y revisar los logs y el procesamiento de los servidores, porque el modelo puede caerse por un cambio de formato. Se deja pendiente cómo tratar variables categóricas.
• 01:25:41
  Arreglar los erroresSe recomiendan dashboards con alertas, actualizar el pipeline, reentrenar o adaptar el modelo, y archivar el modelo antiguo por si hay que volver atrás. Se recomienda usar variables relativas (orden o ranking respecto al resto, normalización) frente a cambios de precios y reentrenar al menos cada pocos meses.
• 01:32:15
  CierreSe enfatiza que el monitoreo es lo que hace que un modelo sirva a largo plazo, y se invita a unirse al Discord y a dejar preguntas en los comentarios. Quedan pendientes otras técnicas de reentrenamiento y métricas, como Kolmogorov-Smirnov.

Palabras clave