E44 - Modelo de propension vs Modelos de Uplift

Resumen

El episodio 44 contrasta los modelos de propensión (estimar la probabilidad de que un cliente haga algo, como abandonar Netflix, o "churn") con los modelos de uplift, que estiman cómo responde cada cliente a una acción concreta, por ejemplo un descuento. Un modelo de propensión da un score, pero la acción a tomar (qué ofrecer, por qué canal, a quién) es una heurística de negocio con costos. Esa acción puede gastar dinero en clientes que no la necesitan o despertar a clientes "dormidos" que se van. El uplift divide a los clientes en persuadibles, causas perdidas, cosas seguras y Sleeping Dogs, y busca accionar solo a los persuadibles. Se presentan los enfoques single learner, target transformation, T-learner y árboles de uplift. La mayor dificultad es contar con datos de entrenamiento sin sesgo, para lo cual se sugiere dar descuentos aleatorios a una pequeña parte de la base. Los participantes concluyen que los modelos de uplift son prometedores y muy aplicables, pero más difíciles de implementar, y que conviene probar ambos según la industria.

Capítulos

• 00:00
  IntroPresentan el tema: modelos de propensión frente a modelos de uplift, dos formas de abordar un mismo problema. Comentan que casi todo se aprende en el trabajo, que conviene investigar por cuenta propia y debaten qué aporta un consultor.
• 06:09
  Qué es un modelo de propensiónEstima qué tan probable es que un cliente realice una acción (contratar, churn, upgrade, downgrade, cross-sell), usando Netflix como ejemplo. Aclaran que también aplica a máquinas que fallan, que el output puede tener más de dos clases y que difiere de predecir una demanda (un valor).
• 11:20
  Ejemplo de NetflixUsan una noticia sobre la pérdida de suscriptores de Netflix (competencia de streaming, salida de Rusia por sanciones) para motivar el ejemplo de churn. Discuten que la probabilidad real no se conoce, solo se estima desde una muestra, y las diferencias de métricas entre clasificación y regresión.
• 17:15
  Qué haríamos normalmente para crear un modelo de propensiónSe definen variables junto al negocio: tipo de contenido, precio, competencia, y se debate la accionabilidad de variables como el clima o la región. Debaten pocas variables explicativas frente a crear muchas en lote (máximos, mínimos, promedios) y descartar las inútiles.
• 28:34
  A qué llegamos?Con el tablón de variables se entrena un modelo (Random Forest, logístico) y se obtiene una tabla de clientes con su probabilidad de irse. Ese score por sí solo no sirve; lo que importa es que el cliente no se vaya.
• 31:23
  Qué acciones tomamos con esta información?Ofrecer descuentos a los más probables, con campaña, canal y monto definidos de forma heurística. Ninguna acción es gratis: dar descuento a quien no se iba a ir destruye valor, por lo que se corta el score según recall y precisión y el caso de negocio.
• 41:49
  MemesMeme sobre áreas de negocio que reclaman que no es su culpa el churn. Hablan de variables contraintuitivas como la antigüedad, el billing shock, la satisfacción como disposición a pagar y las reglas de contactabilidad de los call centers.
• 49:50
  La pregunta que hace el upliftPresentan las cuatro categorías: persuadibles, cosas seguras (sure things), causas perdidas y Sleeping Dogs. Quieren accionar a los persuadibles y no despertar a los dormidos; los modelos de propensión funcionan bien en los extremos, pero fallan en el medio, que es lo que interesa.
• 55:31
  Terminología de los modelos de upliftDefinen grupo de control y grupo tratado (treatment), y el uplift como la diferencia de respuesta. Explican el problema fundamental de no poder observar a la misma persona tratada y no tratada ("universos paralelos"). Relatan un caso real de un descuento que provocó bajadas de plan mayores a las esperadas.
• 01:04:06
  Cómo se resuelve este problema? Single learnerUn solo modelo con el tratamiento W como feature binaria: se predice con W=1 y con W=0 y se restan. Discuten que los datos de campañas pasadas están sesgados y que se necesitan descuentos aleatorios, además de la gráfica de lift, que se puede adaptar al uplift ordenando por mayor uplift y descartando los negativos.
• 01:18:28
  Target transformationSe crea una variable transformada Z a partir del resultado y del tratamiento, y se modela con la fórmula uplift = 2·P(Z=1) − 1. Funciona con proporciones iguales de tratados y no tratados, y no entienden bien la derivación matemática. Responden preguntas del chat sobre qué matemáticas y qué lenguaje (Python o R) aprender para ciencia de datos.
• 01:25:35
  T-LearnerDos modelos, uno para tratados y otro para control, restando sus predicciones; pertenecen a la familia de meta learners, agnósticos al modelo base (por ejemplo XGBoost). También hay modelos específicos basados en árboles y Random Forest que estiman el uplift directamente, y comentan las librerías que usan en el trabajo.
• 01:33:51
  CierreEl uplift cambia la pregunta a quién responderá bien a la acción. Sus desventajas son la dificultad de obtener datos de entrenamiento, convencer a las áreas de dar descuentos aleatorios, cambios de tratamiento sin aviso y el riesgo de sobreajuste. Sigue siendo aplicable y conviene probar ambos enfoques.

Palabras clave