E87 - Causal Impact, un paquete de Google para Causal Inference

Resumen

En este episodio (grabado en vivo el 30/04/2024) Mati presenta la inferencia causal y el paquete CausalImpact de Google. Primero explica los conceptos base: causa y efecto, variables confusoras (confounding), "correlación no implica causalidad" y la paradoja de Simpson, ilustrada con un estudio de cálculos renales. Luego plantea el problema fundamental de la inferencia causal: no se pueden observar a la vez el mundo con intervención y el mundo sin ella, por lo que falta el contrafactual. Describe el experimento aleatorizado (A/B testing) como la solución ideal cuando se puede aplicar. Cuando no se puede, propone CausalImpact, que estima el contrafactual de una serie de tiempo a partir de covariables, y lo muestra con un ejemplo simulado en R. Las conclusiones: la clave es elegir buenas covariables que expliquen bien el periodo previo a la intervención y que no sean afectadas por esta; y la forma de comunicar los resultados importa tanto como el análisis.

Capítulos

• 00:00
  IntroMati explica que trae el tema porque el paquete CausalImpact surgió en reuniones de trabajo y quiere compartir algo aplicado a la vida real, minimizando la matemática. Anuncia dos partes: conceptos de inferencia causal y luego el paquete.
• 03:10
  Qué es Inferencia Causal?Introduce la inferencia causal con un enfoque filosófico (el interruptor de la luz y una tercera persona que lo acciona) y frases de Demócrito y Aristóteles. Cita el libro "A First Course in Causal Inference" y la discusión sobre "efecto de las causas" versus "causas de los efectos" (ejemplo del fumador y las tres cajetillas). En el chat y entre los presentadores se comenta que la forma de presentar un argumento influye en su aceptación.
• 14:51
  Relación causar y confouding variablesCon el ejemplo de la campaña de pizzas, el gerente quiere ver más ventas como efecto de su campaña. Define las variables confusoras: una tercera variable (p. ej. llegada de gente más joven) que influye a la vez en lo que se modifica y en lo que se mide.
• 17:29
  Correlación versus causalidadMuestra la correlación espuria entre ahogados en piscinas y películas de Nicolas Cage (cerca de 66,6 % de correlación de Pearson), como ejemplo de que correlación no implica causalidad. Surge también una consulta del chat sobre hacer sesiones solo de código.
• 21:19
  Paradoja de SimpsonPresenta la paradoja como un caso de variables confusoras que él mismo vio en un trabajo anterior. Dice que enseña a desconfiar de los resultados agregados.
• 22:25
  Caso de estudio de calculos renalesCompara incisión abierta y punción para piedras en el riñón: con los datos agregados la punción parece mejor (diferencia de riesgo de aprox. -5 %), pero separando por tamaño de piedra la incisión es mejor en ambos grupos. La causa es que la incisión se aplicaba sobre todo a casos graves (piedras grandes), por lo que el experimento no era aleatorio.
• 33:19
  Clásico ejemplo de paradoja de SimpsonGráfico de probabilidad de éxito en básquetbol versus altura: la tendencia global baja, pero dentro de cada grupo de edad sube. Mati recuerda un caso real en el trabajo con campañas y tendencias opuestas al segmentar. Comentan que es difícil detectar la paradoja porque hay que dividir por muchas variables.
• 38:47
  Universos paralelos, viajes en el tiempoExplica el problema fundamental: no se puede observar a la vez lo que pasa con y sin la intervención (analogía con "Volver al futuro" y el almanaque). Se plantea como un problema de datos faltantes y se introduce el contrafactual.
• 44:35
  MemesSe comentan memes sobre correlación y causalidad, el p-valor y variables no observables, y el gato de Schrödinger como analogía de los resultados Y1 e Y0 (real y contrafactual). Mencionan el método de diferencia en diferencias como otro método econométrico.
• 48:28
  Randomized experimentCon el ejemplo de los locales de pizza explica el experimento aleatorizado: efecto promedio del tratamiento (average treatment effect) como diferencia entre grupos, versus el efecto individual que no se puede conocer. Al aleatorizar se controlan las variables confusoras por diseño; menciona A/B testing en un sitio web, pruebas de hipótesis e intervalos de confianza, y que en la práctica a veces no se puede discriminar a los clientes.
• 59:30
  ContrafactualPresenta CausalImpact (Google) para cuando no se puede aleatorizar. Usa un ejemplo de un cambio de política en el mercado de divisas (franco versus euro) para mostrar cómo la diferencia entre lo observado y el control sintético da el efecto, y resume la idea con una tabla de unidades observadas y no observadas.
• 01:06:00
  Ejemplo en RInstala el paquete, simula series con un modelo ARIMA y una covariable, con un efecto de +10 desde la observación 71. Con tres líneas de código estima el contrafactual y obtiene un efecto promedio de 10 y un efecto acumulado de unos 300. Al reemplazar la covariable por una poco relacionada, el periodo previo no se ajusta y la conclusión pierde validez. Explica los dos supuestos: que las covariables expliquen bien el periodo previo y que no sean afectadas por la intervención.
• 01:30:23
  CierreMati resume que el modelo (bayesiano de series de tiempo estructurales) es robusto y que el paper valida el método con casos reales de clics en banners de búsqueda de Google. Confirma que existe versión en Python, anuncia que el tema de la próxima semana podría ser cómo escalar una aplicación de IA generativa en una empresa, y recuerda que los streams son los martes de 7 a 9 (hora chilena).

Palabras clave