E144 - Explorando librerías para EDA automático (y una sorpresa)

Resumen

En el episodio 144 los conductores prueban librerías de análisis exploratorio de datos (EDA) automático sobre un dataset de Kaggle que clasifica personas como extrovertidas o introvertidas (siete variables más el objetivo, unas 3.000 filas). Revisan ydata-profiling, Sweetviz, Autoviz, pygwalker, Lux y dabl, y al final muestran como sorpresa una librería de AutoML (H2O). El dataset parece sintético: casi todas las variables están muy correlacionadas con "tiempo que pasa solo" y el reparto es cercano a 50/50. La conclusión principal es que estas herramientas sirven como primera pasada rápida, pero no reemplazan un EDA bien hecho ni al científico de datos. Sweetviz es la favorita por ser ejecutiva y traer análisis contra el target (nota 8), y ydata-profiling queda como la más completa pero extensa. Autoviz recibe un 5 y Lux y dabl un 3 o 4. También se discute que el EDA no se automatiza en producción y las reuniones como tema de memes.

Capítulos

• 00:00
  IntroPresentan el tema de EDA automático, surgido de una consulta en Discord sobre problemas al instalar librerías. Anuncian seis librerías y una sorpresa al final, y comentan que antes construían sus propias funciones de EDA.
• 04:14
  Comprensión del Análisis Exploratorio de Datos (EDA)Mati define el EDA como "dime algo de estos datos": revisar faltantes, valores con sentido (por ejemplo, alguien que factura 10.000 millones), plantear hipótesis y responderlas con técnicas. Menciona boxplots, histogramas y análisis bivariado con correlaciones (Pearson, Spearman).
• 06:06
  Importancia de la Calidad de Datos en EDAEl EDA sirve para validar que los datos tengan lógica de negocio y para saber cómo limpiarlos (fechas con UTC distinto, fechas default, problemas de encoding). Los científicos junior suelen modelar sin limpiar. Responden que el EDA va antes de las reglas de calidad y conviene repetirlo después de los cambios para contrastar.
• 08:10
  Explorando Técnicas y Herramientas de EDARepaso de técnicas típicas (resumen de cinco números, distribuciones, outliers, faltantes) y ejemplos de preguntas, como la tasa de supervivencia en un estudio de cáncer de mama. Distinguen variables continuas de categóricas y comentan que no hay una metodología única. Responden preguntas del chat sobre EDA de texto (embeddings, TF-IDF) y comentan el problema de NumPy 2 con algunas librerías.
• 18:20
  Descripción de un dataset de ejemplo sacado de KaggleDataset de personalidad extrovertido/introvertido basado en una encuesta: tiempo solo, pánico escénico, eventos sociales, salidas, batería social, amigos y publicaciones en redes. Mati cree que podría ser sintético y comentan cómo se autoclasifican.
• 22:25
  Primera Herramienta de EDA: ydata-profilingAntes llamada Pandas Profiling, se genera con pocas líneas de código a un HTML. El dataset es pequeño (8 columnas, ~3.000 filas), por lo que es rápido; Mati nota que muchas librerías solo funcionan en Jupyter.
• 24:35
  Análisis del Reporte de EDARevisan el overview: ~2% de celdas faltantes, 315 filas duplicadas y reparto 50/50 que parece raro frente a la estimación de un tercio de introvertidos. Interpretan los resúmenes por variable, los gráficos de interacciones (hexágonos de conteo) y los mapas de valores faltantes, y notan correlaciones altas entre todas las variables. Además aclaran que un EDA no se corre en producción, donde conviene monitorear distribuciones y estabilidad del modelo.
• 40:08
  Reportes de alertasLa pestaña de alertas señala automáticamente que "time spent alone" está correlacionada con otros seis campos. Concluyen que con unas cinco líneas ya se infiere que los datos parecen sintéticos, con pocos faltantes y alta correlación.
• 41:56
  Segunda Herramienta de EDA: SweetvizSweetviz permite indicar la variable objetivo (`target_feat`) y genera un reporte más compacto y "ejecutivo". Mati tuvo que recodificar el target a 0/1 (1 = introvertido); detecta 388 filas duplicadas.
• 44:08
  Interpretación del Análisis BivariadoExplican el gráfico de barras más línea: las barras muestran el tamaño del grupo y la línea la proporción de introvertidos por rango. Quienes pasan más tiempo solos tienen mucha mayor proporción de introvertidos, y se advierte que los bins pequeños pueden engañar.
• 46:29
  Explorando otros gráficos de SweetvizSweetviz muestra estadísticas ejecutivas (mínimo, máximo, rango, ceros, faltantes) y una matriz de asociaciones que incluye categóricas. Mati declara que sería su primer paso en un proyecto y se discute que el reporte HTML no se exporta a PDF y que conviene copiar gráficos a PowerPoint.
• 55:45
  MemesMeme de "meeting driven development": comentan el exceso de reuniones y proponen medir la participación con transcripciones, con el riesgo de que se use mal. Recomiendan pedir contexto antes de aceptar reuniones y poner descripciones en las invitaciones. También comentan un meme sobre amenazar a un LLM para que respete un esquema JSON.
• 01:02:41
  Noticias del postnatalRodo cuenta cómo han sido sus primeras semanas con su bebé, los turnos para dormir con Maca y la dificultad de dejarla en la cuna. Anuncian que la próxima semana habrá un episodio sobre Excel.
• 01:09:48
  Tercera Herramienta de EDA: AutovizCon una sola llamada al dataframe genera una carpeta con gráficos HTML, no un informe único. Se puede indicar el target y la mayoría de los gráficos se centran en él.
• 01:10:54
  Resultados de AutovizMuestra promedios por clase (los introvertidos pasan 7 horas solos frente a 2,06 de los extrovertidos), correlaciones y gráficos de violín. Los gráficos de dispersión con variables categóricas se solapan y resultan poco útiles; Mati le da un 5 frente a un 8 de Sweetviz.
• 01:17:07
  Cuarta Herramienta de EDA: pygwalkerInterfaz tipo tabla dinámica de Excel donde se arrastran campos a los ejes y se eligen agregaciones y gráficos (media, histogramas, filtros). Requiere curva de aprendizaje, es más "no code" que automática, y tiene un chat de pago que Mati sospecha es limitado.
• 01:24:13
  Otras herramientas de EDA: Lux y dablLux enriquece los dataframes en Jupyter con gráficos sugeridos, pero a Mati se le cayó el dataframe y no entendió los gráficos (nota 3). dabl genera muchos gráficos de dispersión, ahora con transparencia, pero Mati le pone un 4.
• 01:30:18
  AutoML y Librería H2OSorpresa: H2O prueba muchos modelos automáticamente (GBM, redes neuronales, stacking) y entrega un leaderboard. Mati la usaba como referencia de rendimiento, aunque el mejor modelo no siempre es explicable y la configuración (Java, servidor local, H2OFrame) es incómoda.
• 01:32:40
  Métricas de Rendimiento y Evaluación de ModelosUn random forest obtiene precisión y recall cercanos a 0,9, y H2O AutoML (ganó un GBM) mejora levemente en test con AUC 0,96, aunque consume tanto CPU que se cae el stream. Bromean con la métrica irreal por el dataset sintético.
• 01:40:51
  CierreMati concluye que Sweetviz es la mejor y que estas herramientas son un punto de partida, no reemplazo del EDA ni del científico de datos. Cris y Rob agregan que no detectan correlaciones no lineales y se despiden hasta la próxima semana.

Palabras clave