E37 - Test de hipótesis

Resumen

En este episodio, grabado en mayo de 2023, los conductores repasan los test de hipótesis desde una mirada práctica de ciencia de datos. Parten de un caso motivador: cómo saber si un nuevo feature de Netflix aumenta el tiempo diario de uso, y por qué importa cómo se selecciona la muestra (aleatoria, estratificada). Explican los conceptos clave: hipótesis nula y alternativa, nivel de significancia (alfa), p-valor y errores tipo I y II. Recorren una calculadora de test de hipótesis para la media de una normal y muestran cómo el tamaño de muestra n permite detectar diferencias más pequeñas. Con datos de películas de Netflix ilustran un test chi cuadrado de independencia y un test de correlación. La conclusión principal es que en la vida real los supuestos (normalidad, independencia, varianza conocida) casi nunca se cumplen. Por eso recomiendan entender la deducción del test normal, chequear los supuestos y comunicar al negocio el riesgo de cada decisión.

Capítulos

• 00:00
  IntroPresentan el tema (qué test de hipótesis hay y por qué existen tantos) y comentan que la estadística suele quedar de lado en la carrera del data scientist, que se enfoca más en programación y modelos. Señalan que el negocio rara vez hace preguntas de rigor estadístico y que a veces se ven errores como reportar el desempeño sobre el set de entrenamiento.
• 03:35
  MotivaciónPlantean el caso de Netflix: un nuevo feature debería subir el tiempo diario promedio de 30 a 50 minutos, y hay que convencer al jefe con confianza. Discuten cómo seleccionar la muestra (aleatoria, variables de control, muestreo estratificado, sesgo por no respuesta), el tamaño de la muestra, y que el nivel de confianza (típicamente 95%) aparece al final. También responden preguntas del chat sobre la importancia de un título universitario en datos.
• 16:01
  Hipótesis nula versus alternativaLa nula es el status quo ("no pasa nada") y lo que se quiere probar va en la alternativa, con la analogía de inocente hasta demostrar lo contrario. Explican pruebas de una y dos colas, y que se puede plantear hipótesis más complejas, aunque es difícil matemáticamente. Mencionan que en la nula se toma la igualdad (por ejemplo μ = 30) por ser el peor caso.
• 24:11
  Nivel de significancia y p-valorAlfa (típicamente 5%, 10% o 1%) es la probabilidad de rechazar incorrectamente la nula; se discute su interpretación frecuentista (repetir el experimento muchas veces). El p-valor es la probabilidad de obtener un valor más extremo que el observado, y se rechaza la nula si p < alfa. Se discute cómo la varianza afecta la confianza y que el test nunca "asegura" nada al 100%.
• 38:59
  Tipos de erroresPresentan la tabla análoga a la matriz de confusión: error tipo I (rechazar la nula siendo verdadera) y error tipo II (no rechazarla siendo falsa, ligado a la potencia, beta). Debaten que estadísticamente se dice "no hay evidencia suficiente para rechazar" en lugar de "aceptar". Opinan que el 95% es muy conservador y que alfa debe elegirse según el costo de equivocarse (por ejemplo, en medicina el costo es altísimo).
• 48:32
  Calculadora de test de hipótesisCada test tiene una distribución subyacente (normal, chi cuadrado, t, F) bajo la nula. Con una calculadora online para la media de una normal con sigma conocido, muestran el estadístico Z, un p-valor de 0,22 que no rechaza, y cómo aumentar n permite rechazar con diferencias pequeñas; también el enfoque de región de rechazo (Z alfa). Recomiendan deducir la matemática del test normal al menos una vez, y advierten que sus supuestos (población normal, varianza conocida) son poco realistas, como el ejemplo de la altura.
• 01:11:31
  Ejemplo con datos de NetflixComentan que en la práctica las métricas rara vez son medias (percentiles, medianas) y que aparecen complicaciones como estacionalidad. Intentan mostrar un notebook con datos de películas de Netflix tomados de Kaggle, pero el ambiente de Python falla en vivo.
• 01:13:25
  MemesMientras se resuelve el problema técnico comentan memes sobre p < 0,05. Señalan que si muchos papers usan alfa = 0,05, una fracción tendrá resultados errados por pura probabilidad.
• 01:15:11
  Continuación del ejemplo con datos de NetflixCon el notebook ya ejecutado, muestran la distribución de las notas de IMDb y categorizan el score en low, medium y high (se corrige un error en los intervalos). Aplican un test chi cuadrado de independencia entre género y nota, que indica que hay dependencia pero no cuál categoría. Mencionan ANOVA y un test de correlación de Pearson que no logra rechazar entre nota y duración.
• 01:24:10
  Supuestos de los test de hipótesisInsisten en que la vida real incumple los supuestos y hay que verificarlos; hablan de test no paramétricos y de que Pearson solo mide correlación lineal. Nombran Kolmogorov-Smirnov, Shapiro-Wilk, ANOVA, chi cuadrado y Wilcoxon, y recomiendan dominar el test normal para aprender el resto con estudio. Comparten experiencias reales: inferir parámetros cuando no se puede procesar toda la población y diseño de experimentos, con un gráfico QQ plot como herramienta para ver distribuciones.
• 01:34:29
  CierreRelatan un caso real de diseño de experimento donde el n era limitado y solo se podían detectar 4 puntos cuando históricamente se subía a lo más 2, por lo que comunicaron el riesgo al negocio. Resumen: importancia de los test, elementos fundamentales y discusiones filosóficas; anuncian que en otro episodio podrían ver pruebas de hipótesis múltiples.

Palabras clave