E40 - Test de hipótesis múltiple - teoría y aplicación

Resumen

El episodio 40 de enCoders repasa desde cero el test de hipótesis básico (Z-test) y lo extiende a los tests de hipótesis múltiples. Se deduce el Z-test usando la ley de los grandes números y el teorema central del límite, con el ejemplo de botellas de 80 ml. Se explica qué son el estadístico Z, el p valor y el alfa, y por qué conviene reportar el p valor en lugar de una decisión binaria con un alfa fijo. Se critica el uso de 0,05 como "estándar de la industria" sin justificación. Luego se muestra que al probar muchas hipótesis la probabilidad de cometer al menos un falso positivo (FWER) crece rápidamente, y se presentan tres soluciones: la corrección de Bonferroni (simple pero demasiado exigente), el método de Holm (punto intermedio) y el False Discovery Rate (útil con miles de hipótesis, como en genómica).

Capítulos

• 00:00
  IntroBienvenida al episodio 40, dedicado a los tests de hipótesis múltiples, su teoría y aplicaciones. Se anuncia que se partirá con un repaso del test de hipótesis básico.
• 00:16
  Recordatorio de test de hipótesis básicoSe explican la ley de los grandes números (el promedio muestral se acerca a la esperanza al crecer n) y el teorema central del límite (se obtiene una normal estándar o distribución Z con esperanza 0 y varianza 1). Se comenta que todos los modelos son aproximaciones de la realidad y que lo importante es que sean útiles.
• 05:12
  Ejemplo y deducción del Z-TestEjemplo de una fábrica de botellas de 80 ml con una muestra de 40 botellas y promedio 78. Se definen la hipótesis nula y la alternativa, el estadístico Z (aprox. -0,126), el p valor (≈0,45 con tabla Z), el alfa (0,05) y la relación con las colas de la normal (1,96, 68-95-99 % y seis Sigma). Se aclara que el p valor es más informativo que el alfa binario.
• 35:23
  Preguntas y NPSUn participante cuenta que en el trabajo lo difícil es validar los supuestos más que ejecutar el test. Explica el NPS (promotores menos detractores sobre el total de la encuesta) y el test de proporciones. Se mencionan también el t-test, ANOVA, chi cuadrado y Kolmogórov-Smirnov para verificar que dos grupos provienen de la misma distribución, además de los asteriscos de significancia que algunas librerías añaden.
• 47:20
  MemesSe critica usar alfa 0,05 "porque es el estándar de la industria": cada problema (medicina, justicia) tiene su propia exigencia. Con un millón de papers a 0,05 habría muchos resultados falsos. También se discute que se "falla al rechazar" la hipótesis nula en vez de aceptarla.
• 53:17
  Ejemplo de test de hipótesis múltiple fallido y FWERCon el cómic de xkcd de los Jelly Beans, al probar 20 colores con alfa 0,05 es esperable que uno dé un falso positivo. Se señalan dos errores: ignorar la multiplicidad y reportar solo "p < 0,05" en vez del p valor.
• 58:26
  Serie de videos de StandfordSe recomienda la serie de Stanford Online sobre tests múltiples. Se define el family-wise error rate (probabilidad de al menos un falso positivo) y se deduce FWER = 1 − (1 − α)^m para hipótesis independientes. Con 5 hipótesis y α = 0,05 el FWER es cercano a 0,22; se despeja α para un FWER objetivo y se ejemplifica con tests A/B en un e-commerce.
• 01:10:15
  Corrección de BonferroniUsando la cota de la unión, se concluye que dividir alfa por m acota el FWER. Es simple pero demasiado exigente, lo que dificulta hacer descubrimientos. Se muestra una tabla de ejemplo con cinco p valores donde cambia la cantidad de rechazos.
• 01:16:21
  Corrección de HolmsSe presenta brevemente el método de Holm como punto intermedio entre Bonferroni y no hacer nada: se ordenan los p valores de menor a mayor y se evalúan en secuencia. Mantiene una cota siempre válida sin ser tan estricto.
• 01:18:29
  False Discovery RateEl FDR se define como B/R (descubrimientos falsos sobre descubrimientos totales) y se acota en esperanza. Es útil con miles de hipótesis (genómica, campañas web) como primer filtro, aceptando por ejemplo un 10-20 % de falsos descubrimientos. Se describe el procedimiento con p valores ordenados.
• 01:26:00
  CierreUn participante cuenta que aplicó Bonferroni con solo dos tests (promotores y detractores a la vez). Se recapitula todo lo visto y se invita a unirse al Discord, donde se dejarán las referencias.

Palabras clave