E213 - Test de no inferioridad - Teoría y uso

Descargar video (720p, 276 MB)

Resumen

El episodio 213 de enCoders presenta los tests de no inferioridad, una familia de tests de hipótesis que sirve para decidir si una alternativa (más barata, cómoda o con otro beneficio) pierde, como máximo, un margen aceptable de efectividad respecto a un estándar. Se repasa la intuición de un test de hipótesis clásico con el ejemplo de la máquina que llena botellas (hipótesis nula, estadístico Z, p valor) y se distingue entre tests de superioridad y de no inferioridad. Se define el margen delta, la hipótesis nula "la pérdida es al menos delta", y se interpretan cuatro casos de intervalos de confianza del 95%. Luego se explican el estadístico Z modificado, el error tipo I (alfa), el poder, el power analysis para calcular el tamaño muestral y la versión para proporciones. Se dan ejemplos fuera de medicina (satisfacción de clientes, ads en retail, algoritmos de ML más baratos). La conclusión es que definir el delta es una decisión de negocio o clínica, y que entender esta estadística es parte esencial de la caja de herramientas de un data scientist.

Capítulos

• 00:00
  IntroSe presenta el tema del episodio 213: los tests de no inferioridad, una familia de tests de hipótesis que los presentadores no conocían por ese nombre hasta estudiarlos.
• 01:13
  Por qué testearUn test de hipótesis sirve para cuantificar qué tan seguro se está de una afirmación cuando se tienen datos que permiten verificarla.
• 01:50
  Ejemplo ciudadesSe comparan las tasas de no pago de dos ciudades (1% vs 1,2%, con 1.000 personas cada una, es decir 10 vs 12 personas). Se discute si esa diferencia es relevante o fruto del azar, y que los datos son observaciones que pueden estar sesgadas o corruptas.
• 04:00
  De datos a decisionesPara accionar no basta con que un número sea más alto; importa la magnitud. Se plantean las dos conclusiones típicas de un test de superioridad: hay evidencia suficiente de que B tiene mayor tasa, o no la hay.
• 08:15
  Caso medicinaUna droga A intravenosa (80% de eficacia) frente a una B en píldoras (68%). Se pregunta cuánta eficacia se está dispuesto a perder por conveniencia o menor costo, y se señala que a veces no se puede traducir a dinero.
• 13:36
  Cuándo aceptar peorSe acepta empeorar una métrica cuando otra mejora: costo, tiempo, ingresos, o una obligación legal (por ejemplo, hacer firmar algo a clientes sin que caiga mucho la satisfacción).
• 16:14
  Resumen para MatiSe explica a Mati la idea: una nueva acción con menor efectividad (ejemplo 80 vs 78) se acepta si la pérdida cae dentro de un rango definido de antemano. Se aclara que no es lo mismo que un test de una cola de superioridad.
• 19:36
  Repaso test hipótesisEjemplo de la máquina que llena botellas: debería llenar 80 ml, con n=40 el promedio empírico es 78 ml y la desviación estándar 2,5 ml. Se plantean H0 (μ ≥ 80) y H1 (μ < 80) y se asume que las mediciones son IID.
• 25:50
  LLN vs TLC debateSe explica la ley (débil) de los grandes números, y Mati/Cris discuten que para deducir formalmente el test lo que se necesita es el teorema del límite central; se recomienda derivar el test de medias una vez en la vida.
• 32:11
  Z score y p valorLa media tiende a una normal; se estandariza restando μ y dividiendo por σ/√n, usando el borde de H0 (80). Se obtiene un Z de aproximadamente -5,06, un p valor minúsculo y se rechaza la hipótesis nula: la máquina está mala.
• 42:29
  No inferioridad máquinasCon dos máquinas (A llena 78 ml, B llena 80 ml): el test de superioridad dice que B es mejor, y el de no inferioridad con margen de 5 ml dice que A es suficientemente buena.
• 46:20
  Pausa y memesPausa con memes de la semana: una canción hecha con IA ("LGTM"), un meme sobre conseguir trabajo y comentarios sobre macros de Excel.
• 48:49
  Definiendo el deltaSe define delta como el máximo de eficacia que se acepta perder entre tratamiento y control. Superioridad pregunta "¿es mejor?"; no inferioridad pregunta "¿es no peor que cierto margen?". Se menciona que existe también el test de equivalencia.
• 50:29
  Hipótesis no inferioridadLa hipótesis nula se formula como la diferencia (tratamiento − control) menor o igual a −delta; se busca evidencia para rechazarla.
• 51:39
  Intuición del menos deltaMati dice que la formulación con −delta le resulta confusa y la prefiere pasando términos al otro lado (control − tratamiento ≥ delta); se aclara que es equivalente.
• 52:56
  Intervalos y cuatro casosCon intervalos de confianza del 95% para la diferencia: caso 1 supera superioridad y no inferioridad; caso 2 solo no inferioridad; caso 3 es inconcluso; caso 4 es claramente inferior. Pasar superioridad implica pasar no inferioridad.
• 57:26
  Fundamentos y estadístico ZEstimación de la diferencia de medias y del error estándar (varianzas sumadas, asumiendo independencia). El estadístico se centra sumando delta, de modo que en el límite de H0 distribuye como una normal estándar.
• 01:02:26
  Analogía con machine learningUn comentario del chat propone usarlo para reemplazar un modelo de ML por uno inferior pero más explicable o barato. Se acepta como analogía, aunque formalmente requeriría muchos modelos y resultados repetidos.
• 01:04:14
  Curvas alfa y poderSe muestran las curvas de la distribución bajo H0 (frontera −delta) y bajo una realidad hipotética. Alfa es la probabilidad de rechazar H0 equivocándose; el poder es la probabilidad de detectar el efecto si existe.
• 01:09:43
  Power analysis y tamaño muestralEl power analysis relaciona N, alfa, poder y varianza; dadas tres variables se despeja la cuarta. Cris cuenta que en la práctica suele elegir N "a ojo" salvo cuando muestrear es costoso.
• 01:14:38
  Proporciones y fórmula de NPara variables binarias (se sanó o no) se usa la desviación de una Bernoulli (p(1−p)/n) y se llega a una fórmula de N a partir del test de Wald.
• 01:16:13
  Caso retail con adsEn retail (Walmart, Amazon) se agregan ads para obtener ingresos extra, pero pueden molestar a los clientes. El margen se define comparando el costo de oportunidad de perder clientes con la ganancia de los ads.
• 01:23:07
  CierreReflexiones sobre la importancia de entender estas bases estadísticas, que no se reemplazan con IA. Luego hay un raid, una pregunta del chat sobre back-end en Python y bromas sobre el término "superinteligencia".

Palabras clave