E132 - Inferencia Estadística - Estimacion de parametros poblacionales

Resumen

El episodio 132 de enCoders aborda la inferencia estadística: cómo estimar parámetros de una población a partir de una muestra, ya que medir a toda la población suele ser inviable. Se motivan los conceptos con dos casos históricos (John Snow y el mapa del cólera, y las pruebas de tonos de azul en Google) y con dos casos reales del anfitrión (seguimiento mensual del NPS y validación de un algoritmo de clasificación de productos). Se explican población vs. muestra, parámetro, estadístico, distribución muestral y el Teorema Central del Límite (TLC), con simulaciones en código sobre una población exponencial. También se contrastan las estimaciones puntuales con los intervalos de confianza y su interpretación correcta. Las conclusiones principales: la variabilidad muestral puede explicar muchas variaciones mes a mes, el NPS desagregado por comuna con pocos datos es ruido, y con proporciones y TLC se calcula el tamaño de muestra mínimo (unas 100 muestras daban un margen de error de ≈0,1 al 95 %). El episodio cierra con memes, anime, una charla sobre trabajar gratis y recomendaciones de libros.

Capítulos

• 00:00
  IntroPresentación del episodio 132 sobre inferencia estadística y estimación de parámetros poblacionales. Se anuncia que habrá código y casos reales de la experiencia laboral del anfitrión, y se menciona el capítulo previo de test de hipótesis.
• 01:36
  Conceptos básicos de Inferencia EstadísticaLa inferencia busca saber algo de una población con los datos observables de una muestra, porque preguntar a todos es costoso o inaccesible (ejemplo: Chile con ~20 millones de personas; el censo como excepción). Se advierte que hay bastante matemática detrás.
• 03:01
  Casos históricos de Inferencia EstadísticaJohn Snow (médico nacido en 1813) mapeó las muertes por cólera y las concentró en torno a una bomba de agua; las autoridades la cerraron y los casos descendieron. Segundo caso: Google probó 41 tonos de azul para los links con pruebas A/B (hacia 2008), con un impacto citado de ~200 millones de ingresos.
• 08:18
  Aplicaciones prácticas y ejemplosSe presentan los casos del anfitrión: seguimiento mes a mes de puntajes de encuestas (variaciones que serían puro error estadístico) y la validación de un modelo de clasificación sin etiquetas verdaderas. Como bonus, estimar la distribución de mazos en un TCG (Pokémon) para armar un mazo antimeta. Se comenta el libro de Casella y Berger como muy denso, y las tablas estadísticas como simples funciones de la distribución.
• 19:58
  Estimaciones Puntuales vs. Intervalos de ConfianzaSe define población (ejemplo: 302 millones de suscriptores de Netflix), muestra, parámetro y estadístico (función de la muestra, variable aleatoria), con ejemplos como el "estadístico del número siete". Se explica la corrección n-1 de la varianza y que el 90 % de confianza significa que el procedimiento genera intervalos que contienen el parámetro el 90 % de las veces; a los gerentes se les puede dar el punto medio del intervalo como estimación puntual. Debate sobre qué aporta n=1, el valor práctico de n≈30 y el power analysis para el tamaño muestral.
• 31:43
  Teorema Central del Límite y DistribucionesSe distinguen distribución de la población, de la muestra y muestral. Simulación con población exponencial de 1 millón (media ≈2): al repetir muestras de 30 y promediar, la distribución de medias se acerca a una normal, más suave con 10.000 repeticiones. Se contrasta con el estadístico del séptimo valor (sigue exponencial) y con el máximo (centrado en ~5, cola larga).
• 42:11
  Estadísticos y Distribuciones MuestralesCualquier función de la muestra tiene distribución muestral; la media es la más usada por el TLC. Al subir el tamaño de muestra a 1000 la curva se achata y calza con la normal teórica. Se enuncia el TLC como convergencia en distribución (CDF) y se comenta que tiene unas 25 versiones.
• 48:36
  Memes yMemes de estadística, con enlace en el Discord y en la descripción. Se comenta que machine learning se apoya fuertemente en estadística y que un estadístico viene de la muestra mientras que el parámetro viene de la población (a veces sí se tiene el parámetro, como el monto promedio de facturas en una base de datos).
• 51:29
  Recomendaciones de animesCuentan su semana: avances con conexiones en el trabajo, Solo Leveling y Dr. Stone (reconstruir la civilización con ciencia desde la edad de piedra). También se menciona la tercera temporada en Netflix.
• 55:35
  Discusión sobre Experiencia Laboral y Trabajo GratisA raíz de una polémica de la farándula chilena, debaten trabajar gratis por experiencia: aceptable para primeros trabajos o proyectos propios, pero perjudica a la industria (videojuegos) y no corresponde con profesionales. Mencionan además un modelo conversacional (Sesame) útil para practicar inglés.
• 59:16
  Problemas y soluciones en encuestas y NPSSe explica el NPS (9-10 promotores, 7-8 neutros, 0-6 detractores; (promotores − detractores)/total, acotado entre −1 y 1) y el problema: una encuesta de 1000 clientes al mes en Santiago, con seguimiento mensual de variaciones que parecen ruido. Se menciona el origen del NPS con Fred Reichheld (2006), según un comentario del chat.
• 01:07:27
  Simulaciones y cálculo del NPSSimulación con 1 millón de clientes en 20 comunas de tamaños muy desiguales (NPS real ≈ 51,6). Se simulan 1000 encuestas de 1000 personas y se calcula el NPS global y por comuna; el NPS no es un promedio simple, sino un promedio ponderado con coeficientes −1, 0 y 1, y por eso se simula.
• 01:10:26
  Problemas con la varianza y el seguimiento del NPSLas distribuciones muestrales por comuna son muy dispersas (la comuna con menos clientes tiene unos 12 datos por encuesta); el global es el más concentrado. Se critica pedir aperturas por comuna porque con pocos datos el valor es "cualquier cosa".
• 01:13:25
  Análisis de la varianza y la importancia de los intervalos de confianzaUna caída de 50 a 48 es normal dentro de la variabilidad; una caída a 20 sí sería rara (la desviación estándar global ronda 4). Se recomienda graficar puntos con intervalos de confianza o de desviación estándar y solo reaccionar ante valores extremos. En una sola encuesta, la comuna 2 daba 90 contra un real de 49.
• 01:21:30
  Caso práctico: Clasificación de objetos con algoritmosUn algoritmo (con IA generativa) clasifica 50.000 productos sin etiquetas verdaderas. Se etiqueta una muestra con 1/0 (acierto/error) y la proporción es un promedio, por lo que aplica el TLC; el estadístico estandarizado distribuye normal (0,1). Con confianza 95 % y p=1/2 (el peor caso), n=100 da un margen de error de ≈0,097; con 90 % de confianza el margen baja, y con n=1000 llega a ≈0,03. Con 100 muestras al día era viable saber si el modelo andaba en ~0,7 y no en ~0,2. Se debate que intervalos traslapados impiden afirmar diferencias.
• 01:37:40
  CierreResumen de que ambos casos son aplicaciones directas del TLC y que conviene revisar la derivación (Bernoulli, TLC, normal, intervalo, 1−α). Recomiendan el libro de Casella y Berger (muy matemático) y el de Sheldon Ross (introducción a probabilidades, más accesible). Invitan a Discord, Twitch y a proponer temas o entrevistas.

Palabras clave