E12 - Temas básicos de probabilidades y estadística que un DS debería saber

Resumen

El episodio 12 de enCoders contrasta lo que se enseña en los cursos de probabilidades y estadística con lo que un científico de datos usa realmente en la práctica. Parte de un ejercicio de motivación: el valor esperado de tiradas de un dado para ver las seis caras, que se resuelve descomponiendo la variable en geométricas y da 14,7. Luego recorren el temario de un curso básico (fundamentos, variables aleatorias, conjuntas, funciones de variables, inferencia, modelos de distribución, regresión) y comentan qué se usa y qué no. Concluyen que los fundamentos, el teorema central del límite, los tests de hipótesis, los intervalos de confianza y la regresión lineal son lo más aplicado. También que conviene saber dónde buscar lo específico, que los supuestos teóricos casi nunca se cumplen del todo y que el criterio importa más cuando la decisión es costosa. Cierran con un mapa mental (estadística descriptiva e inferencial, bayesiano vs. frecuentista, errores tipo I y II, Poisson/Markov, Montecarlo) y con la recomendación de saber experimentación para entrevistas.

Capítulos

• 00:00
  IntroPresentan el objetivo: contrastar lo que se aprende en probabilidad y estadística con lo que se usa en la práctica y hasta qué profundidad. Matías aclara que es matemático y que lo que olvidó es pista de que no se usa tanto.
• 01:16
  Ejercicio de probabilidades de MetaProblema de un dado: cuántas tiradas se esperan para ver las seis caras. Calcular P(X=6) es fácil, pero con 7 el cálculo se complica; la solución es descomponer X en una suma de variables geométricas (con probabilidades de éxito 6/6, 5/6, 4/6…) y usar la linealidad de la esperanza, lo que da 14,7. Concluyen que lo valioso es el truco de descomponer, aunque nadie ha tenido que calcular la media de una geométrica en el trabajo; la binomial y la normal sí se usaron (por ejemplo, en pruebas de proporciones).
• 20:56
  Continuación de la introDiscuten cuándo se aplica estadística en el trabajo: tests A/B con grupo control para saber si una campaña funciona, y tomar decisiones (hipótesis nula frente a alternativa). Un caso usó cadenas de Markov con matriz de transición programada. Defienden saber lo básico para saber dónde buscar lo específico.
• 25:43
  Fundamentos de probabilidadesRepasan el primer capítulo del temario (eventos, teoría de conjuntos, aditividad), con bromas sobre matemáticos puros e industriales. Opinan que hay que saber la definición básica (casos favorables sobre casos totales) y aprender a contar, porque da intuición. Advierten que la teoría de la medida es excesiva para el uso práctico.
• 31:59
  Modelación analítica de fenómenos aleatoriosCubre distribución y densidad de probabilidad, valores esperados, varianza y percentiles. Consideran útil esto para análisis exploratorio e histogramas, y de Poisson basta recordar que modela tiempos de llegada. Comentan Montecarlo para estimar probabilidades (ganancia mayor a 50 millones) y que el dado también se podría simular; la fórmula exacta es más precisa.
• 42:45
  Variables aleatorias conjuntasDistribuciones conjunta, marginal y condicional e independencia. Discuten que los supuestos teóricos (independencia, normalidad) casi nunca se cumplen en la vida real y que se ignoran cuando el error no es grave. Ejemplo: promediar notas discretas del 1 al 7 en un test de medias. Sirve conceptualmente para modelos generativos vs. discriminativos y la condicionalidad.
• 44:16
  Distribuciones de funciones de una o más variables aleatoriasSe destaca el teorema central del límite: el promedio tiende a normal bajo ciertos supuestos (variables iid con media y varianza finitas). Ejemplo con el GDP de países: la distribución es exponencial, pero los promedios de muestras de 30 países son normales. Discuten una idea de submuestreo repetido para clases desbalanceadas y su relación con bootstrap, con dudas sobre si el modelo intermedio rompe la hipótesis.
• 58:43
  Inferencia EstadísticaEs lo más usado: medir si una acción tuvo efecto comparando con un control, intervalos de confianza y variables importantes del modelo. Ejemplo: la potencia de un equipo por debajo o por encima de 20 y el test para demostrar la diferencia entre los dos grupos.
• 01:01:22
  Determinación de modelos de distribución de probabilidadLos últimos capítulos del curso se sintieron apresurados. Ejemplo de un call center: comparar la distribución de duración de llamadas con buena y mala nota (entre 2 y 4 minutos) para convencer al jefe con un test de distribuciones, y la alternativa de agrupar en bins. Aclaran que este tema no se ve en carreras no estadísticas.
• 01:11:06
  Regresión lineal y anáñisis de correlaciónLa regresión lineal se considera esencial como respuesta rápida, para revisar betas y p-values, y para saber si el problema es lineal. Limitada, pero excelente si funciona. Se mencionan transformaciones (logaritmo, cuadrado, raíz) para linealizar y la verificación de supuestos (varianza no constante). Un compañero hizo una regresión con interacciones y términos cuadráticos.
• 01:12:51
  Comentarios del programaComentan el curso de inferencia estadística: tests de hipótesis, regresión y métodos no paramétricos; muy teórico (derivar estimadores y su distribución, t, F, chi-cuadrado, una o dos colas). Lo más aplicado a día de hoy son los tests de hipótesis y los intervalos de confianza; los no paramétricos se usan cuando no se cumple la hipótesis de distribución.
• 01:23:05
  Mapa mental de ChrisEsquema con estadística descriptiva (media, moda, asimetría, curtosis, dispersión, cuartiles, covarianza y correlación) frente a inferencial (población, muestreo, tests). Compara enfoques frecuentista y bayesiano, y menciona procesos de Poisson y de Markov (sin memoria), simulación y Montecarlo, y errores tipo I y II.
• 01:34:44
  Cierre de la sesión (resumen)Conclusión general: hacer un curso de estadística, entender los fundamentos, entrenar la abstracción con ejercicios teóricos, el teorema central del límite, regresiones e inferencia. Recomiendan saber experimentación para entrevistas y un canal de YouTube de una analista de Google.
• 01:40:13
  CierreMatías disfrutó el problema inicial aunque no lo resolvió por completo al principio. Adelantan el próximo capítulo y se despiden hasta la semana siguiente.

Palabras clave