E118 - Regresión Lineal

Resumen

En el episodio 118 de enCoders, Mati presenta la regresión lineal desde un enfoque matemático-intuitivo y con casos de uso reales (algo modificados) de su trabajo. Explica la idea de la recta que minimiza la suma de los residuos al cuadrado (OLS). Justifica por qué se eleva al cuadrado: el problema resulta convexo y diferenciable, con solución única y calculable sin iterar. Muestra tres casos de uso: identificar "drivers" de la satisfacción del cliente, una recta de referencia para que los ejecutivos negocien descuentos, y una regresión discontinua para estimar el efecto de pasar a nivel platino. Revisa R², las pruebas de cordura (dummy tests), los supuestos (linealidad, normalidad de residuos, homocedasticidad, multicolinealidad, autocorrelación) y la selección de variables forward/backward. La conclusión principal es que los paquetes ya resuelven el cálculo, pero conviene conocer los supuestos para saber qué se pierde si no se cumplen. Los modelos son siempre imperfectos, y lo que importa es que sean útiles y accionables para el negocio.

Capítulos

• 00:00
  IntroBienvenida al episodio 118. Mati explica que la regresión lineal no se había tratado a fondo y que la enfocará desde la matemática y casos reales, no desde el código (`lm` en R, una línea en Python). Recomienda el canal de Steve Brunton y usa diapositivas de otro canal de estadística didáctica.
• 04:26
  Conceptos básicos y ejemplos de Regresión LinealEjemplo de predecir la altura de un ratón a partir de su peso: se busca la recta que pase "por los puntos". Para elegir la mejor recta hay que poder medir, y se compara con una recta plana cualquiera.
• 07:25
  Errores o residuos en la Regresión LinealEl residuo es la distancia entre cada punto y la recta (la diferencia entre predicción y realidad). Al rotar la recta, la suma de residuos al cuadrado traza una parábola cuyo mínimo da la mejor recta; este método se llama OLS.
• 12:02
  Optimización y derivadas en Regresión LinealLa regresión es un problema de optimización sobre pendiente e intercepto, con un error en forma de "manto" en 3D que tiene un mínimo. Elevar al cuadrado lo vuelve convexo y diferenciable, a diferencia del valor absoluto, que no es derivable en cero.
• 17:48
  Propiedades matemáticas y soluciones únicasSe deriva parcialmente e iguala a cero para hallar los parámetros; la forma matricial tiene hessiano positivo definido, lo que da convexidad estricta y un mínimo global único. Por eso la librería no necesita descenso del gradiente: la solución se calcula con pocas multiplicaciones. Otras métricas (cuarta potencia, distancia ortogonal) exigirían demostrar de nuevo estas propiedades.
• 26:52
  Penalización y regularización en RegresiónRidge y Lasso son lo mismo con un término penalizador sobre los betas, lo que cambia el problema de optimización y empuja coeficientes a cero. Se aclara que a y b son constantes por estimar, no dimensiones de la regresión.
• 29:46
  Casos de uso de la RegresiónEn la práctica lo habitual es la regresión multivariada (recta, plano, hiperplano). Se anuncian los casos reales que se revisarán.
• 30:48
  Interpretación de coeficientesCada coeficiente es una pendiente que indica cuánto cambia la respuesta al mover una variable, útil para medir efectos (por ejemplo, subir un descuento de 1000 a 2000).
• 32:03
  Ejemplo práctico: Satisfacción del clienteCaso "drivers": qué variables afectan más la nota de satisfacción (1 a 7) de un servicio de internet: velocidad, atención y claridad de la factura. Se toma el beta de cada variable dividido por la suma de los betas como peso relativo; la velocidad resultó la más importante, y esto coincidió con la intuición del gerente.
• 34:28
  Desafíos en la Regresión LinealLas notas son discretas, no continuas, lo que preocupa en teoría aunque no impide ajustar el modelo. Se menciona la necesidad de estandarizar las escalas y que "todos los modelos son malos, algunos son útiles".
• 35:40
  Pesos relativos de los "betas"Se explica la normalización de los betas para obtener porcentajes de importancia (ej. la velocidad pesa 60-70%). Se advierte que lo más importante, la velocidad, no es lo más accionable (exige tender red), mientras que la atención o la factura se corrigen más rápido.
• 39:26
  MemesPausa de memes y comentarios sobre el Discord. Se conversa sobre aprender nombres, sobre los "wrappers de OpenAI" y sobre que el valor de una aplicación está en la ingeniería de software (se menciona Cursor).
• 47:23
  Uso creativo de la RegresiónTras mostrar cuándo no usar regresión lineal (fenómenos cuadráticos, y una noticia dudosa sobre predecir crímenes, con mención a Minority Report), se presenta el caso del nivel de descuento. Los ejecutivos negocian descuentos a mano, y la recta de regresión se usó no para predecir sino como referencia para que sus negociaciones no tuvieran valores extremos.
• 51:18
  Regresión discontinuaCaso de clientes Gold versus Platinum con un umbral en el tamaño de la empresa. Una regresión discontinua con un salto en el umbral permite estimar el efecto causal del trato platino sobre los ingresos. Se discute además dónde conviene fijar el umbral dada la capacidad de atención.
• 59:00
  Qué es una "regresión" en generalRegresión entendida como regresar al origen a partir de observaciones. Se aclara que no tiene que ser lineal: se puede aproximar cualquier función con sumas de polinomios u otras funciones.
• 01:01:32
  Explicación de R^2R² se interpreta como la fracción de la varianza total que el modelo logra explicar (1 menos la razón entre la suma de cuadrados del ajuste y la de la media). Cero significa que no explica nada y uno que lo explica todo.
• 01:05:17
  Pruebas de cordura para comparar con modelos simplesSe compara con un modelo "dummy" (la media, todo cero o uno, o una regresión con todas las variables) para saber si el esfuerzo vale la pena. Se menciona que R² crece al agregar variables, por lo que existe el R² ajustado, y que no hay un umbral universal de "buen R²" (0.5 aceptable, 0.8 excelente según el caso).
• 01:09:49
  Supuestos de la Regresión LinealCinco supuestos: linealidad, normalidad de los residuos (necesaria para intervalos de confianza y tests de hipótesis), homocedasticidad, no multicolinealidad (matriz no invertible, betas indeterminados) y no autocorrelación (típica en series temporales). También se tratan los outliers o puntos influyentes y los gráficos de residuos. Mati opina que no hay que cumplirlos al pie de la letra, sino saber qué se pierde cuando fallan.
• 01:22:25
  Selección de variables en Modelos de RegresiónForward selection añade variables según el aumento de R² y su significancia, y backward selection parte con todas y va quitando; no necesariamente llegan al mismo modelo. El criterio final es elegir el modelo más útil y con más sentido (por ejemplo, sin el horóscopo).
• 01:25:24
  CierreMati destaca que se habla poco de la intuición matemática detrás de la regresión y que estudiarla a fondo toma tiempo. Un invitado recomienda la regresión lineal como primer paso para entender matrices, optimización e interpretación antes de llegar a los Transformers.

Palabras clave