E8 - Qué métricas suelen ser útiles en proyectos de Data Science

Resumen

En este episodio, grabado en 2022, Cris, Mati y un tercer participante discuten qué métricas de evaluación resultan útiles en proyectos de Data Science. Parten de la matriz de confusión y explican que casi todas las métricas de clasificación derivan de ella. Sostienen que las métricas más típicas (accuracy, precision, recall, ROC/AUC y lift) bastan para cerca del 90% de los casos. La métrica correcta depende de la pregunta de negocio, del desbalance de clases y del costo de equivocarse: si el costo de una acción es alto conviene maximizar la precisión, y si es bajo conviene maximizar el recall. Explican que el modelo entrega un score entre 0 y 1 y que el punto de corte determina la matriz y las métricas. Para regresión repasan R², MAE y RMSE. Cierran con un extra que sostiene que la regla del codo no es objetiva porque depende de la escala o zoom del gráfico.

Capítulos

• 00:00
  IntroPresentan el episodio: métricas para modelos de Data Science, un extra sobre la regla del codo y recomendaciones de material para quienes están aprendiendo. Anuncian que será una sesión más técnica y pausada.
• 01:04
  Métricas más típicas sacadas de la matriz de confusiónMuestran la página de Wikipedia con decenas de métricas y dicen que en la práctica se usan unas pocas, incluso en consultoras. Distinguen clasificación y regresión, explican la importancia de la pregunta que se quiere responder (ejemplo del asteroide) y definen verdaderos/falsos positivos y negativos en la matriz. Advierten que el corte decide la matriz, que algunas funciones devuelven la tabla traspuesta y que el modelo entrega un score de 0 a 1 que se corta, por ejemplo, en 0,5.
• 18:35
  AccuracyEs la suma de la diagonal (verdaderos positivos y negativos) sobre el total. Con datos desbalanceados, como predecir fuga de clientes (mil de un millón), es una mala métrica porque decir siempre "cero" da un valor altísimo. Solo la consideran buena si las clases están balanceadas.
• 23:15
  Precision and recallRecall es cuántos de los casos reales se capturan (se mide por fila); precision es cuántos de los predichos como positivos lo eran (se mide por columna). Son complementarias: al subir una baja la otra. Si el costo de equivocarse al accionar es alto (infraestructura, medicina que daña a quien no tiene covid) se maximiza la precisión; si es bajo (un newsletter, vacunar a todos) se maximiza el recall. Mover el corte (0,5 vs 0,9 vs 0,3) genera distintas matrices de confusión y el Data Scientist debe decidir dónde cortar.
• 43:55
  ROC y AUCLa curva ROC grafica true positive rate contra false positive rate para cada corte posible. Se interpreta que 0,5 es un mal modelo, sobre 0,7 hay señal en los datos y 0,6 requiere más datos. El AUC sirve para comparar modelos rápidamente, pero dos modelos con igual área pueden diferir en la forma de la curva: una empinada al inicio sirve para priorizar acciones. Si una métrica es baja, recomiendan mejorar variables y datos antes que cambiar de modelo.
• 01:00:55
  LiftSe ordena la población por score, se divide en percentiles y se compara la tasa de acierto de cada grupo (acumulada) con la tasa natural del fenómeno. Ejemplo: tasa natural del 10% y primer grupo con 80% da un lift de 8. Es útil para priorizar cuando no se puede accionar sobre todos y para armar casos de negocio comparando el beneficio de acertar con el costo de equivocarse.
• 01:12:02
  MCC, F ScoreMencionan que el F1 compromete precisión y recall y a veces se usa para elegir el corte automático, pero no lo usan mucho. Del MCC y del AUC para clases desbalanceadas no tienen experiencia. Concluyen que con las métricas vistas uno se defiende bien como Data Scientist.
• 01:14:28
  R^2, MAE, MSREPara regresión, R² es la métrica por defecto pero es global: pondera igual todas las zonas y no sirve para priorización, recall o precisión. MAE y RMSE difieren en elevar al cuadrado (y sacar raíz), lo que da más peso a los valores extremos y elimina los signos negativos. Un participante indica que usa más el MAE.
• 01:24:14
  Extra: La regla del codo es una mentiraCon un gráfico de 1/exp(x) muestran que al hacer zoom cambia el punto donde se ve el "codo", por lo que depende de la escala y no es objetivo. Recomiendan elegir según la información ganada o una cifra que tenga sentido para el contexto (por ejemplo 3 o 4 clusters).
• 01:31:30
  CierreInsisten en que hay que entender la parte de negocio y que las métricas típicas bastan. Se despiden y agradecen a la audiencia.

Palabras clave