E56 - Crisis de replicabilidad

Resumen

El episodio 56 de enCoders trata sobre la crisis de reproducibilidad (o replicabilidad) en la ciencia y en el trabajo diario con datos. Se distinguen cuatro conceptos: repetibilidad (mismo experimento, mismo laboratorio), replicabilidad (otro laboratorio), reproducibilidad (otro setup) y reusabilidad (experimento adaptado). Se comentan anécdotas de código que no se puede replicar, tanto en la academia como en la industria, y la importancia de entregar ejemplos reproducibles al pedir ayuda. Luego se resume la charla "Everything wrong with statistics" de Christie Aschwanden/Lenox: mala fama de la estadística, sesgo de publicación, enseñanza de la estadística como "libro de cocina" y el uso acrítico de alfa = 0,05. Con un ejemplo numérico se estima que ~31% de los papers publicados serían erróneos, y se cita un proyecto que logró replicar solo unos 36-39 de 100 estudios. Hacia el final se responden preguntas del chat (estructuras de datos, fine-tuning vs RAG con LLM, feature engineering) y se muestran memes sobre p-hacking.

Capítulos

• 00:00
  IntroSe presenta el tema: la crisis de reproducibilidad/replicabilidad, un problema de más de 10 años que afecta a la academia (papers con resultados errados que no se pueden verificar) y al trabajo diario (proyectos que solo funcionan en un entorno).
• 02:00
  Qué es la replicabilidad y similares?Se definen repetibilidad (mismo laboratorio), replicabilidad (otro laboratorio), reproducibilidad (otro setup, p. ej. otras librerías y sistema operativo) y reusabilidad (adaptar un experimento). Se recomienda fijar semillas para ser determinista, entregar el código como texto y no fotos, y crear un repositorio mínimo con el dataset Titanic para reportar un problema, como se hizo con Great Expectations (cuyo error era de documentación). Se comenta que en la academia casi nadie publica código y hay menos incentivos para arreglar la irreproducibilidad que en la industria; también se discute que se puede maquillar resultados (fraude).
• 27:48
  Everything wrong with statistics (and how to fix it)Se presenta la charla (de hace 8 años) y se enumeran causas de irreproducibilidad: datos corruptos, errores conceptuales, incentivos al fraude y sesgos conscientes o inconscientes, como la paradoja de Simpson. En medio se responde una consulta sobre cómo estudiar "Estructura de datos" (seguir los algoritmos paso a paso, listas vs. diccionarios, órdenes de complejidad).
• 37:44
  Sesgo en publicaciones que no rechazan la hipótesis nulaLa estadística tiene mala fama frente a Data Science, y muchos resultados publicados son falsos. Los resultados con p-valor alto rara vez se publican, aunque tienen valor informativo; algunos journals o acuerdos previos de financiamiento publican igual el resultado nulo.
• 42:35
  Pedir feedback temprano a un expertoLa revisión de un estadístico al final es "como una autopsia": dice por qué murió el proyecto pero no lo salva, por lo que conviene consultar temprano.
• 43:20
  Cómo partió el problema? Mala forma de enseñar estadísticaLos estadísticos delegaron el trabajo "aburrido" y nació el curso de Estadística 101 que enseña recetas tipo libro de cocina (elegir test, comparar p-valor con 0,05). Esto lleva a que la gente use Z test, T test o chi cuadrado sin entenderlos.
• 46:10
  Por qué es malo asumir alpha = 0.05Usar 0,05 por defecto sin pensarlo es mala práctica; el nivel de significancia debe ser una decisión consciente según el contexto (no es lo mismo un modelo que predice cáncer). Se menciona que el alfa oculta información y que conviene mirar el p-valor.
• 47:41
  Cuántos papers tienen errores? MuchosCon un ejemplo de 1000 estudios (10% de fenómenos reales, poder estadístico 80%, alfa 0,05): 80 verdaderos positivos, 45 falsos positivos y ~20 negativos publicados, resultando en ~31% de error entre los publicados, y siendo optimista. Se cita el proyecto de reproducibilidad que logró replicar solo unos 36-39 de 100 papers, y se explica el effect size, que en la mayoría de réplicas fue menor o incluso negativo. También se aclara el rol del alfa como umbral y el análisis de poder (effect size, poder, alfa y tamaño de muestra).
• 01:03:03
  Duda sobre LLMUn oyente pregunta si afinar (fine-tuning) Llama 2 13B para programar en Python o usar RAG. Se explica que RAG es dar contexto al modelo, que el fine-tuning es costoso, que GPT-4 sigue siendo el mejor en generación de código (con modelos open source como WizardCoder siguiéndolo de cerca), y se sugiere usar Langchain con la API de OpenAI para prototipar. También se responde una consulta sobre feature engineering: entender bien el problema y las variables, sin generar combinaciones a ciegas.
• 01:17:30
  MemesMemes sobre programadores vs. científicos, p-hacking (resultado significativo guiado por un solo outlier), la crisis de replicación y la desconfianza en las estadísticas. Se define p-hacking como manipular datos o experimento para forzar un p-valor significativo.
• 01:21:09
  CierreResumen: diferencias entre repetibilidad, reproducibilidad y reusabilidad, y que ~30-40% de los papers serían falsos o no reproducibles. Se recomiendan tres pilares: conocer los datos, las herramientas y el problema. Se menciona el concepto de "repex" (ejemplo reproducible) para pedir ayuda con código y se recuerdan los recursos del Discord.

Palabras clave