E47 - AMA - Respondiendo dudas varias

Resumen

Episodio de preguntas y respuestas (AMA) con dudas del chat de Twitch. Se habla de la importancia de Spark/PySpark y Databricks en el mercado, de los modelos de ensamble (Random Forest, XGBoost, AutoML) y de los conceptos que debe entender alguien no técnico que trabaja con científicos de datos (procesamiento de datos, métricas, regla 80/20, AB testing). Se discuten aplicaciones de ciencia de datos en salud (visión por computador, chatbots de derivación, fichas médicas digitales), MLflow frente a Vertex AI y los costos de servicios gestionados, y cómo usar embeddings con Llama (Hugging Face, bases vectoriales) sin gastar de más en la API de OpenAI. También se opina sobre portafolios para finanzas, especulaciones sobre cómo ChatGPT usa las interacciones, y si vale la pena un magíster o diplomado siendo senior. Conclusión general: lo importante es entender los fundamentos y saber aplicar las técnicas; los posgrados aportan poco de forma directa y estudiar por cuenta propia suele ser igual de efectivo.

Capítulos

• 00:00
  IntroBienvenida al episodio de dudas del chat; se lee la primera pregunta de un espectador sobre el uso de PySpark en el mercado.
• 00:10
  PysparkSe afirma que lo importante es Spark y no la interfaz (PySpark u otra). Spark se describe como herramienta de explotación y procesamiento de datos a gran volumen, más rápida y escalable; Databricks es su "vendor" y lo vende como servicio, ahorrando el costo de mantención (uno de ellos intentó configurar un clúster propio y era complejo). Mencionan que se usa en Santander y BCI. Para una entrevista aconsejan hacer un tutorial básico, entender lo básico y decir con honestidad lo que no se sabe. También se comenta la escasez de canales de ciencia de datos en español y el evento "Dev-a-thon" (sprints de dos semanas).
• 09:52
  Modelos de ensamleSe define ensamble como combinar varios modelos para una predicción final; Random Forest y XGBoost son ejemplos. Un participante prefiere Random Forest o XGBoost frente a ensambles automáticos de H2O AutoML, porque se pierde interpretabilidad e importancia de variables por una ganancia marginal (ej. 0,01 de AUC). Otro explica la intuición: muchos modelos simples "malos" combinados aproximan funciones no lineales. Recomiendan usar AutoML como primera exploración y luego mejorar los datos más que el modelo.
• 20:37
  Conceptos importantes para alguien no técnico y aplicaciones en servicios de la saludConceptos propuestos: AB testing, procesamiento de datos (la regla 80/20 del tiempo en limpiar datos), métricas/evaluación y error, qué es Machine Learning, bases de datos y estadística básica; también entender que el resultado es probabilístico y que se necesitan datos disponibles. En salud: visión por computador (imágenes, radiografías, fotos de piel), chatbots con modelos de lenguaje para derivar al médico adecuado, reconstrucción de imágenes de resonancia magnética, y digitalizar fichas médicas para recomendaciones preventivas. Se debate si un MVP debe ser web o móvil.
• 41:31
  MemesRevisión de memes clásicos de ciencia de datos (Machine Learning como cadena de ifs, datasets Iris/Titanic frente a datos reales, uniones de SQL). Se comenta que los datasets de ejemplo dan accuracy altísima con cualquier modelo y que los memes funcionan porque encapsulan conocimiento técnico.
• 47:19
  Vertex y MLFlowMLflow se explica como librería para registrar y versionar experimentos (parámetros, métricas, gráficos, datasets) con una línea de código y una UI para compararlos, comparable a un "git para modelos"; puede desplegarse como servicio en Docker. Sobre Vertex AI (Google), se discute que ahorra configuración, monitoreo y la necesidad de un Cloud Engineer, pero que es propietaria; se decide según la capacidad del equipo y el costo. Un espectador cita un costo aproximado de entrenar 5 a 10 modelos de 24 horas con 2 GPU.
• 57:13
  Embeddings para Llama y portafolioSe explican los LLM, el fine-tuning frente a usar embeddings con una base vectorial (como Chroma DB) y consulta en lenguaje natural. Para evitar el costo de embeddings de OpenAI se sugiere usar embeddings de Hugging Face (tutorial compartido en Discord); se menciona Falcon y Vicuña, y que Llama 2 es de uso comercial con restricciones. Se promete un stream sobre Llama. Para un portafolio en finanzas: predecir bolsa es difícil, y se sugieren modelos de riesgo, fraude y series de tiempo comparando modelos clásicos y de deep learning, mostrando metodología más que resultados.
• 01:10:46
  Especulaciones sobre ChatGPTSe especula que las interacciones y los likes sirven como registro para entrenar modelos futuros, que existe opción de desactivar el uso de datos en la versión de pago y que probablemente haya filtrado humano. Se menciona la noticia de que el rendimiento de GPT-4 habría bajado y un paper sobre el cambio de comportamiento de GPT.
• 01:14:07
  Magister o diplomados para Seniors?Opinión general: para un perfil senior un magíster aporta poco de forma directa; puede servir para cargos de gestión (tipo MBA) o para reforzar áreas débiles (estadística, optimización), y pagar sirve como compromiso. Aconsejan estudiar por cuenta propia o con bootcamps/certificaciones para una base. También se responde a alguien que busca trabajo home office siendo director de proyecto (trabajos part-time, freelance solo si se es senior) y se discute cómo fijar tarifas por costo de oportunidad.
• 01:30:05
  CierreAgradecen las preguntas del chat, destacan el valor de conversar con la audiencia y recuerdan el enlace al Discord para dudas y propuestas.

Palabras clave