E139 - Deep Dive LLM - Parte 1: Selección estratégica de LLMs

Resumen

El episodio 139 es la primera parte de un "deep dive" sobre LLMs, centrada en cómo elegir un modelo dentro de una empresa. Cris explica que, en un entorno empresarial, el uso de LLMs escala y puede costar desde cientos hasta millones de dólares. Por eso conviene optimizar el modelo según el caso de uso, sin elegir siempre el mejor ni siempre el más barato. Repasan los tipos de modelos (razonadores, de código, generales), los benchmarks (MATH 500, MMLU Pro, Codeforces) y sus sesgos, y la estructura de precios (tokens de entrada y salida, cache hit y miss). Hacen un ejercicio estimando cuánto costaría una reunión de seis personas si la hicieran LLMs, y de ahí discuten la utilidad real de las reuniones y el cambio cultural en las empresas. Cierran con una introducción a los parámetros de los modelos y su ejecución local en una GPU. Conclusiones: hay que probar los modelos, usar varios según la especialidad, y manejar de memoria cifras como el costo de un millón de tokens.

Capítulos

• 00:00
  IntroCris presenta el episodio 139, primera parte de un deep dive sobre LLMs centrado en elegir un modelo. Deja DeepSeek para más adelante, porque primero quiere dar las bases necesarias para discutirlo.
• 00:34
  LMS para empresas vs. uso personalEn uso personal se prueba un modelo y se usa el que funcione mejor. En una empresa el consumo escala, y pasar de 100 a 1.000, 10.000 o 100.000 dólares vuelve relevante la elección. Muestra su diagrama del agente con visión, experiencia, decisión y acción, donde los modelos fundacionales son una pieza.
• 04:20
  Creación de contenido e influencia de las redes socialesComentan el contenido de IA en Instagram, repetitivo y sin análisis, que vende más que el contenido detallado. Discuten el esfuerzo de edición y que los resúmenes de noticias de IA sí pueden tener valor.
• 08:58
  Coste y optimización de los modelos LMSDistinguen usuarios (empresas, personas, profesionales) y tipos de solución: servicios, nube privada, in-house, versiones gratuitas, suscripciones o ejecución local. Cris estima que consumir un billón de tokens con el mejor modelo (GPT o3) costaría mucho más que con un modelo adecuado. Dice que quien optimice tendrá ventaja en costos y que los modelos aún no son commodity, a diferencia del cómputo de GPU.
• 12:45
  Benchmarks y rendimiento de los modelosHay modelos especializados en matemática, código, razonamiento, visión y conversación. Los benchmarks tienen sesgos (cherry picking, acceso anticipado, contaminación con datos de entrenamiento). Explican input vs. output, cache hit y miss, y MATH 500 (500 preguntas con un ejemplo en LaTeX) y MMLU Pro, con la técnica de 5-shot chain of thought. Con o1 a 15 dólares de entrada y 60 de salida por millón de tokens, las respuestas de razonadores tienen unos 3.000 tokens de salida frente a unos 1.000 de entrada. Ven que en MATH 500 DeepSeek, Gemini y otros están cerca (92 a 95).
• 31:07
  Aplicaciones prácticas y experiencia del usuarioHablan de modelos para código (Codeforces, o1, o3-mini) y de la diferencia entre razonadores y modelos directos como GPT-4o. Cris usa Claude para su juego y Cursor con Claude Sonnet para la web, y prefiere ChatGPT para preguntas generales. Mencionan GitHub Copilot con varios modelos y la vista de cambios en verde y rojo. Cris describe brevemente su juego, un top down de acción con un fantasma.
• 40:28
  Decirle por favor y gracias a los LLMs?Tras la pregunta a Altman sobre el costo de los "please" y "thank you", Cris plantea la hipótesis de que el agradecimiento sirve como señal de que el prompt fue útil para reentrenar. Aclara que es su hipótesis, no algo que Altman haya dicho.
• 43:19
  Publicidad en posts viralesComentan que el post viral sobre el tema recibió una publicidad de un helicóptero. Estiman cuánto pudo cobrar quien lo publicó (entre mil y veinte mil dólares) y bromean con que hacer algo viral y vender publicidad es una profesión del futuro.
• 45:12
  MemesRevisan un post de LinkedIn con un prompt para que un LLM escriba un correo de CEO que mete miedo ("Adopt or vanish. This is Day Zero"). Comentan el uso de la palabra "delve" en los LLMs y el origen que atribuyen a los anotadores de Nigeria. Ven un video de "elegir un LLM es como dating", cuya conclusión es que se usarán varios modelos según su especialidad. Terminan con contenido humorístico de IA de fácil digestión.
• 53:00
  Precios y cuánto valemos en tokensComparan el precio de un modelo (0,55 de entrada y 2,19 de salida por millón) con o1 (15 y 60), unas 30 veces más barato. Muestran la caída de precios desde GPT-3. Cris se pregunta qué se puede hacer con un millón de tokens y estima cuánto vale su trabajo en tokens, con la crítica de que el pensamiento y el trabajo creativo son más difíciles de medir.
• 59:20
  Cuánto vale una reuniónEjercicio en Excel de una reunión de una hora con seis personas: un razonador (o3), dos pensadores (GPT-4o) y tres oyentes (mini). Los supuestos son números inventados por Cris. Concluye que la reunión costaría unos pocos dólares con LLMs, muy por debajo de los sueldos de las personas.
• 01:02:47
  Reimaginando la cultura laboral con IAHablan de los resúmenes automáticos de reuniones de Microsoft y de si los oyentes aportan algo. Debaten el multitasking, y concluyen que cambiar de tarea es costoso. Discuten dónde está el valor humano: estructurar problemas, investigar y conectar piezas. Cris sostiene que en reuniones se gasta mucho en generar información que una máquina produciría a mucho menor costo. Mencionan un comentario del chat y la dificultad del cambio cultural, sobre todo en Chile.
• 01:13:29
  Reuniones efectivas y sus alternativasCada uno cuenta qué reuniones valen la pena: lluvias de ideas, elección de herramientas, equipos pequeños cada cierto tiempo, reuniones de visión y estrategia, y trabajo en conjunto. Cris hace otro ejercicio con un equipo de 100 personas, con un factor de ajuste de 3 por las iteraciones extra. Plantea medir el trabajo en millones de tokens y se pregunta cuántos agentes harían falta para reemplazar a un ingeniero.
• 01:23:32
  Comprendiendo los parámetros de los modelos de LLMAdelanto de la parte 2: R1 tiene unos 600 billones de parámetros, mientras que una versión de 32 billones corre en una GPU de 24 GB (RTX 5090) a unos 12 tokens por segundo, similar a una persona hablando. Menciona el consumo eléctrico y el precio del kilowatt en Chile (unos 120 pesos).
• 01:26:13
  CierreResumen del episodio: entender qué modelo sirve para qué, probarlos (Claude para desarrollo, ChatGPT para temas generales) y manejar las cifras de tokens al hablar con gerencia o consultoras. Anuncian el próximo episodio de los martes a las 19 UTC y piden suscribirse.

Palabras clave