E146 - DeepDive LLM Parte 2 - ¿Qué tan caro es generar 1 M tokens?

Resumen

En la segunda parte de su DeepDive sobre LLM, Cris explora cuánto cuesta generar un millón de tokens, comparando tres vías: consumir una API (OpenAI, Claude, etc.), arrendar GPUs en la nube por hora, o comprar hardware propio. Explica que los precios de las APIs bajan rápido (por ejemplo, o3 redujo su precio cerca de un 80%) y que existe un trade-off entre velocidad y calidad de razonamiento. Luego introduce tres dimensiones técnicas para evaluar infraestructura propia: los FLOPS (y cómo cambian con la precisión numérica: FP32, TF32, FP16, FP8, FP4), la memoria VRAM necesaria para cargar los parámetros del modelo y el ancho de banda de memoria, que es el cuello de botella real en inferencia. Su estimación aproximada, con la que se queda al cierre, es que una GPU en la nube sería unas 10 veces más barata que la API, y el hardware propio otras 10 veces (contando solo energía, sin inversión ni mantención). El episodio incluye además el unboxing de una pieza del PC nuevo de Mati, memes, y preguntas de la comunidad sobre cómo ser data scientist, portafolios, casos de uso de IA en empresas y cómo introducirla en una empresa grande.

Capítulos

• 00:00
  IntroPresentan el episodio 146: qué tan caro es generar una cantidad de tokens, segunda parte del deep dive de Cris. Cris explica que partió de una pregunta del capítulo 139 sobre cómo seleccionar un LLM en una empresa.
• 02:33
  Explorando Costos de TokensCris argumenta que en el futuro las empresas generarán billones de tokens y que será un costo relevante, con consultoras vendiendo optimización de agentes. Compara los tokens con la energía que consume una empresa y quiere tener conocimiento para debatir con esas consultoras.
• 04:40
  Proyecto Personal de Gloomhaven y Uso de TokensMati cuenta su proyecto de RAG para las reglas del juego de mesa Gloomhaven y su temor a que, si lo libera, los usuarios le consuman un millón de tokens rápidamente. Cris sugiere código open source donde cada persona usa su propia key, o un servicio con límites o cobro.
• 09:36
  Repaso de la sesión pasadaResumen de la comparación de precios por millón de tokens de input y output, y cómo bajan con el tiempo (o3 pasó de 10/40 a 2/8 dólares según lo que se dice). Debaten si usar modelos más baratos como DeepSeek o destilados, y Mati prioriza la calidad; Cris advierte que comprar hardware hoy puede quedar obsoleto pronto.
• 13:55
  Qué tan caro es generar un millón de tokens? - Tipos de generaciónPresenta las tres vías: API, GPU en la nube (H100, H200, A100, B200, L4, cobro por hora) y hardware propio. Menciona el trade-off velocidad vs. inteligencia en modelos razonadores y rápidos, y que GPT-3 se entrenó con 25.000 A100 de 80 GB (unos 60 millones de dólares).
• 24:22
  AgendaPlantea los temas: FLOPS, VRAM, energía por millón de tokens. Mati pregunta si hay un caso en que infraestructura propia convenga; Cris responde que solo por energía es al menos 10x más barata, pero hay costos de operación y mantención.
• 27:27
  Qué son los FLOPSExplica los FLOPS con el ejemplo de las consolas (PS5 Pro 16 TFLOPS, Xbox Series X 12, PS5 10) y cómo las GPUs se especializan en multiplicaciones y sumas, a diferencia de la CPU. Muestra que la precisión (FP32, TF32, FP16, FP8, FP4) cambia mucho los FLOPS: el DGX Spark anuncia 1 petaflop pero a FP4, y una B200 pasa de 600 TFLOPS en FP32 a 144 PFLOPS en FP4.
• 43:05
  Servicios de Inferencia y LibreríasCris menciona Ollama como forma fácil de levantar un modelo local, y vLLM y TensorRT-LLM para servir a muchos usuarios. Se anuncia la pregunta sobre si los FLOPS importan más en entrenamiento o en inferencia.
• 45:01
  Comparación de Flops en Entrenamiento e InferenciaCris adelanta que en entrenamiento importan los FLOPS, pero en inferencia el cuello de botella es el ancho de banda de memoria.
• 45:47
  Unboxing de MatiMati muestra el cooler de CPU, una pieza de su PC nuevo. Cuenta que un amigo le armó la cotización y que consultó a un modelo de OpenAI para verificar compatibilidad y cuellos de botella.
• 47:14
  Experiencias Personales con HardwareMati relata cómo eligió los componentes y que el único cambio fue agregar el cooler. Comentan que armar un PC es sencillo y hay memes al respecto.
• 50:30
  MemesMuestran memes sobre un CEO que reemplaza a todos con IA, el "vibe scraping" de Mati y el costo de usar APIs frente a entrenar un modelo propio. Aclaran que Ollama no es realmente gratis por el costo de cómputo y electricidad, aunque la energía casera es barata y la inversión inicial es lo caro.
• 53:46
  Preguntas y Respuestas de la ComunidadResponden sobre inspiración para Power BI (galería oficial de Microsoft y Microsoft Learn) y sobre portafolios: deben ser llamativos, con resultados, instrucciones y detalle. Resuelven un problema con el enlace de Discord.
• 57:46
  Mati se compró un PC!!!!!! El día ha llegadoooooooooo!!!! Lo logramos!!!!Mati anuncia que compró un computador con un i7 y una GPU de la serie 50 para poder streamear sin problemas, pues su equipo actual falla. Las últimas piezas le llegarían el jueves.
• 01:02:11
  Preguntas del chatResponden cómo ser data scientist en Chile: carreras como industrial, computación, matemática y estadística; la importancia del título para entrar, y que un portafolio de proyectos reales aporta mucho. Sobre automatizar switches con un LLM, opinan que la elección del modelo importa poco para una prueba de concepto.
• 01:08:54
  Parámetros de los modelos cargados a VRAMCris explica que un modelo de 70B en FP16 ocupa 140 GB y que la cuantización a 4 bits lo reduce mucho; un 7B en FP16 usa 14 GB y a 4 bits unos 4 GB. Compara GPUs de 16 y 24 GB con las de la nube.
• 01:11:40
  Costo y Rendimiento de GPUs en la NubeMuestra instancias con GPU de 24 GB a unos 0,8 dólares la hora y un servidor de 8 GPUs con 640 GB de VRAM a unos 50 dólares la hora (el audio dice "$5"). Mati cuenta que probó destilados de DeepSeek y que son lentos o de baja calidad; Cris menciona que GPT-4 tendría unos 1,4 billones de parámetros.
• 01:15:07
  Especificaciones de Hardware y Problemas de Ancho de BandaAnaliza el DGX Spark (1 PFLOP a FP4, 128 GB, 273 GB/s) y concluye que su ancho de banda es bajo. Explica que el cuello de botella es mover parámetros de la VRAM a los cores, y que si se desborda a la RAM del PC el modelo se vuelve inusable (minutos por token en su prueba con 32B).
• 01:23:47
  Implementando IA en Operaciones ComercialesLista usos de IA en empresas: análisis de documentos legales, ejecución de procesos internos con agentes y MCP, asistentes internos, atención al cliente, generación de código, formación, resumen de conversaciones, deep search y análisis de texto como dato. También menciona visión por computador para verificar implementos de seguridad.
• 01:30:03
  Consumo Energético y Análisis de CostosCris resume las variables: tokens por segundo, VRAM, concurrencia, ancho de banda, inversión inicial y vatios. Estima 10x menos en GPU en la nube y otros 10x en hardware propio, y un ChatGPT consultado da 100x para solo texto frente a un modelo tipo 4o.
• 01:33:52
  Cómo usar IA en una empresa grande y burocráticaRecomiendan acordar con ciberseguridad y otras gerencias un uso regulado, contar con un sponsor gerencial y mitigar riesgos, por ejemplo con contratos firmados con los proveedores de IA.
• 01:37:41
  CierreAgradecen la participación, comentan que Cris es de los pocos con experiencia real en IA generativa y recuerdan Discord y las redes del canal.

Palabras clave