E105 - Descubriendo los Servicios de AI de NVIDIA

Resumen

El episodio 105 de enCoders presenta los servicios de IA empresariales de NVIDIA. Parte de la historia de la compañía (de las tarjetas gráficas para videojuegos a base de la IA gracias al cómputo paralelo y CUDA) y de cómo se fabrican los chips en TSMC. Luego explica DGX Cloud, la arquitectura Blackwell y su salto en teraflops, y el concepto de AI Foundry como forma de que las empresas construyan agentes sobre la plataforma de NVIDIA. Después recorre NVIDIA AI Enterprise, NeMo (Curator, Customizer, Retriever, Guardrails), NIM y Chat with RTX. La conclusión principal es que la propuesta de valor es el time to market, la escalabilidad, la seguridad y la inferencia optimizada, a cambio de un costo alto y sin precios públicos. También se recomienda empezar con casos de uso internos antes de exponer un chatbot a clientes finales. Las demos en vivo fallaron, y el episodio cierra con Groq y sus LPU como competencia en inferencia.

Capítulos

• 00:00
  IntroPresentan el episodio 105, dedicado a los servicios de IA de NVIDIA para empresas. Recuerdan que antes hablaron de los servicios de IA de Oracle.
• 00:29
  Qué es NvidiaHablan de NVIDIA como la empresa de tarjetas gráficas (GeForce) para videojuegos, que permiten correr modelos como Whisper o Mistral en un notebook. Mencionan que se fundó en 1993 con Jensen Huang como líder desde el inicio y que en 2023 alcanzó una valoración de un billón de dólares.
• 02:11
  Historia de NvidiaAntes de 1999 la CPU hacía el procesamiento gráfico; la GeForce 256 se presenta como la primera GPU. Explican la diferencia CPU/GPU (pocos núcleos secuenciales frente a muchos núcleos en paralelo), CUDA, AlexNet, la arquitectura Transformers de 2017 y las multiplicaciones tensoriales. Citan las GPU Volta, Hopper y Blackwell.
• 07:54
  Cómo se producen los chipsRecomiendan videos sobre fabricación de chips. TSMC (Taiwán) fabrica chips diseñados por otras empresas como NVIDIA y Apple, con una cuota que mencionan de 40-50% del mercado, y su competencia es Samsung. Comentan los 3 nanómetros como estado del arte, con 2 nm como objetivo, y la tensión entre China y Taiwán.
• 12:50
  Lista de servicios a tratarPiden preguntas en el chat. Anticipan que los servicios de NVIDIA tienen muchos nombres y resultan confusos, y que intentarán aclararlos.
• 14:00
  Nvidia DGX CloudDescriben la cadena DGX: tarjeta H100 (unos 40.000 dólares, según lo que ven en una tienda), BasePOD, SuperPOD y DGX Cloud, que se cotiza por contrato anual sin precio de lista. Se ofrece dentro de hiperescaladores como AWS y Oracle. Explican los flops y comparan PlayStation 5 (10 teraflops) con Blackwell, además del diseño del rack que actúa como una sola unidad con comunicación rápida entre GPU. Mencionan el retraso por problemas de disipación de calor y que Jensen plantea que aún se necesita más cómputo para entrenar con video. Discuten la utilidad de conocer estos temas dentro de un equipo técnico y el valor de tener perfiles especializados.
• 31:33
  Nvidia AI FoundrySe presenta con la analogía de TSMC: así como TSMC fabrica chips diseñados por otros, AI Foundry permite a las organizaciones desarrollar sus propios modelos. Es un movimiento vertical de NVIDIA para ofrecer servicios y no solo GPU, con el estimado de 7 trillones de dólares de impacto económico de la IA. Explican los agentes (por ejemplo, un chatbot de soporte) y por qué construirlos sobre módulos preconfigurados reduce el tiempo de despliegue. Recomiendan reservar las GPU para evitar filtraciones entre usuarios compartidos y para no perderlas por escasez. Muestran el esquema: modelos como Llama, NeMo, Nemotron y NIM como endpoint de inferencia.
• 41:44
  MemesRevisan memes: una montaña rusa hecha en Excel, el de la valoración de NVIDIA y el de quien vende palas. Comentan la caída de acciones atribuida a lo ocurrido en Japón con los créditos. Hablan de GeForce Now, el servicio de juegos en la nube, y de cómo depende de una buena conexión a internet.
• 50:13
  Nvidia EnterpriseEs el software de licencia empresarial (con 90 días de prueba gratis) para gestionar las aplicaciones. Puede ejecutarse en cualquier GPU NVIDIA, local o en la nube.
• 51:35
  Nvidia NemoNeMo sirve para personalizar modelos propios, desde prompting y few-shot hasta fine-tuning y reentrenamiento. Mencionan Curator, Customizer, Retriever y Guardrails. Hacen una prueba web de los modelos disponibles (Llama 3.1, Nemotron, Mistral, Phi, visión, imagen, 3D, embeddings, voz, biología) que no funciona en vivo. Insisten en que pasar de una prueba de concepto a producción exige pensar en escala, autenticación, logs, costos y operación 24/7, y que NVIDIA abstrae esa capa a cambio de un pago. Recomiendan comenzar con clientes internos antes de exponer un chatbot al cliente final.
• 01:13:37
  Nvidia NimNIM es una plataforma de despliegue con modelos preentrenados, seguridad y API estándar compatible con OpenAI. Lo describen como un Docker ya configurado que ahorra horas o semanas de trabajo.
• 01:14:15
  Nvidia Chat with RTXEs una herramienta fuera de AI Foundry que se descarga en un equipo con GPU gamer y permite chatear con documentos usando Mistral (un RAG local). La demo con una transcripción del podcast da resultados con alucinaciones. Luego comentan a Groq y sus LPU (Language Processing Unit), pensadas para inferencia secuencial y que afirman ser 18 veces más rápidas que una GPU. Mencionan sus problemas de escalabilidad y alternativas gratuitas de inferencia como llama.cpp.
• 01:22:50
  CierreResponden preguntas sobre librerías para agentes. Prefieren usar el SDK de OpenAI o LlamaIndex por el control y el soporte. Anuncian que el próximo episodio será sobre modelos de forecast, recuerdan Discord y el horario de los streams (martes, 19:00 a 21:00, hora de Chile).

Palabras clave