E54 - Entendiendo los LLM

Resumen

El episodio 54 de enCoders es el primero dedicado por completo a los grandes modelos de lenguaje (LLM). Se aclara cómo se relacionan inteligencia artificial, machine learning, deep learning, ciencia de datos, Big Data y análisis de datos, y se explica que los LLM aprenden la distribución del lenguaje humano prediciendo la siguiente palabra. Los anfitriones comentan usos personales y laborales (ordenar ideas, estructurar propuestas, programar, aprender), la ventaja de GPT-4 de pago, la censura, la confidencialidad de datos en las empresas y el hype en LinkedIn. Se predice adopción real en la industria en 1 a 2 años. En la segunda parte se describen las herramientas para construir una aplicación (LangChain, LlamaIndex, bases de datos vectoriales, embeddings) con el ejemplo de un analizador de PDFs, y se discuten embeddings, espacio latente y topología. La conclusión es que los LLM son una herramienta muy útil, pero hay que conocer sus limitaciones y probarlos antes de confiar en ellos.

Capítulos

• 00:00
  IntroPresentación del episodio 54 sobre large language models (LLM). Se explica que dirán "LLM" o "GPT" para abreviar y que se tomaron su tiempo para experimentar con estas herramientas antes de hablar de ellas.
• 01:44
  Qué es la IA?Con un diagrama de círculos se distingue IA (tareas fáciles para humanos que las máquinas no hacían), machine learning (patrones en muchos atributos que un humano no ve), deep learning (redes neuronales en capas), ciencia de datos (aplicar esto con conocimiento de negocio), Big Data y data analytics. Mencionan a John McCarthy como quien acuñó el término y el "invierno de la IA". Mati critica que el diagrama separe demasiado las categorías y todos coinciden en que no hay una definición exacta.
• 07:50
  Qué son los modelos de lenguaje?Los LLM se entrenaron con libros, Wikipedia, Reddit y gran parte de internet para predecir la siguiente palabra, y así lograron generalizar el lenguaje humano. Son modelos generativos que capturan la distribución del lenguaje (con la analogía de la distribución de alturas), tienen decenas de miles de millones de parámetros y son carísimos de entrenar. Destacan que entienden textos desordenados o con faltas, que sirven de consejero y para programar, y que reemplazan en parte a Google; comparan imágenes generadas con Canva y Bing. Recomiendan GPT-4 (20 dólares al mes) por sobre el 3.5.
• 19:30
  Attention is all you need y transformersEl paper "Attention Is All You Need" propuso la arquitectura Transformer, base de los modelos actuales (GPT, LLaMA 2, Falcon). Las redes recurrentes y las GAN quedaron atrás, y BERT, RoBERTa y word2vec pueden seguir sirviendo por ser más livianos. Comentan la comparación entre GPT-4 y Bard, y las limitaciones de GPT al programar: su conocimiento está desactualizado y falla en tareas complejas como crear una página web completa.
• 24:00
  Algunos usos de LLMPredicen películas con IA y fondos o sonidos generados, y una competencia tipo Óscar para IA. Conversan sobre generación de íconos según manual de marca, y proyectan adopción en la industria en 1 a 2 años, con la curva de hype (este año "GPT se volvió más estúpido"). Analizan el impacto a nivel personal, empresa, desarrolladores y académicos, y estiman robots masivos en 10 a 20 años. También mencionan que Stable Diffusion se hizo open source y fue optimizado rápido.
• 37:29
  MemesMemes sobre los transformers, el "como modelo de lenguaje...", el monstruo de Lovecraft (shoggoth) como miedo a la IA y la automatización que toma 10 días para una tarea de 10 minutos. Discuten que mucha gente en LinkedIn habla de IA sin usarla, la confidencialidad de datos en el trabajo, la censura en los modelos, la oferta y los salarios de programadores y el bootcamp de graduados. Hay digresiones sobre la etimología de "alumno", la vida académica y gerentes que quieren meter IA a la fuerza.
• 54:35
  Casos de uso: Analizador de PDFsSe plantea la aplicación que convierte un PDF a texto para hacerle preguntas, y se aclara que es un ejemplo ilustrativo (GPT-4 ya tiene un plugin similar). El caso detallado se deja para otro episodio.
• 55:40
  Esquema de trabajoCuatro piezas: frameworks (LangChain y LlamaIndex, este último útil para gestionar muchos documentos cambiantes), bases de datos vectoriales (Chroma DB) y modelos de embeddings (OpenAI o de Hugging Face, gratis), más el LLM para responder con referencias de página. La parte más difícil es el framework, porque hay que aprender una librería nueva y está en constante cambio. Usar la API de OpenAI para pruebas cuesta centavos (1 o 2 dólares al mes). Reflexionan sobre aprender distintos lenguajes, C, punteros y programación orientada a objetos.
• 01:16:12
  Qué es un embedding y un espacio latente?Un embedding es una función inyectiva que preserva la estructura, ilustrada doblando una hoja de papel en un tubo. Se discute su origen topológico (taza y dona, homeomorfismo). El espacio latente es el espacio de partida del embedding, y mencionan autoencoders, PCA y word2vec como reducción de dimensionalidad.
• 01:20:08
  Inversión de la esferaRecomiendan el video de YouTube sobre la inversión de la esfera, un problema topológico clásico. Se aclara que las transformaciones deben ser continuas, sin cortes ni cruces, y que un sólido de revolución no es lo mismo.
• 01:24:27
  CierreTodo está "en pañales" pero los LLM son un hito en la historia de la IA. Hay que saber cuándo usarlos y cuándo creerles, conocer sus limitaciones y probarlos antes de confiar. Invitan a Discord, YouTube y Twitch.

Palabras clave