E99 - Javier Huerta: NLP y la influencia de los transformers

Resumen

Javier Huerta, data scientist en ZeroFox (ciberseguridad) y ex colega de Entel, cuenta su trayectoria (analista cuantitativo en una AFP, Entel y ZeroFox) y presenta una introducción al procesamiento de lenguaje natural (NLP) y la influencia de los Transformers. Repasa las técnicas previas a los embeddings (One Hot Encoding, Bag of Words, TF-IDF, n-gramas, LSA) y explica qué es un embedding como representación vectorial densa que acerca palabras de significado parecido. Recorre la evolución RNN, LSTM y Transformers (self-attention, codificación posicional, paralelismo, encoder y decoder) y presenta Hugging Face con una demo en Colab. Entre medio, los anfitriones comentan memes y el incidente mundial de CrowdStrike y los pantallazos azules. Conclusiones: conviene probar primero modelos clásicos como baseline, porque los modelos grandes son costosos computacionalmente. También recomiendan leer el paper "Attention Is All You Need" (idealmente con código) y entender la arquitectura, no solo importar librerías.

Capítulos

• 00:00
  IntroBienvenida al episodio 99 y presentación de Javier Huerta, ex colega de Entel. Se anuncia que hablará de su experiencia y de NLP y los Transformers.
• 01:35
  AgendaJavier comenta que ese día Meta anunció Llama 3.1, que dice superar a GPT-4. Resume la agenda: presentación personal, qué es NLP, embeddings, introducción a Transformers y un ejemplo en Colab con Hugging Face.
• 02:55
  Experiencia laboralJavier cuenta que pasó por una AFP (analista cuantitativo, modelos explicables como árboles y regresiones), Entel (machine learning clásico: consumo, estafas) y ZeroFox (inteligencia generativa y NLP sobre redes sociales, dominios y contenido html). Explica cómo llegó al área desde ingeniería civil industrial y su tesis sobre predicción de llamadas en un call center. Se discute el nombre de los cargos (Data Analyst, Data Scientist, ML Engineer) y que lo importante es el skill y no el título.
• 16:30
  Qué es NLPDefine NLP como campo que mezcla lingüística y machine learning para que los computadores entiendan palabras y contexto. Ejemplo: "tengo hambre" se relaciona con "ir a comer" y no con "ir a estudiar".
• 18:00
  Qué era popular antes de los embeddingsRepasa One Hot Encoding (matrices muy dispersas, con muchos ceros), Bag of Words (ignora el orden), TF-IDF, n-gramas y Latent Semantic Analysis (basado en descomposición en valores singulares). Se debate la traducción de "sparse" (escasa, rala) y la diferencia entre Data Analyst, Data Scientist y estadístico. Javier recomienda echarles una mirada como historia y como baseline, sin estudiarlos en profundidad.
• 24:55
  Ejemplo básico de OHECon manzana, plátano y rey en un gráfico 3D, todas las distancias son iguales, así que el computador no puede saber qué es más parecido a qué.
• 25:54
  Qué es un embedding?Son representaciones vectoriales densas del significado de las palabras. Con ellas plátano y manzana quedan cerca, y rey y reina también.
• 26:35
  Espacio densoDiscusión entre los participantes sobre qué significa "denso" en matemáticas (espacio sin vacíos, bolas y épsilon) frente a su uso en embeddings. Se muestra la analogía rey − Royal ≈ hombre y reina − Royal ≈ mujer.
• 31:16
  Relación entre tokens, embeddings (funciones) y espacios de llegada de un embeddingUn token es un elemento lingüístico (palabra, fracción de palabra o signo). Un embedding es una función inyectiva que lleva tokens a vectores preservando estructura. Se explica también la analogía con un autoencoder, cuya capa del medio (por ejemplo de largo 300) es el embedding.
• 36:50
  MemesPausa de memes sobre CrowdStrike, Windows, el clip de Office y los modelos de Plaza Sésamo (Elmo, Roberta, Ernie, BETO). Se menciona BERT como alternativa contemporánea de GPT-2 y GPT-3.
• 45:44
  CrowdStrike y los pantallazos azulesExplican que una actualización defectuosa del software Falcon, que opera en el kernel de Windows, dejó millones de equipos en pantalla azul y requirió arreglo manual en modo seguro. Comentan la falta de protocolos de despliegue, desmienten que fuera un viernes (fue jueves) y explican el canary deployment (1%, 5%, 10%, 50%, 90%, 100%).
• 56:34
  Tareas comunes de un NLPClasificar oraciones (spam), clasificar palabras (sustantivos, verbos), generar texto, completar espacios en blanco, question answering, limitar tokens, traducción y resumen. También se puede combinar con reconocimiento de voz.
• 58:15
  Cómo surgen los LLM. RRN, LSTM, TransformersLos LLM se entrenan con enormes corpus y se pueden afinar (fine-tuning) para casos específicos. Las RNN procesan secuencias pero solo capturan dependencias a corto plazo. Las LSTM añaden celdas de memoria y puertas de olvido. Los Transformers usan self-attention, procesan la secuencia en paralelo e incorporan codificación posicional. Los participantes recuerdan Word2Vec con LSTM bidireccional y su experiencia con TF-IDF.
• 01:06:13
  Atention is all you needJavier recomienda leer el paper, que cumple 7 años, y libros que lo explican con código en PyTorch o TensorFlow. Cita una frase sobre que el contexto es la clave para entender.
• 01:07:30
  Arquitectura de un transformer vista "por encima"Describe encoder y decoder, vectores query, key y value, multi-head attention, suma y normalización, y red feed forward. En el decoder hay atención enmascarada y atención cruzada con el encoder. Los participantes señalan que por debajo son matrices que se multiplican.
• 01:13:36
  Hugging FacePlataforma donde se suben modelos abiertos (más de 100.000), datasets y servicios en la nube. Se pueden correr los modelos de forma local y gratuita, y hacer fine-tuning.
• 01:14:59
  Tabla comparativa de modelos "típicos"Resumen de modelos de embeddings clásicos y contextuales: uno basado en contexto cercano, otro en co-ocurrencia global y otros con contexto completo.
• 01:15:35
  Demo en colab de modelo de Hugging FaceMuestra la función pipeline con DistilBERT para análisis de sentimiento ("I hate you" es negativo con 99%). Luego usa AutoTokenizer y AutoModelForSequenceClassification, y una comparación de similitud entre oraciones. Un participante plantea usar un modelo para resolver dudas de reglas de un juego de mesa, y se sugiere un modelo pequeño o cuantizado, o un enfoque con RAG.
• 01:22:40
  ConclusionesLos modelos grandes tienen costo computacional alto, mientras que TF-IDF corre rápido con muchos datos. Recomienda probar primero modelos clásicos como baseline. Los LLM resuelven bien algunos problemas complejos para un programa tradicional, pero fallan en otros simples, como sumar.
• 01:28:29
  CierreDebate sobre leer el paper original frente a Papers with Code, y sobre usar redes neuronales sin entender su arquitectura. Agradecimientos, interés en una segunda parte con casos reales y recordatorio del Discord y del canal de YouTube.

Palabras clave