E130 - Attention is all you need

Resumen

En este episodio (E130) Mati presenta su recorrido para entender el paper "Attention is all you need" (2017), el origen de los Transformers y de los LLM. Explica primero el contexto: modelos secuencia a secuencia, redes recurrentes (RNN/LSTM), el framework encoder-decoder y el primer mecanismo de atención, con el problema de que todo era secuencial y poco paralelizable. Luego aborda el Transformer: embeddings aprendidos, positional encoding y, sobre todo, la multi-head self-attention con query, key y value, el escalado por la raíz de la dimensión y el softmax. Aclara la métrica BLEU usada en el paper, y los invitados aportan intuiciones matemáticas sobre senos/cosenos, espacios vectoriales y transformaciones lineales. La conclusión principal es que el paper es muy denso y poco pedagógico: para quien trabaja en la industria rara vez es necesario leerlo, y rinde más aprender a implementar soluciones; solo vale la pena si se está en investigación o hay curiosidad genuina. La idea central fue eliminar RNN y LSTM, permitir paralelizar el entrenamiento y capturar la relación entre palabras con atención.

Capítulos

• 00:00
  IntroBienvenida al episodio 130, que se retrasó una semana por un corte de luz masivo en Chile. Mati dice que el tema es el paper de attention, que le faltó tiempo y que entenderlo en dos días es imposible.
• 02:21
  Utilidad práctica de leer el paperMati sostiene que en la práctica laboral es más productivo aprender a implementar soluciones (por ejemplo con LangChain y APIs) que entender la teoría de fondo. Leer el paper sirve sobre todo a quien investiga o por curiosidad, y lo compara con el proceso académico de su magíster. Los invitados añaden que en entrevistas se contrata al que sabe implementar y que conviene aprender lo que está surgiendo en el momento.
• 09:30
  Sequence-to-Sequence ModelsDel abstract salen cinco conceptos desconocidos: modelos secuenciales, redes recurrentes, encoder-decoder, attention y Transformer. Un modelo secuencia a secuencia transforma una secuencia de entrada en otra de salida (traducción, generación de texto, speech to text), y los LLM caen en esta categoría.
• 11:40
  Recurrent Neural Networks (RNNs)Las RNN procesan palabra por palabra pasando un hidden state al siguiente paso, por lo que son secuenciales y no paralelizables. Tienen el problema de dependencia a largo plazo y del desvanecimiento del gradiente (backpropagation through time, regla de la cadena con factores menores que uno, ej. 0.3 elevado a 10). Las LSTM intentaron mitigarlo. También se aclara que los tensores generalizan matrices y vectores, y se menciona su uso en series de tiempo.
• 26:19
  Framework Encoder-DecoderEncoder-decoder es un framework y no un modelo concreto: una RNN codifica la entrada en un vector de largo fijo y otra RNN lo decodifica de forma autorregresiva hasta un token de fin de secuencia. Se apoya en el paper de Sutskever sobre sequence to sequence learning. Un invitado lo ilustra como pasar a un espacio vectorial donde se puede calcular y luego volver a las palabras.
• 35:47
  Attention MechanismEl paper de Bahdanau (2014) critica el vector fijo y propone un vector de contexto variable, calculado como ponderación de los hidden states de todas las palabras. Mati dice que ese mecanismo es más simple que el del paper de Transformers.
• 40:08
  Métricas de Evaluación: BLEU y TraducciónResultado del abstract: 28.4 BLEU en WMT 2014 inglés-alemán, entrenado en unos 3.5 días con 8 GPU. El WMT es una conferencia que provee corpus de traducción y rankings; BLEU mide la calidad de una traducción.
• 40:47
  Ejemplos y Detalles Técnicos del BLEUBLEU compara n-gramas (1 a 4) de la traducción con una referencia, con clipping de repeticiones, media geométrica y penalización por brevedad (BP). Los traductores humanos rondan 60 puntos sobre un máximo de 100, y la media geométrica castiga cualquier n-grama con valor muy bajo.
• 48:29
  MemesPausa de memes: código que funciona en pruebas pero se rompe al entregar, un caso de Cursor sin forma de volver atrás, un meme de tensores y matrices, "cuánta atención necesitamos" y uno sobre espacios de Hilbert en mecánica cuántica.
• 51:14
  Experimento de Mati usando plataforma de OpenAI y AzureMati hizo unas 24.000 requests con GPT-4o mini y topó con los límites de requests y tokens por minuto de su cuenta. Prefirió la API de OpenAI a la de Azure, que le resultó muy lenta.
• 52:54
  Detalles del Modelo TransformerEmpieza la parte difícil: el diagrama del Transformer (cajas dentro de cajas, flechas, Add & Norm, N×) y su explicación dispersa en el paper. Mati recomienda una serie de tres videos y dice que lo clave es la multi-head attention. Hay problemas técnicos de cámara y una pregunta sobre el puntaje BLEU actual, con cifras de 28 y 41.8 aproximadas en el paper y de 40 a 50 citadas para Google Translate.
• 58:04
  Positional Encoding en TransformersPrimero se aplican input embeddings, que en este modelo son aprendidos. Como no hay secuencia, se suma un positional encoding calculado con senos y cosenos (dimensión 512). Los invitados dan intuiciones: coordenadas radiales, números imaginarios, analogía con la representación binaria y modulación de ondas. Mati reconoce que parte de la formulación parece un "truco matemático".
• 01:11:58
  Information RetrievalQuery, key y value se explican con la analogía de buscar en YouTube: la query es la búsqueda, las keys los títulos y el value el contenido. En el paper las tres son la misma matriz de palabras replicada, de ahí el nombre self-attention.
• 01:13:21
  Transformaciones lineales y EmbeddingsCada copia de la matriz pasa por una transformación lineal (pesos como en una capa totalmente conectada) que lleva los vectores de 512 a 64 dimensiones, repetido en 8 cabezas en paralelo. Mati dice que las dimensiones (512, 8 cabezas, 6 capas) son decisiones de los autores y que la tabla 3 muestra variaciones probadas.
• 01:17:57
  Explicación del mecanismo de atenciónSe explica el scaled dot-product attention: se multiplica Q por K transpuesta, y esa matriz mide qué tan relacionadas están las palabras (ejemplo "bank" como banco o como río).
• 01:19:28
  Escalamiento y SoftmaxEl softmax lleva los valores a 0-1 y la división por la raíz de dk se justifica en el paper solo por evitar gradientes pequeños al saturarse el softmax. Los invitados discuten la intuición del tamaño del gradiente y la convergencia.
• 01:23:14
  Attention Filters y Semantic InformationLa matriz de atención (n×n para n palabras) funciona como un filtro que, multiplicado por V, deja la información semántica relevante, con una analogía de Avatar tomada del video recomendado. Se muestra el ejemplo del apéndice del paper con relaciones entre palabras.
• 01:29:14
  Aplicaciones del modeloSe aclara que el paper original trabajaba traducción, pero el mismo esquema sirve para predecir la siguiente palabra. La relación semántica que se aprende depende de la tarea objetivo y no solo de la similitud entre embeddings.
• 01:32:55
  Intuición de la matriz de atenciónUn invitado explica con dimensiones: una matriz de 100 características por 4 palabras multiplicada por su transpuesta da una matriz de 4×4 de similitudes entre palabras. Se menciona que multi-head repite el proceso 8 veces con matrices distintas, concatena y aplica otra transformación lineal. Mati resume el resto del paper (entrenamiento, benchmarks, variaciones).
• 01:38:42
  CierreConclusión: las ideas centrales fueron eliminar RNN/LSTM y usar un mecanismo que relaciona palabras, con mucho ajuste de parámetros. Recomiendan no leerlo salvo interés en investigación y que alguien escriba una versión simple con ejemplos pequeños. Mati usó ChatGPT para resolver dudas, por ejemplo por qué el decoder sigue siendo autorregresivo. Se despiden recordando los streams de los martes y el Discord.

Palabras clave