E20 - ChatGPT: historia, como funciona, aplicaciones, futuro

Resumen

El episodio 20 de enCoders presenta ChatGPT: su origen, su funcionamiento, sus aplicaciones, sus riesgos y su futuro. Los tres conductores no son expertos en NLP y repasan lo que leyeron. ChatGPT se basa en GPT-3, un modelo de lenguaje que predice la siguiente palabra. Sus claves son la arquitectura Transformer con el mecanismo de atención, 175 billones de parámetros y una cantidad enorme de datos de entrenamiento. Se prueban ejemplos de uso (consejos, código, recetas, negocios) y se comentan sus fallos: inventa respuestas, falla en matemáticas y en lenguajes poco comunes. Se discuten usos maliciosos (estafas, fake news), el plagio escolar, la pérdida de habilidades, el arte y la programación, y el reemplazo del buscador de Google. La conclusión principal es que es una herramienta muy poderosa, pero hay que saber preguntar y validar sus respuestas, y que probablemente marcará una época.

Capítulos

• 00:00
  IntroPresentan el tema y el entusiasmo del grupo: lo recomiendan a amigos y lo comparan con el efecto que tuvo AlphaGo. Citan que ganó 1 millón de usuarios en 5 días y que Microsoft invirtió mil millones de dólares en OpenAI. Cuentan fallos (mezcló Warhammer con El Señor de los Anillos) y usos creativos como guiones y storytelling con Midjourney.
• 03:26
  Qué es y de donde salió ChatGPTRepasan la historia: OpenAI, el paso de las redes recurrentes a los Transformers (paper "Attention is all you need", 2017) y los modelos GPT-1, 2 y 3. GPT-3 tiene 175 billones de parámetros (10 veces más que otros) y se entrenó con datos de Common Crawl, libros y Wikipedia. ChatGPT se afina con humanos en el loop (fine-tuning supervisado). Explican self-attention, embeddings, zero/one/few-shot, el data leak reportado en el paper y que la clave es la cantidad de datos y de parámetros.
• 39:40
  Algunos ejemplos de preguntasPrueban cómo decirle a un amigo que es malo en tenis, y el modelo responde de forma amable y no deja generar insultos. Discuten aplicaciones (leyes, contabilidad, periodismo, asistente de negocios, código, recetas) y el costo de operarlo (estimado en 100.000 dólares diarios). También hablan de limitaciones (no sabe lo posterior a 2021), la posible monetización y los riesgos de estafas telefónicas y fake news.
• 59:18
  MemesComentan memes sobre desarrolladores y ChatGPT: velocidad frente a buscar en Google, el sobrecupo del servicio, y que el código entregado no sale 100% funcional. Debaten la importancia de saber preguntar y de validar, su uso en entrevistas, el plagio escolar, la pérdida de habilidades, la traducción en tiempo real, si el arte y el código son arte ("no tiene alma"), y el reemplazo del buscador de Google por modelos de lenguaje (con el problema del SEO y la publicidad).
• 01:35:17
  Cómo manera matemáticasPrueban integrales y cálculo de esperanzas. El modelo se equivoca y "trucha" desarrollos que parecen reales pero no lo son (la integral de la campana de Gauss). Mencionan que Wolfram Alpha da la respuesta correcta.
• 01:47:00
  CierreResumen y palabras finales: la herramienta es de moda y puede marcar un hito en NLP. Esperan una explosión de aplicaciones, chatbots mejores para atención y un acceso al conocimiento más barato que las universidades. Insisten en usarla con cuidado y saber validar. Invitan al Discord.

Palabras clave