E116 - John Atkinson: LLM - Concepts, Techniques and Applications

Resumen

John Atkinson, director del magíster de Inteligencia Artificial de la Universidad Adolfo Ibáñez, conversa sobre su trayectoria en IA y procesamiento de lenguaje natural, y sobre sus dos libros: uno de analítica textual y uno nuevo sobre modelos de lenguaje (LLM). Critica la falta de visión de largo plazo en las políticas públicas y el ecosistema de innovación en Chile. Explica por qué la evaluación de modelos debe hacerse por tarea específica y no de forma general. Sostiene que los LLM no razonan, que el término "alucinación" es engañoso y que la IA general (AGI) está lejos porque falta metacognición, con un futuro posible en modelos neuro-simbólicos. Compara la regulación europea, la estadounidense y la chilena, y advierte sobre copiar normas sin adecuarlas. Concluye que la alfabetización en IA, la formación con fundamentos y el pensamiento crítico frente a las fuentes son claves.

Capítulos

• 00:00
  IntroPresentación del episodio 116 y de John, director del magíster de IA de la UAI. Los anfitriones se presentan, con formación en Data Science y ahora más enfocados en producción y LLM.
• 02:22
  Experiencia Profesional y Proyectos de JohnJohn cuenta su carrera: Universidad Técnica Federico Santa María, Universidad de Concepción y UAI, y un doctorado en Reino Unido en IA y procesamiento de lenguaje natural. Recuerda que en Chile el área era muy poco conocida y que en su magíster le ofrecieron trabajar en supercómputo y computación paralela.
• 10:57
  Desafíos y Oportunidades en Inteligencia Artificial en ChileOpina que Chile avanzó, pero sigue siendo reactivo y dependiente de lo externo, sin visión de mediano y largo plazo. Menciona su participación en el comité de la política nacional de IA y la crítica al ecosistema de innovación y emprendimiento.
• 17:25
  Reflexiones sobre Innovación y Políticas PúblicasArgumenta que tener fondos no basta sin ecosistema ni política pública adecuada, con el ejemplo del MIT en Boston. Habla de Becas Chile y del retorno de los becarios, propone un "think tank" que piense el futuro y cita el proyecto Synco/Cybersyn con Stafford Beer (1971).
• 30:27
  El Libro de John y su MotivaciónExplica sus dos libros (analítica textual y LLM/procesamiento de lenguaje), publicados en inglés y español. El segundo surgió por la invitación de una editorial española; busca alfabetizar y explicar con teoría y práctica a profesionales no especialistas.
• 36:54
  Estilos de Explicación en Libros TécnicosCuenta que intentó escribir el prólogo con ChatGPT y no lo convenció, por lo que lo escribió él para mantener su estilo. Defiende ampliar los ejemplos de código paso a paso en lugar de reducirlos a una línea.
• 39:19
  Estructura y Contenido del LibroDescribe el orden: IA generativa, fundamentos de los grandes modelos de lenguaje, ejemplos de modelos, aplicaciones con código, evaluación, y temas como alucinaciones y ética. Remarca que hay que evaluar la tarea específica antes de llevar algo a producción.
• 41:00
  Experiencias y Anécdotas en CharlasRelata sus charlas en Congreso Futuro, con explicaciones sin tecnicismos, y la anécdota de una señora de unos 90 años que fue a felicitarlo y a comprar el libro. Explica que su experiencia docente le permite anticipar las confusiones del lector.
• 47:04
  Evaluación de Modelos de LenguajeDice que la evaluación suele pasarse por alto y que cada tarea (pregunta, resumen, recuperación de documentos) se mide distinto. En recuperación de información, el ranking importa: una respuesta correcta en la posición 200 no sirve comercialmente.
• 52:45
  Implementaciones y Regulaciones en IANo ha visto implementaciones destacables en empresas o gobierno, solo adaptaciones de herramientas existentes, y menciona que el Estado compró licencias de ChatGPT. Anticipa que la regulación condicionará las implementaciones y critica el término "alucinaciones" y la idea de razonamiento en los LLM.
• 59:35
  Conciencia de la IA y cuándo (si es que) la obtendremosExplica que los LLM actuales no tienen cognición ni metacognición, y que el futuro apunta a modelos neuro-simbólicos. Critica el test de Turing, presenta el argumento de la habitación china y duda de las promesas de AGI de las empresas.
• 01:16:36
  Regulación y Prohibiciones en EuropaComenta la regulación europea y sus prohibiciones, como sistemas que monitoreen o manipulen el comportamiento en entornos educativos, ligado a lo que se hacía en China.
• 01:17:52
  Comparación de Regulaciones: Europa vs ChilePlantea que regular los usos y no las herramientas es lo adecuado, con la analogía del cuchillo. La propuesta chilena toma de la Unión Europea y la OCDE, y advierte que copiar sin adecuar a la realidad local es riesgoso.
• 01:18:56
  Impacto de la Regulación en la InnovaciónSeñala que Europa regula mucho y tiene pocas empresas tecnológicas entre las más grandes, mientras que Estados Unidos opta por regulación mínima y autorregulación. Menciona que Meta y Spotify cuestionaron el entorno regulatorio europeo, y resume: "Estados Unidos innova, China copia y Europa regula".
• 01:22:32
  Habilidades Emergentes en Modelos de LenguajeDefine las habilidades emergentes como comportamientos complejos que surgen de piezas simples, y opina que se llega a un plató donde los avances están en la periferia (multimodalidad, extras) y no en el núcleo. Advierte que esos comportamientos pueden ser falsos sin que se note.
• 01:25:07
  Escalabilidad y Eficiencia en Modelos de IADiscuten si seguir escalando modelos mejora el resultado, con la postura de los laboratorios (mencionan a Dario) frente a la de John. Él ve el foco en eficiencia, modelos más pequeños y el costo ambiental, y cita a un experto que sostiene que el cambio no vendrá de lo mismo.
• 01:32:29
  Importancia de la Formación en Data ScienceResponde si conviene un bootcamp o un magíster: depende del objetivo, los bootcamps sirven para cosas puntuales y la base permite adaptarse más rápido. Cree que los tipos de LLM son pocos y que entender fundamentos evita perseguir cada novedad.
• 01:40:54
  Conclusiones y Reflexiones FinalesLos anfitriones resumen el stream y recuerdan los canales. John destaca la alfabetización, ver fuentes oficiales y entender el contexto geopolítico, con los ejemplos de la reunión de ejecutivos con Biden para pedir regulación y la carta de la pausa de IA impulsada por Musk.
• 01:47:28
  CierreAgradecimientos, mención de que la próxima semana será el episodio de tendencias y noticias. John insiste en que la gente piense por sí misma y recupere la visión crítica.

Palabras clave