E208 - Cinthya Vergara: Trustworthy Machine Learning

Resumen

En este episodio, Cinthya Vergara (doctoranda en la Universidad Adolfo Ibáñez, con trayectoria en análisis de datos y colaboradora del magíster) conversa sobre cómo la IA generativa está cambiando la educación, la contratación de juniors y la ciberseguridad. Se comenta cómo los estudiantes usan LLM sin comprender lo que hacen, lo que baja las notas y refuerza la importancia del pensamiento crítico y el aprendizaje activo. Cinthya presenta su trabajo en detección de intrusiones (IDS) y en ataques adversariales a modelos de ML, incluidos los MoE. Se revisan noticias sobre agentes que se coordinan, solicitudes de datos a OpenAI, vigilancia de chats por Meta, estafas con IA y falta de concientización pública. Se explica el concepto de Trustworthy ML (fuera de distribución, RAG, incertidumbre, validación, fairness) con demos de ataques FGSM, imágenes con texto oculto y prompt injection. La conclusión principal es que ahora los modelos mismos son superficie de ataque y que se necesita más conciencia, formación y pruebas de seguridad.

Capítulos

• 00:00
  IntroSe presenta el episodio 208 sobre trustworthy ML con Cinthya, quien participa en el chat y Discord con temas de ciberseguridad. Se menciona que el tema abarca privacidad, interpretabilidad y evaluación.
• 00:37
  Conociendo a CynthiaSe cuenta cómo se conocieron a través del curso del magíster, diseñado con Richard y Sebastián Santana, dictado por primera vez en otoño de 2021. Ella fue ayudante y luego colaboradora desde su trabajo en Micheline y Forus.
• 01:38
  Colaboración con el magísterCinthya explica que colabora desde 2021 aportando casos de empresas para los estudiantes. Se destaca que hace falta una contraparte de negocio y otra técnica para que los proyectos funcionen.
• 03:30
  IA y formación laboralSe plantea que los programas de formación interna pierden compromiso porque la gente obtiene lo mismo con IA, disponible 24/7. Surge la duda de si mantener el formato clásico de cursos y lecturas.
• 05:10
  Trayectoria en datosCinthya relata su paso por Sistemas de Información en la FEN, el magíster, electivos de data mining en 2008-2010, una práctica en una consultora de big data con Hive, el uso de SAS y KDD. Hoy cursa el doctorado desde hace dos años.
• 08:16
  Evaluar y aprender con LLMCuenta que en su curso los alumnos resuelven ejercicios de R con LLM, por lo que diseñó una prueba con resúmenes de papers vía NotebookLM y reflexión. Los promedios bajaron de 6,2 a 5,1 aproximadamente; se enfatiza el rol del pensamiento crítico y el aprendizaje activo frente al pasivo.
• 15:06
  Impacto en juniorsSe comenta que baja la contratación junior porque, sin saber preguntar ni criticar, la herramienta no basta. Los juniors entregan gráficos y modelos que no saben interpretar ni explicar.
• 16:35
  Doctorado y proyecto IDSCinthya explica su ingreso al doctorado y el proyecto FONDEF IDEA con la profesora Romina Torres: un detector de intrusiones (IDS) con transacciones seguras. La dificultad es conseguir datos propios, porque no se puede atacar libremente. Su tesis estudia ataques adversariales a LLM, en particular mezclas de expertos (MoE).
• 22:50
  LLM y límites de hardwareResponde a una pregunta del chat: usan modelos abiertos, pues el límite está en el hardware más que en el modelo. Menciona modelos pequeños de NVIDIA, Hugging Face y un HPC con GPU compartida; se habla también de ecuaciones de Navier-Stokes resueltas en HPC.
• 26:11
  Ciberseguridad con generativasCinthya comparte su presentación: con LLM hackear se ha vuelto muy accesible incluso sin experiencia. Cita estudios donde 54-56% de organizaciones detectó incidentes y 78% cree haber sido atacada, y menciona un mini computador con GPU de unos 2 millones de pesos.
• 28:50
  Ataques a modelosDistingue la ciberseguridad clásica (DoS, fuerza bruta, robo de credenciales) de los ataques adversariales, dirigidos a entrenamiento, datos o extracción de información de los modelos.
• 30:23
  Noticias y confianza en IARelata la noticia de agentes de IA que se organizaron entre sí y hackearon Hugging Face, y un artículo del New Yorker sobre si podremos confiar en la IA. Se menciona el pedido de pausa en el desarrollo.
• 33:09
  IA no es tan fácilSe señala que la gente desconoce estos riesgos y asume que implementar IA es fácil, otorgando permisos sin cuidado.
• 33:48
  OpenAI y solicitudes legalesMuestra que las solicitudes de agencias estadounidenses a OpenAI pasaron de unas 18 a 83 entre 2024 y 2025. Advierte que se comparten problemas emocionales y contraseñas sin garantía de privacidad.
• 35:35
  Meta vigilando chats en ChileSe comenta que Meta revisa chats y que una alumna fue buscada en su casa tras una historia privada en Instagram. Se menciona que hay varios casos similares.
• 37:08
  NDA y fuga de datosSe discute que al contratar consultoras no hay control sobre el uso de la información, más allá de contratos y NDA. Se menciona que en una empresa los NDA eran retroactivos.
• 38:31
  Chats que facilitan robosEjemplo de robo de cuentas en que el chat de Meta entregó el link de recuperación de clave sin un hackeo elaborado.
• 39:11
  Privacidad cero en dispositivosSe comenta que televisores LG supuestamente escuchaban y vendían datos para publicidad, y que WhatsApp, Facebook e Instagram comparten información dentro de Meta. Se bromea sobre regalar RUT y datos en promociones.
• 41:01
  Confiar o no en chatbotsLos participantes responden si confían en los chatbots: uno confía porque se equivoca menos que él; otro teme el control por poderes fácticos y la deformación del pensamiento.
• 42:21
  Echo chamber y eleccionesSe explica el efecto de cámara de eco (rabbit hole) y cómo los algoritmos personalizan propuestas políticas; se menciona el uso por campañas como la de Obama.
• 44:57
  Maldad humana y datos tóxicosSe discute si el problema es de los modelos o de las personas; los modelos replican lenguaje agresivo de foros y comentarios con que fueron entrenados. Se cita un caso de un bot que trató mal a un cliente.
• 46:57
  OWASP Top 10 para LLMSe revisa el Top 10 de riesgos para LLM publicado recientemente: prompt injection sigue primero, seguida de la filtración de información sensible y el envenenamiento de datos. Se aclara que el orden refleja prevalencia.
• 49:23
  Phishing y estafas con IASe habla de estafas más sofisticadas: clonación de voz, videos falsos (ejemplo de falso Brad Pitt) y páginas web idénticas a las oficiales. Cinthya cuenta que armó un sitio de ataque en una hora con un LLM.
• 52:25
  Falta de concientización públicaSe discute que hay pocas campañas de ciberseguridad, que las universidades no la enseñan fuera de informática y que las noticias falsas y los influencers erosionan la confianza en la ciencia.
• 58:37
  Trustworthy AI y contextoDefine Trustworthy ML como saber en qué condiciones y contextos un modelo es confiable. Ejemplo del chatbot de comida rápida que respondió código Python.
• 59:29
  OOD, RAG y alucinacionesExplica out of distribution y cómo RAG limita el contexto de respuesta. Cita el caso Mata vs Avianca, donde se inventó jurisprudencia, y la temperatura como control de creatividad.
• 01:02:39
  Qué hace un modelo confiablePlantea la pregunta abierta de qué es un modelo bueno y el tema de la incertidumbre.
• 01:02:54
  Validar pruebas de IASe discute quién valida demostraciones matemáticas generadas por IA, y se menciona la verificación con Lean de estructuras lógicas.
• 01:04:09
  Navier Stokes y verdadUn participante comenta que OpenAI habría resuelto el problema de Navier-Stokes. Se debate quién valida la verdad y hasta qué escala puede un humano verificar.
• 01:05:57
  Trustworthy y fairnessSe menciona la justicia algorítmica (sesgos por género o país) y se separa de la línea de adversarial machine learning.
• 01:07:27
  Prompt injection y riesgosSe explica que en adversarial ML se busca que el modelo no filtre claves ni ejecute código; se da el ejemplo de un prompt de borrar la base de datos.
• 01:08:03
  Demo ataques adversarialesDemuestra FGSM: se perturba una imagen usando el gradiente y un ε, cambiando la predicción de un 6 a un 9 y clasificando otra imagen con ResNet18 como máquina tragamonedas.
• 01:11:10
  Defensas y casos realesSe discute entrenar con ejemplos adversariales como defensa y la idea de aplicar una función inversa. Se mencionan riesgos en imágenes médicas y casos de clasificación ofensiva.
• 01:13:30
  Ataques multimodalesExplica el ataque con texto oculto sobre una imagen que inyecta instrucciones al modelo, y cómo la modalidad cambia las respuestas.
• 01:16:10
  Garak y pruebas segurasMuestra Garak para probar toxicidad y prompt injection en modelos locales con Ollama, y responde que más píxeles dan más espacio para la perturbación.
• 01:18:50
  CierreCierre con recomendaciones de cuidado, resumen para quienes llegan del raid, y reflexiones sobre blue/red team, superficie de ataque (chatbots, APIs, extracción de modelos) y la demanda de especialistas en adversarial ML.

Palabras clave