E194 - Ester Bravo: Prompt Injection

Resumen

Ester Bravo, que trabaja en datos y es cofundadora de una startup de desarrollo organizacional, explica qué es el prompt injection: ocultar una orden dentro del texto que recibe un agente de IA para que la obedezca. Lo distingue de la alucinación, el data poisoning y el jailbreak. Cita casos reales (Salesforce, el abogado con texto oculto en un PDF, Copilot sin clic) con severidades de 9.3 a 9.4. La causa es estructural: instrucciones y datos viajan mezclados hacia el modelo, y hoy no hay solución al 100%, solo mitigación. Propone mirar tres componentes (datos privados, entradas no confiables y salidas), juntar como máximo dos y poner un humano si hacen falta los tres. Recomienda defensa en profundidad con mínimos privilegios, aislamiento de datos por organización, data marking, pruebas adversarias, registros, alertas y runbooks. El episodio también toca el costo de tokens, la ley chilena 21.719 y la formación continua en IA.

Capítulos

• 00:00
  IntroducciónEster se presenta con un rol que mezcla product owner, project manager y analytics translator, parecido al "forward engineer" que popularizó Palantir. Empezó construyendo agentes internos y luego uno para clientes finales, lo que la llevó a estudiar sus vulnerabilidades.
• 02:38
  Cómo aprender GenAIDice que el 70% del aprendizaje es experiencial y que conviene aplicar lo que se estudia. Con la IA generativa da aún más peso a experimentar, porque los laboratorios publican novedades cada semana. Hizo un diplomado, un magíster en inteligencia artificial con foco generativo y formación de ciencia de datos.
• 04:38
  Formación continua BigschoolRecomienda Bigschool (el nombre se transcribe como "Big School"), un programa vitalicio con contenido que se actualiza todo el rato. Tenía clases sincrónicas y asincrónicas, doble titulación e incorporó agentes para estudiar y resolver dudas de clase.
• 06:53
  Forward engineer y rolesSe define el forward deployed engineer como un puente entre desarrollo de software y consultoría de negocio. Ester dice que es un cambio de nombre del rol de traductor entre negocio y tecnología, y los conductores bromean con que el próximo nombre será "vibe engineering".
• 08:26
  Qué es prompt injectionEs esconder una orden en el texto que recibe el agente. Ejemplo de Salesforce: una instrucción en un campo de texto libre de un formulario hizo que el agente sacara los correos de los leads hacia un dominio caducado que el atacante había comprado.
• 10:16
  Casos reales y riesgosHablan de un abogado que ocultó un mensaje en un PDF para que la IA analizara por encima, y de textos ocultos en tareas de cursos. Ester compara las señales con las del phishing (remitente, urgencia, enlaces, adjuntos, texto genérico). El caso de Salesforce tuvo severidad cercana a 9.4 sobre 10.
• 14:29
  Términos clave y diferenciasDistingue la alucinación (el modelo responde algo falso), el data poisoning (datos contaminados al construir el modelo, "garbage in, garbage out") y el jailbreak (saltarse los lineamientos de seguridad del modelo). Reconoce que la frontera con el prompt injection es difusa según el organismo.
• 17:36
  Prompt injection en productosEjemplo de su agente conversacional de feedback para líderes: si le piden recetas, sería un prompt injection inofensivo, pero si piden datos personales el riesgo cambia. Se comenta el caso del chat de Mercado Libre usado para resolver problemas matemáticos.
• 20:47
  Capas de seguridad y ataquesDistingue ataques directos e indirectos. Según datos de marzo de 2026, más del 55% son indirectos. Las capas aisladas son muy vulnerables (85–90%) y combinarlas busca encarecer el ataque hasta que el atacante desista.
• 26:51
  Por qué es estructuralInstrucciones del sistema, mensaje del usuario y documentos viajan juntos al modelo, que no puede distinguirlos. Lo compara con la inyección SQL, que se resolvió parametrizando la consulta. Todos los laboratorios reconocen que no hay solución al 100%, y Anthropic lo declara en su system card.
• 30:32
  Framework entradas datos salidasAl diseñar un agente hay que mirar tres aspectos: datos privados, entradas no confiables y salidas. Meta propone juntar solo dos, y si se necesitan los tres, poner un humano que valide.
• 33:39
  Diseño de agentes y controlesCon varios agentes conviene aislar responsabilidades, para que un ciclo contaminado no contamine todo. Menciona research que cuestiona si el humano sigue siendo un control válido cuando se acostumbra a respuestas buenas. Anticipa que los atacantes aprovecharán agentes mal configurados.
• 36:25
  Capas y privilegiosAdemás de los componentes hay capas dentro de cada uno, por ejemplo limitar la consulta a la base de datos a una sola empresa. Esto se vincula con roles y permisos.
• 37:59
  Monitoreo y bloqueosPropone registrar el tipo de consulta del usuario y aplicar contadores, advertencias y bloqueos temporales por abuso de los términos y condiciones.
• 39:14
  Juego de GandalfPresentan el juego de Gandalf (Lakera), donde hay que sacarle una contraseña a un agente con niveles de defensa crecientes. En el segundo nivel ya hay una instrucción de no revelar la clave. Ester llegó al nivel cuatro.
• 42:24
  Defensa en profundidadLos niveles del juego ilustran las capas: instrucción de no revelar, revisión de la respuesta, bloqueo por palabras clave. El objetivo es que el ataque salga tan caro que no valga la pena. Recomienda separar inputs, aislar datos, dar mínimos privilegios, reducir salidas y revisar los datos.
• 44:42
  Caso Copilot sin clicUn correo con una orden oculta llegó a Copilot, que lo leyó al procesar datos y envió información al servidor del atacante sin que nadie hiciera clic. Tuvo severidad 9.3.
• 48:01
  Parches y nuevas técnicasUn caso de Copilot se saltó los mitigadores reintentando el ataque. Los parches funcionan, pero aparecen técnicas nuevas, por eso hay que sumar capas.
• 49:02
  Costos y productizaciónPasar de MVP a producción exige mucho más trabajo del que se imagina, así que conviene diseñar bien desde el inicio. Cita un estudio de marzo con participación de gente de OpenAI, Anthropic y Google: con ataques fijos pasaba cerca del 2%, pero con ataques adaptativos logró pasar cerca del 90% frente a 12 defensas.
• 50:38
  Riesgo legal en ChileEl diseño involucra a producto, ingeniería, seguridad, datos, legal, cumplimiento y comerciales. La ley 21.719 entra en vigencia a fin de año, con multas que mencionan hasta 700 millones o 20.000 UTM, además de notificación y sanciones por reincidencia.
• 53:59
  Raid y pausa de memesReciben un raid en Twitch, saludan a los nuevos espectadores y resumen el tema. Comentan el juego de Gandalf, donde alguien llegó al nivel siete.
• 57:29
  Privacidad y retenciónHablan de la privacidad de las conversaciones con Claude y GPT, y de contratos enterprise con políticas de retención y no uso de datos. Comentan que esas políticas dependen de cierto volumen y que se puede registrar y anonimizar las interacciones en aplicaciones propias vía API.
• 01:00:26
  Memes y costos de tokensComentan un meme sobre aproximaciones de pi. Un conductor cuenta que una consulta pequeña a Claude lanzó 105 agentes, tardó 20 minutos y gastó unos 2 millones de tokens.
• 01:03:14
  Métricas de uso de IASobre la noticia de Microsoft que canceló suscripciones por costo, Ester dice que medir por tokens consumidos es como medir aprendizaje por libros comprados. Las métricas deben alinearse con resultados de negocio.
• 01:05:04
  Titulares sensacionalistasCoinciden en que la noticia fue sensacionalista y sin profundidad sobre cómo se midió. Se mencionan reportes de gente que programó consumo de tokens para aparecer activa.
• 01:06:10
  Métricas y presupuesto tokensEster plantea que presupuestar exige premisas claras y medir bien el consumo, por ejemplo qué tokens cuentan en los reportes de Google.
• 01:07:24
  Microsoft usando ClaudeSe preguntan por qué Microsoft usa Claude en vez de comprar OpenAI. Un participante lo atribuye a una alianza de Copilot con Claude y a que Claude ha sido superior a Codex este semestre.
• 01:08:32
  Diseño seguro del agenteDescribe el diseño de su agente de feedback: el chat libre del líder no cambia las reglas del system prompt, la información de cada organización queda aislada, y no se exporta ni escribe nada. Aplica mínimos privilegios y adapta los lineamientos al modelo usado.
• 01:11:36
  Separar reglas e inputsAnte la duda de cómo se separan, explica que instruye al modelo para que lo recibido no cambie las reglas y marca la información que viene del líder. Lo compara con el nivel inicial de Gandalf, que no tiene la instrucción de no entregar la clave.
• 01:12:55
  RLS y bypass de permisosUsa el login verificado y la identificación de la organización para filtrar la base de datos con políticas por usuario (RLS). Reconoce que existen formas de saltarse las políticas, por ejemplo con un rol admin, o si el agente genera el SQL.
• 01:16:04
  Guardrails y prompt injectionLos guardrails definidos ocupan espacio de contexto, a diferencia de los que vienen en el modelo base. RLS ayuda a mitigar, pero no elimina el riesgo.
• 01:17:01
  Identidad y fricción futuraLos conductores especulan con que el uso de IA exigirá verificación de identidad y doble autenticación, y que hoy es la "época dorada" sin fricción. Ester advierte que la fatiga de autorizar acciones también es un riesgo.
• 01:19:57
  Data marking y defensasDescribe delimitadores para marcar datos no confiables, que deben ser dinámicos para no ser descubiertos, además de insertar tokens y codificar el texto. Insiste en iterar con pruebas adversarias y en cuidar la experiencia de uso.
• 01:21:55
  Siete capas y runbooksResume capas: separar inputs y roles, mínimos privilegios, sin salidas directas, pruebas adversarias y registros con alertas. Subraya que tener plan de acción y responsables entrenados, con un runbook, es necesario porque las alertas por sí solas no bastan (como en Copilot).
• 01:24:57
  Mitigar riesgos sin agobioEster dice que está más ocupada que preocupada y que disfruta aprender esto, aunque reconoce que para muchos el ritmo de cambio es agobiante. Insiste en iterar y construir una base que crezca.
• 01:28:35
  Contingencia y comités riesgoSobre planes de contingencia ante eventos extremos, dice que en industrias reguladas como la banca existen comités de riesgo y políticas de gestión de riesgo de modelos. En otras organizaciones depende de la madurez.
• 01:31:42
  Metodología de diseño IASu método es hacer research del estado del arte, entender, diseñar y dar instrucciones muy acotadas a la IA, para no perder el conocimiento del producto. Advierte que los modelos pueden definir especificaciones fáciles de cumplir.
• 01:33:37
  CierreEster se puede encontrar en LinkedIn y subirá la presentación al Discord. Los conductores agradecen y comentan el valor de pensar en riesgos y de aprender continuamente.

Palabras clave