E153 - Sebastián Urbina: Analitica de interración a escala

Resumen

En el episodio 153 de enCoders, Sebastián Urbina (27 años, ingeniero industrial, AI engineer, con magíster en Ciencia de Datos de la Universidad de Chile) cuenta su experiencia construyendo una arquitectura para transcribir y analizar audios de call center a escala. El problema es que las empresas reciben cientos de miles de llamadas diarias y solo pueden auditar una fracción a mano, con escalabilidad limitada y subjetividad. Comparan servicios de transcripción pagados (Amazon Transcribe, GCP, Deepgram, Whisper de OpenAI) con Whisper open source desplegado en una GPU en la nube. Con una instancia NVIDIA L4 (US$0,8 por hora, según la transcripción) y un IRTF de 80, el costo resulta hasta 30 veces menor. La arquitectura usa object storage, una tabla SQL que mapea rutas de audio, un splitter que reparte chunks y contenedores con el modelo en varias VMs. La diarización se hizo con embeddings de los segmentos y clustering con n=2, o por canal en audios estéreo. Las transcripciones se anonimizan y se analizan con LLMs y prompts, y los resultados terminan en tablas y gráficos de negocio (motivos de llamada, sentimiento, clustering de agentes). El proyecto transcribió 2 millones de audios a muy bajo costo. La conversación también toca la nube frente a on-premise, la evolución de los roles en datos y consejos sobre aprender fundamentos.

Capítulos

• 00:00
  IntroPresentación del episodio 153 sobre analítica de interacción a escala. Sebastián se presenta como ingeniero industrial de 27 años que trabaja como AI engineer.
• 00:41
  Discusión sobre Habilidades y Roles en Ciencia de DatosComentan la diferencia entre AI engineer y data scientist, que según Sebastián tiene que ver con programación. Prefiere dejar el tema para más adelante en la entrevista.
• 00:57
  Introducción a la Analítica de InteraccionesPresenta la estructura de la charla: problema, ideación, solución y resultados, basada en su trabajo anterior en una empresa grande analizando audios.
• 01:56
  Desafíos en las Interacciones de Atención al ClienteHablan de la mala experiencia de llamar a un call center, del IVR y de la métrica First Call Resolution. Explican que los audios son datos no estructurados y que las llamadas suelen estar grabadas.
• 04:42
  Análisis de Interacciones Manual vs. AutomatizadoHoy se auditan escuchando una muestra de llamadas y llenando pautas de calidad, con limitaciones de escala y subjetividad. Mencionan el análisis de chats de GPT-4 y GPT-5, y casos de uso: cumplimiento de protocolos, razón real de la llamada, satisfacción y retroalimentación a ejecutivos.
• 05:37
  Transcripción y Utilización de DatosSe transcribe con un modelo que recibe el audio y entrega texto con timestamps y hablantes. Sebastián cuenta que las transcripciones estaban anonimizadas y discuten el análisis en tiempo real, que consideran caro para millones de llamadas.
• 08:56
  Costo y Viabilidad de la Transcripción en Tiempo RealCalculan a mano el costo de usar modelos multimodales, con cifras aproximadas e inciertas. Concluyen que lo viable es transcribir al día siguiente y analizar con uno o dos días de desfase.
• 16:17
  Explorando Servicios y Herramientas de TranscripciónRepasan Azure, Google Speech to Text, Amazon Transcribe, Whisper y Deepgram, y el ranking de modelos open source de Hugging Face. Para 100.000 audios de 10 minutos, Deepgram sale como la opción más barata de los servicios, y Whisper es multilingüe y funciona bien en español.
• 30:12
  Construyendo una Arquitectura de Transcripción PersonalizadaIntroduce la métrica IRTF (inverse real time factor) y una instancia de AWS con GPU NVIDIA L4 de 24 GB de VRAM. Hablan de la hipótesis de volver al on-premise.
• 35:54
  Maximizando la Rentabilidad del Datacenter con GPUsHipótesis de que los proveedores prefieren llenar sus datacenters de GPU por mayor rentabilidad que con CPU.
• 36:36
  Preocupaciones sobre el Consumo Energético en IADiscuten el consumo de energía de los modelos, la polémica porque OpenAI no reveló el consumo de GPT-5 y la comparación con la eficiencia del cerebro.
• 38:05
  MemesRevisan memes del Discord: líder frente a introvertidos, la analogía del microondas con la IA, la Thermomix y un meme sobre Devin y producción.
• 42:12
  Pasatiempos e Intereses Personales de SebastiánSebastián habla de sí mismo: Libra, el campo en Guaquí (según el ASR) en la séptima región, la resiliencia, el magíster en Ciencia de Datos, gaming, guitarra, programación, la película *La llegada* y el libro *El poder del ahora*. También discuten sobre experiencia en IA, el mercado laboral y las ofertas de Meta a investigadores.
• 58:14
  Análisis de Costos de Servicios de TranscripciónCon un IRTF de 80, una hora de cómputo procesa 80 horas de audio (4800 minutos). El costo por minuto sale hasta unas 30 veces menor que los servicios, con el trade-off de operar la infraestructura.
• 01:01:13
  Construyendo una Arquitectura de TranscripciónArquitectura básica: object storage de entrada, clúster con GPU y object storage de salida. Responden preguntas del chat sobre serverless y Lambda, y mencionan que on-premise ahorraría otro factor de 10.
• 01:06:11
  Explorando Whisper y WhisperXWhisperX es un wrapper de Whisper con diarización y otras funciones, que usa modelos adicionales y agrega tiempo. Por eso eligieron Whisper en bruto.
• 01:07:44
  Escalando la Transcripción con Múltiples VMsPara repartir audios entre VMs registran las rutas en una tabla SQL (Mapper) con estado de transcrito, y un Splitter divide en chunks. Cada VM procesa un contenedor con su chunk en modo batch, y se puede escalar horizontalmente.
• 01:15:25
  Transcripción y Etiquetado de HablantesSegmentan el audio según los timestamps de Whisper, generan embeddings y aplican clustering con n=2 para asignar speaker 1 y 2. Es más rápido que WhisperX, aunque no funciona bien con voces superpuestas.
• 01:20:32
  Evaluando la Precisión de la TranscripciónDiscuten el impacto de los errores de diarización en la evaluación de ejecutivos, la necesidad de medir la tasa de error y la revisión manual en decisiones sensibles.
• 01:25:46
  Anonimización y Análisis de DatosCapa de anonimización antes de enviar datos a un modelo, y prompts con preguntas abiertas, cerradas y de clasificación para producir tablas.
• 01:27:33
  Insights de Negocio a partir de Datos de TranscripciónGráfico Marimekko de macrocategorías de motivos de llamada, sentimiento por categoría y clustering de agentes por atributos. Hablan de audios estéreo con diarización por canal y de enriquecer con datos tabulares.
• 01:34:23
  Cierre y reflexiones finalesSebastián cuenta el hito de transcribir 2 millones de audios a bajo costo. Debaten el futuro de las habilidades, con énfasis en fundamentos, diseño de soluciones y comunicar impacto, y anuncian N8N como tema probable de la próxima semana.

Palabras clave