E204 - Sebastían Fuentes: Aprendizajes de Computer Vision

Resumen

Sebastián Fuentes, ingeniero físico de la USACH, cuenta su camino hacia la visión computacional a partir de una pregunta sobre la evasión en el transporte público de Santiago, que derivó en el problema de contar pasajeros en los buses. Explica cómo las cámaras Luxonis OAK-D y OpenCV abarataron el acceso a esta tecnología, con ejemplos de la competencia de OpenCV (Cortic Technology, NeoCam). Describe su proyecto personal con una empresa de buses: detección más tracking sobre YOLOv5 con transfer learning, un dataset propio y el reto de montar el hardware. Discute el forecasting de la demanda, la competencia de Sonda, las ciudades inteligentes y su dilema ético, y el uso de VLM para etiquetar datos. Cierra con el mercado laboral chileno (pequeño), recursos para aprender y reflexiones sobre la ansiedad ante la IA. Conclusión central: el computer vision exige capturar bien los datos y el hardware, y sigue siendo un campo profundo y relativamente independiente de los LLM.

Capítulos

• 00:00
  IntroBienvenida al episodio 204 y presentación del tema, visión computacional con Sebastián Fuentes, a quien conocen de trabajar juntos en Globant. Un copanelista se presenta como parte del área de IA generativa y agentes en Entel.
• 01:09
  Quién es SebastiánEs ingeniero físico de la Universidad de Santiago de Chile, licenciado en física aplicada, sin formación informática pura. Pasó por varios campos antes de llegar a machine learning y computer vision.
• 01:33
  Evasión y transporte públicoSu motivación inicial fue caracterizar la evasión: mapear dónde y con qué frecuencia ocurre, no calcular pérdidas. Reflexiona sobre buses que llegan a barrios periféricos y otros que no entran a zonas conflictivas o acomodadas.
• 04:23
  De evasión a contar pasajerosLa pregunta pasó a ser cómo contar los pasajeros que transporta cada unidad. Se encontró con un programa de la Universidad Federico Santa María y el Ministerio de Transporte; la estimación se hace con la matriz origen-destino a partir de los validadores.
• 06:32
  Métodos antiguos de conteoUn sensor infrarrojo hacía doble conteo y no distinguía el sentido del movimiento. Menciona al "sapo de micro" y una solución que estimaba pasajeros por la masa.
• 08:54
  Cámaras IP y giro a visiónLo natural era reemplazar al sapo por una cámara, aunque el sistema IP de los buses no siempre está operativo. Empezó a entender el computer vision desde su formación en física teórica y láser.
• 09:42
  Descubriendo LuxonisCerca de la pandemia (2019) encontró Luxonis, con cámaras estereoscópicas que entregan profundidad. Su fundador buscaba acercar el computer vision con dispositivos de bajo precio y código abierto; el software se llama DepthAI.
• 11:40
  OpenCV y competenciaOpenCV es el paquete industrial por excelencia, sostenido por sponsors. Organizó una competencia para validar las OAK-D, en la que Sebastián quedó entre unos 50 o 100 finalistas pero fue descalificado por no alcanzar a grabar el video.
• 14:11
  Costos y hardware industrialLas cámaras Luxonis más pro cuestan cerca de un millón de pesos y la básica unos 300 mil. Las cámaras industriales alemanas (IDS) rondan los 20 a 32 millones, con estándar IP67 y resistencia a vibraciones y polvo; en Europa piden doctorado y hay más puestos de optoelectrónica que de software.
• 18:02
  Ganadores y Scratch AIEl primer lugar fue Cortic Technology (equipo Cortic Tigers), con un robot Lego y programación por bloques orientada a IA, comparable a Scratch. Destaca que las OAK pueden hacer inferencia neuronal dentro del dispositivo.
• 23:04
  NeoCam y amplificaciónEl segundo lugar monitoreaba la respiración de bebés en neonatología con amplificación de imagen, y su hardware fue visado por el Ministerio de Salud de España. Cita el caso de recuperar audio a partir de las vibraciones del vidrio de una ventana; el tercer lugar fue la navegación de una silla de ruedas.
• 28:25
  Curva de aprendizajeAprender DepthAI fue rápido gracias a la comunidad en Discord, los repositorios de ejemplos (incluido un contador de personas) y la buena documentación. Hoy los LLM aceleran aún más el aprendizaje.
• 31:14
  Caso Parkinson en TaiwánParticipó a distancia en hackatones con la Universidad Nacional de Cheng Kung. Usaron cámaras OAK-D con detección de keypoints para medir amplitud y frecuencia del movimiento de pinza en pacientes con Parkinson tratados con fármacos.
• 33:28
  Proyecto buses y SondaTrabaja con una empresa de buses y recibió la noticia de que Sonda tiene un contrato para poblar gran parte de la flota con conteo de pasajeros por cámaras. Recuerda un piloto anterior con cámaras de Iris, de más de 15 millones cada una y sin garantía.
• 36:50
  Forecasting de demandaEl objetivo final es pronosticar la demanda por recorrido y paradero para optimizar la programación de viajes. Pone como ejemplo los troncales con muchos buses esperando y poca carga, y compara con el modelo chino de una puerta de entrada y una de salida; también recuerda la propuesta de Entel para geolocalizar pasajeros.
• 40:35
  Ciudades inteligentes y éticaDebate sobre protección de datos, individualización y control de la población, con el ejemplo de China. Comenta un pedido de monitorear a conductores y las dificultades legales, además de los desafíos de multitudes en la India (tiny objects).
• 45:17
  Retos técnicos de montajeEl problema principal es cómo montar el hardware. Una cámara de gran campo de visión cubre un bus de un cuerpo, pero uno articulado requiere dos cámaras sincronizadas.
• 46:46
  Tracker e IDsSe discute si hace falta mantener el ID del pasajero entre cámaras para contar entradas y salidas.
• 47:24
  Matriz origen destinoAclara el objetivo de generar la matriz origen-destino para planificar mejor el transporte, en colaboración con una empresa de buses (STP). Lo recibe un raid de Twitch.
• 49:10
  Conteo con trackingPara contar se necesita detección más un tracker que asigne un ID y una línea virtual de cruce. No se identifica a personas, y el ID permite caracterizar el flujo por paradero y hora.
• 50:49
  Hardware en el busUsa bancos de batería externos que alimentan la cámara y una Jetson Nano que recibe la inferencia y la envía a una base de datos, para evitar intervenir el cableado del bus.
• 51:35
  Cámaras OAC y PoEMuestra una OAK-D Pro PoE con IP67 y campo de visión amplio; PoE transmite datos y energía por un cable Ethernet, pero requiere inyector y técnicos para instalar.
• 52:33
  OAC stand aloneLa OAK 4 tiene sistema operativo Linux y modo standalone, por lo que no necesita host PC. Permite programar el encendido por trigger y reduce el cableado a un solo cable; menciona la electromovilidad de los buses de STP.
• 56:38
  Datasets y permisosEn China el Estado facilita permisos para generar datasets. Él crea el suyo dentro de los buses, usa datasets abiertos chinos con marca de agua que debe limpiar y supone que Sonda tiene un modelo preentrenado en vista cenital.
• 58:12
  Transfer learning YOLOHace transfer learning de YOLOv5 con congelamiento de capas, en tres etapas: dataset del bus, datasets abiertos y datos de la USACH. La vista cenital (overhead) no está cubierta en los datasets de YOLO y bastan cientos o 1.000 imágenes nuevas.
• 01:01:03
  Data sintética y conteoQuiere probar data sintética fotorrealista con IA generativa. Complementa la detección con estimación por densidad de kernel gaussiano y la imagen de profundidad para reducir el error.
• 01:02:00
  Escalamiento y big dataEstima el costo por bus en 4 o 5 millones de pesos para una flota de más de 7.000 buses. Advierte que los IDs que se pierden alteran el conteo y que los patrones de uso cambian (estallido, pandemia, nuevas líneas de metro), lo que vuelve el forecasting un desafío de big data.
• 01:05:22
  VLM para etiquetadoLos modelos de visión y lenguaje permiten contar o etiquetar mediante prompts, y SAM de Meta acelera la segmentación. Menciona CVAT, Label Studio y Roboflow (algunas de pago) y la fusión de computer vision con modelos de lenguaje para la robótica.
• 01:10:19
  Ansiedad y ética IAComenta el "abismo" que describen investigadores en Silicon Valley y la deuda cognitiva. Pide no dejar de pensar, mantener las actividades artísticas y se interesa por las redes neuronales informadas por física.
• 01:16:12
  Mercado laboral ChileEl mercado de computer vision en Chile es muy pequeño, con ofertas como Smart Ice (control de calidad de filetes de salmón) y robótica minera. Hay más oportunidades en el extranjero, a menudo con posgrado, y en optoelectrónica.
• 01:18:57
  Recursos para aprenderUn panelista cuenta que en un bootcamp pasaba computer vision por encima. Recomiendan las clases de Domingo Mery (UC) en YouTube, como procesamiento de imágenes 2021.
• 01:21:26
  CierreInvita a explorar las cámaras OAK de Luxonis, vendidas por Mouser, y deja su correo de la USACH para colaborar. Propone otros usos, como detectar grietas en el asfalto, y destaca que la captura del dato es clave; anuncian que el próximo tema serán agentes en soluciones empresariales.

Palabras clave