E3 - AI aplicada a creación de imágenes

Resumen

En este episodio, Rodo, Cris y Mati conversan sobre las herramientas de IA que generan imágenes a partir de texto. Parten con el origen del interés de Rodo en las GAN y StyleGAN, y luego recorren en vivo Craiyon (ex DALL-E mini), DALL-E 2 de OpenAI, Stable Diffusion con Dream Studio, Lexica y Midjourney, comparando calidad, precio y apertura del código. Explican a grandes rasgos cómo funcionan estos modelos (embeddings de texto e imagen con CLIP, espacio latente, difusión) y especulan sobre la llegada de la generación de video, los modelos 3D (NeRF) y la generación de texto y código (AI21, Copilot). Concluyen que estas herramientas sirven sobre todo para inspiración, prototipos y contenido gráfico, y que para la ciencia de datos aportan sobre todo en entender los modelos y en la asistencia de código, no de forma directa.

Capítulos

• 00:00
  IntroPresentan el tema, la generación de imágenes a partir de texto con IA, y que mostrarán varias páginas en vivo. Mencionan el logo provisorio del canal y se presentan como Cris, Mati y Rodo.
• 01:00
  Stylegan, metodología GanRodo cuenta que conoció StyleGAN hace unos cuatro años (generación de caras y estilos tipo Van Gogh). Explican cómo se entrena una GAN: un generador parte desde ruido y un discriminador compara con imágenes reales (label 1 real, 0 falso), presionando al generador a producir imágenes más verosímiles. Su motivación es crear un videojuego sin saber diseñar gráficos.
• 04:18
  DALL-E 2, crayonPresentan DALL-E 2 como un salto de calidad frente a StyleGAN. Cuentan que Craiyon es gratuito y fue el que usaron para el logo; su creador replicó la estructura a partir del paper sin código, y el modelo está entrenado con menos imágenes y tiempo. Discuten aplicaciones: ilustrar blogs, prototipos y bocetos de películas o videojuegos, historietas (alguien hizo un manga con GPT-3 e imágenes), wallpapers e inspiración, como diseñar una raza de dragón en Skyrim. Comentan que DALL-E 2 no estaba disponible en Chile, que la verificación por SMS fallaba aun con VPN, y que es caro (mencionan 30 dólares mensuales).
• 13:18
  StabilityAIExplican que OpenAI nació abierta y luego se volvió más comercial, y que la competencia es Stability AI, creada por Emad, con Stable Diffusion y Dream Studio (de pago en la web, unos 10 dólares por ciertas imágenes). El modelo se puede descargar y correr gratis con una GPU; al ser abierto, la comunidad lo optimizó (cerca de 50% de mejora en ejecución) y lo hizo compatible con chips Mac M1/M2. Discuten licencias de uso comercial y posibles usos en marketing y publicidad. Prueban Craiyon con "personas tomando cerveza" y Dream Studio con un prompt realista, que genera una imagen mucho más lograda.
• 23:45
  Uncanny ValleyExplican el valle inquietante (uncanny valley): lo casi humano pero no del todo resulta perturbador, como Chucky, y por eso los estilos no realistas fallan menos. Rodo dibuja el gráfico en Paint y prueban generar una imagen parecida a Cris con una descripción de su perfil.
• 27:07
  LexicaMuestran Lexica, un buscador de imágenes generadas con Stable Diffusion junto con los prompts usados, ejemplos de prompts largos y elaborados para obtener buenos resultados.
• 28:10
  MidjourneyMidjourney funciona a través de Discord y ofrece unas 25 imágenes de prueba, luego un plan de 10 dólares por unas 200 imágenes y otro de 30 dólares ilimitado. Se preguntan si el orden de las palabras del prompt influye y cómo se interpreta la semántica.
• 34:16
  Cómo funcionan en general estos algoritmosCris, Mati y Rodo describen su trabajo como Data Scientists (árboles de decisión, Random Forest, pocas redes neuronales, reportes y priorización). Luego explican el esquema general: pares imagen-descripción de internet, un encoder (CLIP de OpenAI) que lleva texto e imagen a vectores numéricos en un espacio latente, entrenamiento para maximizar la similitud de los pares correctos y un decoder que genera la imagen. Mencionan Bag of Words, TF-IDF y Transformers como BERT como formas de vectorizar texto.
• 38:34
  Aplicación a videosHablan de la generación de video, caras sintéticas indistinguibles y voces sintéticas, y especulan que en unos cinco a diez años podría haber cortos generados por IA. Discuten si el límite está en el hardware (anuncio de NVIDIA de una GPU 2 a 4 veces más rápida) o en los algoritmos, y la ley de Moore. Mencionan NeRF para generar modelos 3D a partir de imágenes, útiles para videojuegos.
• 48:20
  AL21 y Hugging FaceMuestran un servicio de pago de generación de texto (chatbots, tweets de marketing, resúmenes, traducción, descripciones de producto, código en Python) y discuten cómo se entrenaría con código y descripciones. Siguen intentando generar la imagen de Cris sin éxito y comparan plataformas, reconociendo que la comparación es injusta porque unas son pagas y otras gratuitas.
• 56:40
  Discusión sobre utilidadComentan que el creador de Stable Diffusion quiere eliminar PowerPoint, generando presentaciones con instrucciones, y que a ellos también les molesta perder tiempo en formato. Mencionan Copilot como la aplicación más directa para programar más rápido. Concluyen que para ciencia de datos la utilidad es sobre todo entender los modelos, y explican la idea de difusión: agregar ruido a una imagen y luego invertir el proceso.
• 01:03:36
  Generación de textoPlantean usos de la generación de texto (blog posts, historias) y de convertir imágenes a texto y voz para personas ciegas o para escuchar papers mientras se hace otra actividad. Prueban un chatbot que responde en chileno y comentan su coherencia.
• 01:12:30
  ConclusionesResumen: hay muchas herramientas para imágenes útiles como inspiración, no directamente para Data Science. El video podría llegar en una década o dos, y la generación de texto y código es muy útil para programar. Invitan a unirse a Discord y a la página web para las notificaciones.

Palabras clave