UD5: Redes GAN y Stable Diffusion

Tema 1: Introducción a las Redes Generativas

¿Qué son las redes generativas?

Las redes generativas son una clase de modelos de inteligencia artificial diseñados para aprender la distribución subyacente de un conjunto de datos y, posteriormente, generar nuevos ejemplos que sigan esa misma distribución. En otras palabras, son modelos capaces de crear contenido nuevo que parece similar a los datos en los que fueron entrenados.

Este enfoque contrasta con los modelos discriminativos, que se enfocan en clasificar o predecir etiquetas a partir de los datos. Un modelo generativo busca entender los patrones intrínsecos de los datos, como las relaciones entre píxeles en una imagen o las correlaciones entre palabras en un texto.

Una vez que estos patrones son capturados, el modelo puede generar contenido único: desde imágenes y música hasta textos y videos. Por ejemplo, un modelo generativo entrenado en un conjunto de datos de rostros humanos puede producir imágenes de caras que parecen reales, pero que no corresponden a personas existentes.

Impacto y desafíos

El avance en las redes generativas ha tenido un impacto significativo en:

• Creatividad artística: generación de obras visuales, musicales y textuales originales.
• Generación de datos sintéticos: para entrenar otros modelos cuando los datos reales son escasos o costosos.
• Mejora de sistemas de recomendación: modelando mejor las preferencias de los usuarios.

Sin embargo, también plantea desafíos relacionados con la ética y el uso indebido, como la creación de contenidos falsos (deepfakes), que pueden manipular la percepción de la realidad.

Historia y evolución de las redes generativas

El desarrollo de las redes generativas se remonta a los inicios del aprendizaje automático, cuando los investigadores comenzaron a explorar cómo los modelos podrían no solo clasificar datos, sino también generarlos.

• Años 90 — HMM y Redes Bayesianas: Los Modelos Ocultos de Markov (HMM) y las Redes Bayesianas permitieron avances en tareas como el reconocimiento de voz. Sin embargo, tenían limitaciones significativas en la capacidad de generar datos complejos y de alta dimensionalidad.
• 2014 — GAN (Ian Goodfellow): El verdadero punto de inflexión. Introdujo un paradigma innovador: dos redes neuronales (un generador y un discriminador) que compiten entre sí en un proceso de entrenamiento adversarial. Mientras el generador intenta crear datos que engañen al discriminador, este último busca identificar si los datos son reales o sintéticos. Revolucionó el campo al permitir la generación de datos realistas en síntesis de imágenes, videos y audio.
• Post-2014 — Variantes GAN: StyleGAN y CycleGAN mejoraron la calidad y la versatilidad de los datos generados.
• VAE (Variational Autoencoders): Otro enfoque generativo que aprende un espacio latente continuo y estructurado.
• Modelos de Difusión (actualidad): Han ganado popularidad reciente por su capacidad de generar datos con un nivel de detalle y control sin precedentes, como se observa en modelos como Stable Diffusion. Son menos propensos a inestabilidades que las GAN.

Hoy en día, las redes generativas están en el centro de avances clave en inteligencia artificial, allanando el camino para nuevas aplicaciones en diseño, entretenimiento, salud y más.

Tema 2: GAN (Generative Adversarial Networks)

Fundamentos de las GAN

Las GAN consisten en dos redes neuronales que se entrenan simultáneamente en un proceso adversarial:

• Generador (G): Toma como entrada un vector de ruido aleatorio del espacio latente (z ~ N(0,1)) y genera datos sintéticos (e.g., imágenes). Su objetivo: engañar al discriminador.
• Discriminador (D): Clasifica si una muestra es real (del dataset) o falsa (generada por G). Su objetivo: distinguir correctamente entre reales y falsas.

Pérdida minimax

El entrenamiento se formula como un juego minimax:

El discriminador maximiza la probabilidad de clasificar correctamente. El generador minimiza la probabilidad de que el discriminador detecte sus falsificaciones. El equilibrio teórico es el Equilibrio de Nash.

Espacio latente

El espacio latente es la representación comprimida de los datos donde opera el generador. Puntos cercanos en el espacio latente corresponden a muestras similares. Es posible hacer aritmética semántica: "cara con gafas" - "cara sin gafas" + "cara hombre" = "cara hombre con gafas".

Variantes de GAN

• DCGAN (Deep Convolutional GAN, 2015): Primera GAN estable usando capas convolucionales transpuestas. Sentó las bases de las GAN modernas.
• CycleGAN (2017): Traducción imagen-a-imagen sin pares. Usa dos GANs con pérdidas de ciclo-consistencia para mantener coherencia.
• StyleGAN/StyleGAN2 (2019-2020): Genera imágenes con control estilístico a múltiples escalas. Introduce AdaIN (Adaptive Instance Normalization). Produce imágenes ultrarrealistas de 1024×1024.
• BigGAN (2018 - DeepMind): GAN a gran escala entrenada en ImageNet. Genera imágenes de alta calidad con condicionamiento de clase.
• Progressive GAN (2018): Empieza con resoluciones bajas (4×4) y las aumenta progresivamente durante el entrenamiento.
• cGAN (Conditional GAN): El generador y discriminador reciben información adicional (etiqueta de clase). Permite generar imágenes de categorías específicas.
• Pix2Pix: GAN supervisada para traducción imagen-imagen con pares de entrenamiento (e.g., boceto → foto, mapa → satélite).

Desafíos en el entrenamiento de GANs

• Mode collapse (colapso de modos): El generador aprende a producir solo un subconjunto limitado de muestras (e.g., siempre la misma cara). Soluciones: Mini-batch discrimination, Wasserstein GAN, técnicas de regularización.
• Inestabilidad en el entrenamiento: El equilibrio entre G y D es difícil de mantener. Si D es demasiado fuerte, G no aprende; si es demasiado débil, G no mejora.
• Sensibilidad a hiperparámetros: Tasa de aprendizaje, arquitectura, batch size afectan enormemente la estabilidad. Se requiere ajuste fino cuidadoso.
• Problemas de convergencia: No existe una función de pérdida que indique claramente cuando el entrenamiento ha convergido.
• Coste computacional: Entrenar GANs de alta calidad requiere días o semanas en múltiples GPUs.
• Equilibrio G-D: Si el discriminador mejora demasiado rápido, el generador recibe gradientes no informativos (problema del gradiente desvaneciente).

Aplicaciones de las GANs

• Generación de imágenes realistas: Caras, paisajes, objetos que no existen en la realidad.
• Traducción entre estilos: Foto → pintura artística, día → noche, verano → invierno.
• Generación de datos sintéticos: Para aumentar datasets de entrenamiento cuando los datos reales son escasos o costosos.
• Super-resolución (SRGAN): Aumentar la resolución de imágenes de baja calidad.
• Síntesis de video y audio: Generación de video realista, clonación de voz.
• Detección de anomalías: El discriminador puede detectar muestras atípicas.
• Deepfakes: Sustitución de caras en video. Aplicación controvertida con implicaciones éticas serias.
• Diseño y moda: Generación de nuevos diseños de ropa, muebles, arquitectura.
• Realidad virtual: Generación de entornos y avatares sintéticos.

Tema 2: Stable Diffusion

5.1 Introducción a los modelos de difusión

Los modelos de difusión representan una clase emergente de modelos generativos que han demostrado capacidades sobresalientes en la síntesis de datos, especialmente en la generación de imágenes. A diferencia de las GAN, emplean un enfoque basado en procesos probabilísticos iterativos para modelar y generar datos.

El principio subyacente se centra en un proceso de dos fases:

1. Primera fase — añadir ruido progresivamente: Los datos reales (como una imagen) son perturbados repetidamente con ruido gaussiano hasta que se convierten en ruido puro.
2. Segunda fase — proceso inverso: Un modelo entrenado en redes neuronales profundas aprende a revertir este proceso de ruidización paso a paso, eliminando progresivamente el ruido para generar nuevos datos sintéticos.

Ventajas frente a las GAN

Una de las principales ventajas de los modelos de difusión es su capacidad para generar datos altamente realistas y diversificados sin sufrir los problemas comunes en otras arquitecturas, como los modos colapsados de las GAN. Además, su formulación probabilística proporciona un marco teórico sólido.

En comparación con las GAN, los modelos de difusión presentan un enfoque más estable durante el entrenamiento, ya que no dependen de un equilibrio adversarial entre dos redes. Esto los hace menos propensos a inestabilidades y permite un entrenamiento más robusto en una amplia variedad de aplicaciones.

Entre estos modelos, Stable Diffusion se ha destacado como un modelo líder debido a su capacidad para combinar precisión, control y escalabilidad en la generación de contenido visual.

5.2 Fundamentos de modelos de difusión

El modelo Stable Diffusion es una implementación sobresaliente dentro de los modelos de difusión, diseñado para generar imágenes de alta calidad mediante un enfoque probabilístico iterativo. Destaca por combinar eficiencia computacional, flexibilidad y precisión en la síntesis de datos, gracias a los siguientes 5 fundamentos clave:

1. Proceso de ruido progresivo y eliminación controlada

   En el núcleo de Stable Diffusion se encuentra un procedimiento iterativo que añade ruido gaussiano de forma progresiva a los datos originales hasta convertirlos en ruido puro. Posteriormente, el modelo invierte este proceso de manera controlada, eliminando el ruido paso a paso para reconstruir los datos originales o generar nuevos ejemplos sintéticos. Este enfoque permite al modelo capturar distribuciones complejas de datos, generando imágenes con un alto grado de realismo.

2. Uso de un espacio latente comprimido

   A diferencia de otros modelos que operan directamente sobre datos de alta dimensionalidad, Stable Diffusion transforma los datos originales a un espacio latente comprimido antes de realizar el proceso de difusión. Esto reduce significativamente los requisitos computacionales sin comprometer la calidad del resultado, haciendo que el modelo sea más eficiente y escalable.

3. Arquitectura U-Net adaptada

   El modelo emplea una arquitectura U-Net modificada, que combina características de diferentes niveles de resolución durante el proceso de generación. Esto permite capturar tanto detalles finos como patrones globales en las imágenes, mejorando la coherencia visual y la calidad de los resultados generados.

4. Integración de embeddings de texto

   Una de las innovaciones clave de Stable Diffusion es su capacidad para generar imágenes a partir de descripciones textuales. Mediante el uso de modelos de lenguaje preentrenados, como CLIP, el texto se transforma en embeddings que representan características semánticas latentes. Estos embeddings guían el proceso de generación, permitiendo al modelo producir imágenes que reflejan con precisión las descripciones proporcionadas.

5. Flexibilidad en la personalización

   El diseño modular de Stable Diffusion permite ajustar parámetros clave del modelo, como el nivel de detalle deseado o el estilo visual. Esta flexibilidad facilita la adaptación del modelo a diversas aplicaciones, desde arte generativo hasta tareas científicas.

Aplicaciones de Stable Diffusion

• Arte generativo: Creación de obras artísticas únicas con prompts textuales.
• Prototipado de diseño: Generación rápida de conceptos visuales para productos, publicidad, videojuegos.
• Multimedia y entretenimiento: Ilustración de libros, concept art, producción cinematográfica.
• Educación: Generación de material visual educativo personalizado.
• Investigación: Generación de datos sintéticos para entrenamiento.
• E-commerce: Visualización de productos en diferentes contextos sin sesiones fotográficas.
• Edición de imágenes: Retoque fotográfico asistido, corrección y mejora.
• Accesibilidad: Generación de imágenes desde descripciones para personas con discapacidad visual.

5.4 Stable Diffusion y DALL-E

Qué es DALL-E

DALL-E es un modelo generativo desarrollado por OpenAI que utiliza arquitecturas de transformadores para generar imágenes a partir de descripciones textuales. Se distingue por su capacidad de comprender relaciones complejas entre palabras y conceptos, lo que le permite producir imágenes que combinan elementos visuales de manera creativa e inesperada.

Su nombre está inspirado en el artista Salvador Dalí y el robot WALL-E, reflejando su enfoque en la creatividad y la originalidad. Ha demostrado ser especialmente útil en la creación de composiciones abstractas y visualizaciones innovadoras que van más allá de lo que tradicionalmente se espera de un modelo generativo.

Diferencia arquitectónica fundamental

Stable Diffusion y DALL-E representan dos enfoques avanzados en la generación de contenido visual, pero lo hacen de formas notablemente diferentes:

• Stable Diffusion: basa su funcionamiento en modelos de difusión — proceso iterativo para añadir y eliminar ruido en un espacio latente comprimido.
• DALL-E: se apoya en arquitecturas de transformadores para relacionar directamente las palabras con los píxeles de las imágenes generadas, operando en alta dimensionalidad.

Comparativa detallada

Otros modelos destacados en el ecosistema

Además de Stable Diffusion y DALL-E, han emergido otros modelos generativos relevantes:

• Imagen (Google): Utiliza técnicas similares a las de DALL-E, pero con un enfoque aún más avanzado en la calidad y coherencia de las imágenes generadas.
• MidJourney: Muy popular en la creación de arte digital. Se posiciona como una herramienta accesible para creadores, centrada en producir obras artísticas estilizadas y llamativas. Interfaz a través de Discord.

La aparición de estos modelos refleja la diversidad y la competencia en el ámbito de la generación de imágenes, ofreciendo a los usuarios una variedad de opciones según sus necesidades específicas.

Conclusión del PDF

Las GAN y los modelos de difusión como Stable Diffusion son fundamentales en la generación de contenido visual, adaptándose a diferentes necesidades. Las GAN destacan en producir imágenes realistas mediante la interacción adversarial, mientras que Stable Diffusion emplea un enfoque iterativo eficiente y preciso, con gran capacidad de personalización. Gracias a su código abierto, Stable Diffusion fomenta la experimentación, mientras que DALL-E sobresale en la creación de composiciones abstractas desde texto.