Modelos de difusión

Los modelos de difusión permiten a los modelos de aprendizaje automático (ML) crear y mejorar imágenes y vídeos. Las indicaciones basadas en texto impulsan la creación de imágenes para proporcionar información sobre el encuadre, el tema y el estilo requeridos.

Los modelos de difusión funcionan aprendiendo a partir de conjuntos de datos de entrenamiento y descartándolos después del entrenamiento. También añaden ruido a una imagen de forma reversible, aprenden a eliminar el ruido de la imagen y aplican lo aprendido por el modelo para crear imágenes completamente nuevas. Las herramientas de imagen Generative Pre-trained Transformer (GPT), como Dall-E2 y Microsoft Designer, utilizan modelos de difusión.

¿Por qué son importantes los modelos de difusión?

Los modelos de difusión han proporcionado un enfoque innovador y eficaz para la creación de imágenes que se considera superior a los enfoques alternativos para crear imágenes de alta calidad, incluidas las redes generativas adversariales (GAN), los autocodificadores variacionales (VAE) y los modelos basados en el flujo. A diferencia de las GAN, los modelos de difusión suavizan las distribuciones, lo que hace que los modelos de difusión tengan más diversidad en las imágenes. Esto significa que el modèle de diffusion puede proporcionar múltiples variaciones de una imagen en comparación con los enfoques más antiguos de generación de imágenes y reducción de ruido. Los modelos de difusión están en pañales, pero ya están demostrando su superioridad frente a los enfoques tradicionales.

Desarrollar y perfeccionar los estímulos

El componente marco de la consulta especifica el estilo requerido de la salida deseada. Algunos ejemplos de marcos son un dibujo, una fotografía o una pintura al óleo.

El marco se combina con un tema que puede ser algo con muchas imágenes de Internet disponibles de las que aprender. Por ejemplo, si te dedicas a la hostelería, puedes elegir como tema las propiedades de tu hotel porque tu objetivo es crear imágenes abstractas para promociones y folletos.

El encuadre y el sujeto especificados pueden tener un estilo, que podría especificarse como un estilo artístico o de iluminación de mal humor, soleado, surrealista o abstracto.

Personalización de imágenes

Las imágenes generadas pueden tener recortes para permitir la colocación de contenido adicional. El pintado puede sustituir elementos de la imagen, como la selección de un estilo de ropa, nubes en el cielo o la pose de una persona.

Outpainting se refiere a la capacidad de crear un contexto para el sujeto que se está generando. Por ejemplo, puede que desee situar el sujeto en una habitación determinada o en el entorno de un parque.

Aplicaciones de los modelos de difusión

Las aplicaciones de los modelos de difusión serán cada vez más habituales gracias a productos de empresas como Microsoft y OpenAI, que están integrando los modelos en sus plataformas. Estos son los casos de uso que permiten los modelos de difusión:

• Los modelos de difusión transformarán el diseño de productos al permitir a los diseñadores ver los diseños desde múltiples ángulos, aplicar perspectivas y crear renders 3D que pueden utilizarse para imprimir modelos 3D.
• Los profesionales del marketing pueden utilizar texto para describir qué imágenes les gustaría asociar al contenido y hacer que se rendericen en lugar de pagar por una foto de archivo de compromiso, como se suele hacer hoy en día.
• Los minoristas en línea pueden mostrar los productos en diferentes configuraciones y colores.
• Gracias a los renders modèle de diffusion, los configuradores en línea pueden crear imágenes de alta resolución de productos como coches que incluyen características personalizadas y visualizarlas en distintos escenarios.

Retos de los modelos de difusión

Los modelos de difusión son aún nuevos y evolucionan rápidamente. Las limitaciones incluyen:

• Los rostros pueden distorsionarse cuando en una imagen aparecen más de dos personas.
• El texto de una imagen puede distorsionarse.
• Los modelos de difusión funcionan mejor cuando el resultado es similar a los datos de entrenamiento.
• Los modelos de difusión requieren enormes recursos de servidor que pueden resultar caros en entornos de nube con un uso medido de la unidad central de procesamientoprocesseur), la unidad de procesamiento gráfico (GPU) y la unidad de procesamiento tensorial (TPU). Productos como DreamStudio de Stability AI son de código abierto con una versión descargable que puede ejecutarse utilizando hardware interne para evitar costes de uso medido.
• La generación de imágenes es compleja, lo que hace que el proceso sea difícil de optimizar sin utilizar muchos datos de entrenamiento etiquetados adicionales. A menudo, las indicaciones se malinterpretan y se obtienen resultados inesperados.
• La generación basada en la IA es susceptible de sesgo, al igual que los formadores humanos. Hay que tener cuidado de limitar los modelos para que funcionen dentro de unas normas sociales y éticas aceptables.

Pruebe Actian Data Platform

Actian Data Platform proporciona una experiencia unificada para la ingesta, transformación, análisis y almacenamiento de datos. Actian Data Platform abarca varias nubes públicas y puede autogestionarse sur site. La tecnología de integración de datos incorporada permite a los clientes cargar sus datos fácilmente para obtener rápidamente información fiable.

Actian Data Platform proporciona un rendimiento de consulta ultrarrápido, incluso para cargas de trabajo complejas, sin necesidad de ajuste. Esto se debe a una arquitectura altamente escalable que utiliza stockage en colonnes con procesamiento vectorial para un paralelismo sin igual para el procesamiento de consultas.