Nota del editor: Este post forma parte de la serie con IA Descodificada, que desmitifica la IA haciendo que la tecnología sea más accesible y presentando nuevo hardware, software, herramientas y aceleraciones para usuarios de PC RTX.
Los generadores de contenidos -que se dedican a producir lenguaje, imágenes 2D, modelos 3D o vídeos- están proporcionando a la comunidad creativa herramientas que dan vida a las visiones con mayor rapidez.
Para ayudar a los desarrolladores a crear estas nuevas herramientas de IA generativa, NVIDIA ha creado NVIDIA AI Foundry. Esta herramienta ayuda a las empresas a entrenar modelos de IA generativa a partir de sus propios datos bajo licencia utilizando NVIDIA Edify, una arquitectura de IA multimodal que puede utilizar sencillas instrucciones de texto para generar imágenes, vídeos, activos 3D, imágenes de alto rango dinámico de 360 grados y materiales de renderizado basado en la física (PBR). Con AI Foundry, las empresas pueden entrenar modelos de IA a medida para generar cualquiera de estos activos.
Entre los elementos clave de Edify figuran su capacidad para generar múltiples tipos de contenidos, su eficacia superior de entrenamiento, que le permite producir contenidos de alta calidad entrenados con menos imágenes, y su capacidad de afinar los modelos para ajustar estilos o aprender caracteres u objetos.
Uno de los mejores ejemplos de servicios basados en NVIDIA AI Foundry y Edify es IA Generativa de Getty Images, un servicio de fotografía generativa comercialmente seguro. La combinación de AI Foundry y Edify permite a los usuarios controlar sus conjuntos de datos de entrenamiento, por lo que pueden crear modelos que se adapten a sus necesidades.
Para evitar problemas de derechos de autor, Getty Images utilizó Edify para entrenar el servicio con sus propios contenidos bajo licencia, asegurándose de que no hay personajes o productos famosos en el conjunto de datos. La empresa también comparte parte de los beneficios con los colaboradores, lo que supone una nueva fuente de ingresos para los creadores que contribuyen al modelo.
Generación de activos con Edify
Edify puede entrenarse para generar diversos tipos de imágenes, como imágenes, activos 3D y mapas de entorno HDRi de 360 grados.
Edify Image puede generar cuatro imágenes 1K de alta calidad en unos seis segundos, duplicando el rendimiento del modelo anterior. Las imágenes también pueden convertirse a 4K con un escalador generativo que incorpora detalles adicionales.
Las imágenes son muy controlables gracias a la adherencia puntual avanzada, los controles de cámara para especificar la distancia focal o la profundidad de campo, los ControlNets para guiar la generación. Los ControlNets incluyen Sketch, que permite a los usuarios proporcionar un boceto para seguir o copiar la composición de una imagen, y Depth, para copiar la composición de una imagen.
Las imágenes también pueden editarse con Edify Image. InPaint permite a los usuarios añadir o modificar el contenido de una imagen. Reemplazar – un InPaint estricto – puede cambiar detalles como la ropa. Y OutPaint puede ampliar una imagen para adaptarla a diferentes relaciones de aspecto. Y todo esto se simplifica con Segmentar, una función que puede enmascarar objetos con sólo una indicación de texto.
Edify también puede crear mallas 3D listas para el artista. Las mallas vienen con una topología limpia basada en quads, hasta 4K materiales PBR y mapeado UV automático para facilitar la edición de texturas. Un rápido modo de previsualización proporciona resultados en tan solo 10 segundos, que luego pueden convertirse en una malla 3D completa.
Las mallas son perfectas para crear prototipos de escenas, generar objetos de fondo para la decoración de decorados o como punto de partida para esculpir en 3D.
Edify 360 HDRi genera mapas de entorno de paisajes naturales que pueden utilizarse para iluminar una escena, para reflejos e incluso como fondo. El modelo puede generar hasta 16K imágenes HDRi a partir de indicaciones de texto o imágenes. Con una placa de fondo deseada en la mano, los usuarios pueden crear un HDRi personalizado a juego en lugar de pasar horas buscando uno.
La capacidad multimodal de Edify es única, ya que permite flujos de trabajo avanzados que combinan distintos tipos de activos. Por ejemplo, si se utiliza junto con un agente, Edify permite a los usuarios crear un prototipo de una escena completa en un par de minutos con una simple instrucción de texto, como en la demostración de NVIDIA Research en SIGGRAPH, en la que se mostraron las capacidades de creación de mundos 3D asistidos de los modelos basados en NVIDIA Edify y la plataforma NVIDIA Omniverse.
Otro caso de uso es combinar Edify 3D y 360 HDRi con Image para dar a los usuarios un control total de la generación de imágenes. Al generar la escena en 3D, los artistas pueden mover objetos alrededor y encuadrar su toma deseada – y luego usar Edify Image para convertir el prototipo en una imagen fotorrealista.
IA Generativa por Getty Images
Getty Images es uno de los mayores proveedores de servicios y contenidos visuales creativos, fotografía editorial, vídeo y música, y uno de los primeros lugares a los que acude la gente para descubrir, comprar y compartir contenidos visuales impactantes de los mejores fotógrafos y videógrafos del mundo.
Getty Images ha utilizado NVIDIA AI Foundry para entrenar un modelo de imagen de NVIDIA Edify con el fin de potenciar su servicio de IA generativa. Disponible a través de IA Generativa de Getty Images, para empresas y IA Generativa de iStock para pequeñas empresas y creadores aficionados, el servicio permite a los usuarios generar y modificar imágenes utilizando modelos basados en NVIDIA Edify.
Getty Images y iStock han actualizado recientemente a la última versión de Edify Image, permitiendo generaciones más rápidas y una mayor adherencia puntual y exponiendo los Controles de Cámara.
Ahora, los usuarios también pueden utilizar las herramientas de IA generativa en contenidos creativos ya capturados, lo que les permite editar y modificar la biblioteca de imágenes de iStock para iterar y perfeccionar rápidamente los contenidos. Estas mismas funciones estarán pronto disponibles en Gettyimages.com.
Prueba la IA Generativa de Getty Images en ai.nvidia.com.
La IA generativa está transformando los juegos, las videoconferencias y las experiencias interactivas de todo tipo. Entérate de las novedades y lo que está por venir suscribiéndote al boletín IA Decodificada.