La proliferación de modelos de video de IA generativa, junto con los nuevos workflows que estos modelos han introducido, ha acelerado significativamente la eficiencia de la producción y ha elevado la calidad de salida en las industrias de tecnología creativa y de marketing.
GliaCloud, una startup de IA con sede en Taipei en el programa NVIDIA Inception centrado en la creación de contenido autónomo para especialistas en marketing, ha abierto recientemente el código abierto Omniverse-ComfyUI Bridge. Esta plantilla de extensión conecta los datos visuales renderizados en NVIDIA Omniverse, incluidas las imágenes RGB, los mapas normales, los mapas de profundidad, la segmentación de ID de instancia y la segmentación semántica, con ComfyUI para mejorar los workflows de procesamiento de imágenes de IA.
Vídeo 1. Guía del workflow del puente Omniverse-ComfyUI. Crédito: GliaCloud
Canalización de Generación de Video a Video con Bibliotecas NVIDIA Omniverse
La idea del Omniverse-ComfyUI Bridge surgió por primera vez de la experiencia del equipo de GliaCloud en la experimentación con varios modelos de IA generativa de video a video (v2v) en ComfyUI. Reconocieron la creciente demanda de datos visuales detallados, como mapas de profundidad y resultados de segmentación, en los workflows actuales de IA generativa.
«Vemos un potencial significativo en los workflows híbridos que conectan aplicaciones avanzadas habilitadas para IA física creadas con NVIDIA Omniverse con modelos de video generativo», dijo David Chen, CEO y cofundador de GliaCloud. «La granularidad de los controles creativos disponibles a través de la plataforma Omniverse y los modelos de IA generativa es un caso convincente para los requisitos de marketing emergentes, proporcionando niveles sin precedentes de pulido visual y escalabilidad en el contenido generado».
Vídeo 2. El workflow de 3D a IA general. Crédito: GliaCloud
Dentro de los experimentos internos, el equipo de GliaCloud ha observado mejoras notables en el refinamiento y el control de objetos de las salidas generadas al aprovechar diferentes datos renderizados desde Omniverse RTX Renderer como entradas de modelos v2v.
Esto fue posible gracias al marco NVIDIA Omniverse Replicator, que mejoró en gran medida los resultados generales de una variedad de modelos de generación de video de código abierto al permitir la creación de máscaras dinámicas basadas en entradas de segmentación. Los modelos v2v ahora pueden iterar a través de múltiples pasadas a una sola entrada con solicitudes separadas reservadas para regiones dedicadas, lo que da como resultado controles de estilo basados en objetos.
Omniverse-ComfyUI Bridge para Iteraciones Más Rápidas y Precisas
El puente Omniverse-ComfyUI está diseñado específicamente para brindar flexibilidad, escalabilidad y facilidad de integración en workflows personalizados de ComfyUI. Su arquitectura liviana garantiza una adopción perfecta sin una sobrecarga sustancial de recursos, lo que permite a los usuarios escalar sus workflows de manera efectiva de acuerdo con requisitos específicos.
Las funcionalidades principales del puente Omniverse-ComfyUI incluyen:
- Capturas de uno o varios fotogramas: captura de fotogramas individuales para ediciones precisas o secuencias de animaciones y contenido visual dinámico.
- Integración de nodos personalizados para ComfyUI: transmisión directa de datos de Omniverse RTX Renderer en nodos ComfyUI personalizados, lo que facilita configuraciones de workflow sencillas y eficientes.
- Procesamiento de datos en tiempo real: Retroalimentación visual inmediata para una experimentación más rápida, lo que reduce significativamente el tiempo de iteración y, por lo tanto, mejora la productividad.
Se prevé que las futuras iteraciones del puente Omniverse-ComfyUI incluyan más mejoras, como controles de animación avanzados, integración con modelos de estimación de poses humanas y funciones adicionales para la detección de bordes. Estos desarrollos están preparados para ofrecer un control, precisión y libertad creativa aún mayores en los workflows visuales impulsados por IA.
A medida que la IA generativa continúa evolucionando, la importancia de los flujos de datos precisos y de alta calidad como los proporcionados por Omniverse-ComfyUI Bridge será cada vez más crítica. En el futuro, el equipo de GliaCloud anticipa un aumento drástico en la velocidad de las iteraciones en las estructuras de workflow, ya que la comunidad desarrolla simultáneamente modelos más nuevos y adapta su workflow en consecuencia.
Comenzar
Con el puente Omniverse-ComfyUI de código abierto de GliaCloud, ahora puede traer el suyo propio Abrir USD e integrarlo en cualquier workflow v2v con nodos ComfyUI. Con las capacidades de renderizado fotorrealista de Omniverse y las ventajas de la interfaz de usuario modular ComfyUI, puede experimentar con canalizaciones personalizadas, de forma rápida y precisa.
GliaCloud se compromete a abrazar y contribuir a la comunidad de código abierto, construyendo hacia una creatividad democratizada.
Manténgase actualizado suscribiéndose a Noticias de NVIDIA y siguiendo NVIDIA Omniverse en Discordia y YouTube.
- Visita nuestro Página para desarrolladores de Omniverse para obtener todos los elementos esenciales que necesita para comenzar.
- Acceda a una colección de Recursos de OpenUSD, incluido el nuevo Aprende OpenUSD plan de estudios de capacitación.
- Sintoniza las próximas Transmisiones en vivo de OpenUSD Insiders y conéctese con la Comunidad de desarrolladores de NVIDIA.
Comience con Kits de inicio para desarrolladores para desarrollar y mejorar rápidamente sus propias aplicaciones y servicios.