Moment Factory es un estudio global de entretenimiento multimedia que combina especializaciones en video, iluminación, arquitectura, sonido, software e interactividad para crear experiencias inmersivas para audiencias de todo el mundo.
Desde presentaciones en vivo y espectáculos multimedia hasta instalaciones interactivas, Moment Factory es conocida por algunas de las experiencias más impresionantes y entretenidas que unen a las personas en el mundo real. Estos incluyen imágenes deslumbrantes en la gira mundial Happier Than Ever de Billie Eilish, Lumina Night Walks en sitios naturales de todo el mundo y creación de lugares digitales en AT&T Discovery District.
Con un equipo de más de 400 profesionales y oficinas en Montreal, Tokio, París, Nueva York y Singapur, Moment Factory se ha convertido en un líder mundial en la industria del entretenimiento.
Optimización del Desarrollo de Experiencias Inmersivas con OpenUSD
Dar vida a estas experiencias requiere grandes equipos de expertos altamente capacitados con diversas especialidades, todos utilizando herramientas únicas. Para lograr una eficiencia óptima en sus procesos de producción altamente complejos, Moment Factory buscó implementar un formato de datos abiertos interoperable y una plataforma de desarrollo que pudiera integrar perfectamente todos los aspectos, desde el concepto hasta la operación.
Moment Factory eligió Universal Scene Description, también conocido como OpenUSD, como solución. OpenUSD es un framework y ecosistema extensible para describir, componer, simular y colaborar dentro de mundos 3D. NVIDIA Omniverse es una plataforma de software que permite a los equipos desarrollar aplicaciones y workflows 3D basados en OpenUSD. Proporciona el entorno unificado para visualizar y colaborar en gemelos digitales en tiempo real con conexiones en vivo a las herramientas de Moment Factory.
El uso de OpenUSD con Omniverse permite a Moment Factory unificar datos de sus diversas herramientas de creación de contenido digital (DCC) para formar un gemelo digital de un entorno del mundo real. Cada miembro del equipo puede interactuar con este gemelo digital e iterar en su aspecto del proyecto sin afectar otros elementos.
Por ejemplo, un escenógrafo puede trabajar en un decorado base y piezas de escena únicas utilizando Vectorworks, un software de diseño 3D. Al mismo tiempo, en la misma escena, un diseñador de iluminación y AV (audio visual) puede encargarse de la iluminación y los proyectores con el sistema operativo de entretenimiento en vivo patentado de Moment Factory y el software de mapeo de proyección virtual, X-Agora.
Al mismo tiempo, los artistas y diseñadores pueden renderizar y crear imágenes llamativas en la escena utilizando herramientas como Epic Games Unreal Engine, Blender y Adobe Photoshop, sin afectar las capas del proyecto que aún están en progreso.
«USD es único porque puede fragmentarse en partes más pequeñas que permiten a las personas trabajar en sus propias partes únicas de un proyecto mientras permanecen conectadas», dijo Arnaud Grosjean, arquitecto de soluciones y líder de proyecto del equipo de innovación de Moment Factory. «Su flexibilidad e interoperabilidad nos permiten crear potentes pipelines 3D personalizadas».
Los Gemelos Digitales Simulan Experiencias del Mundo Real
Para simular eventos inmersivos antes de implementarlos en el mundo real, Moment Factory está desarrollando gemelos digitales de sus instalaciones en NVIDIA Omniverse. Omniverse, una plataforma de computación que permite a los equipos desarrollar aplicaciones y workflows 3D basados en OpenUSD, proporciona el entorno unificado para visualizar y colaborar en gemelos digitales en tiempo real con conexiones en vivo a herramientas DCC.
El primer gemelo digital que crearon es el de Blackbox, que sirve como un espacio de experimentación y creación de prototipos donde pueden obtener una vista previa de fragmentos de experiencias inmersivas antes de su implementación en el mundo real. Es un espacio crítico para casi todas las fases del ciclo de vida del proyecto, desde la concepción y el diseño hasta la integración y operación.
Para construir el gemelo digital de Blackbox, Moment Factory utilizó USD Composer, una aplicación básica totalmente personalizable basada en NVIDIA Omniverse.
La réplica virtual de la instalación permite al equipo ejecutar innumerables iteraciones en el proyecto para probar varios factores. También pueden vender mejor conceptos de experiencias inmersivas a clientes potenciales, quienes pueden ver el programa antes de la producción en vivo en un entorno virtual.
Uno de los desafíos clave en el proceso de construcción de experiencias inmersivas a gran escala es llegar a un consenso entre las distintas partes interesadas y gestionar los cambios.
«Cada uno tiene su propia idea de cómo se debe estructurar una escena, por lo que necesitábamos una forma de alinear a todos los que contribuyen al proyecto en un entorno unificado y dinámico», explicó Grosjean. «Con el gemelo digital, las ideas potenciales se pueden probar y simular con las partes interesadas en todas las áreas de especialización».
Mientras los dibujantes de CAD, los diseñadores audiovisuales, los diseñadores interactivos y otros contribuyen al gemelo digital de Blackbox, los artistas y diseñadores 2D/3D pueden renderizar y experimentar con hermosas tomas de la experiencia inmersiva en acción.
Desarrollo de Conectores y Extensiones Omniverse
Moment Factory crea y prueba continuamente extensiones para Omniverse para incorporar nuevas funcionalidades y posibilidades a sus gemelos digitales.
Desarrollaron un conector Omniverse para X-Agora, su software patentado de múltiples pantallas que le permite diseñar, planificar y operar espectáculos. El software ahora tiene una implementación funcional de una conexión Nucleus, importación/exportación de USD y una implementación temprana del modo en vivo.
La proyección de vídeo es un elemento clave de los eventos inmersivos. El equipo a menudo experimentará mapeando y proyectando contenido visual sobre superficies arquitectónicas, elementos escénicos y, a veces, incluso objetos en movimiento, transformando espacios estáticos en entornos dinámicos y cautivadores.
NDI, que significa Network Design Interface, es un popular protocolo de video IP desarrollado por NewTek que permite una producción y transmisión eficiente de video en vivo a través de dispositivos y sistemas interconectados. En sus experiencias inmersivas, Moment Factory normalmente conecta un sistema multimedia a proyectores físicos mediante cables de vídeo. Con NDI, pueden replicar esta conexión dentro de un lugar virtual, simulando efectivamente toda la experiencia digitalmente.
Para permitir una conectividad perfecta entre Omniverse RTX Renderer y su contenido creativo, Moment Factory desarrolló una extensión NDI para Omniverse. La extensión admite más que solo proyección de video y permite al equipo simular paredes, pantallas y campos de píxeles LED para reflejar su configuración del mundo real en el gemelo digital.
La extensión, que fue desarrollada con Omniverse Kit, también permite a los usuarios utilizar transmisiones de video como texturas dinámicas. Los desarrolladores de Moment Factory utilizaron el kit-cv-video-example y el kit-dynamic texture-example para desarrollar la extensión.
Cualquiera puede acceder y utilizar la extensión Omniverse-NDI de Moment Factory en GitHub e instalarla en Omniverse Launcher o iniciarla con:
$ ./link_app.bat –app create
$ ./app/omni.create.bat –/rtx/ecoMode/enabled=false –ext-folder exts –enable mf.ov.ndi
Las extensiones de Omniverse sirven como componentes o herramientas reutilizables que los desarrolladores pueden crear para acelerar y agregar nuevas funcionalidades para los workflows 3D. Se pueden crear para tareas simples, como aleatorizar objetos, o usarse para permitir workflows más complejos, como secuencias de comandos visuales.
El equipo también desarrolló una extensión para convertir MPDCI, un estándar VESA que describe equipos multiproyectores, a USD llamado convertidor Omniverse-MPCDI. Actualmente están probando extensiones para convertidores MVR (My Virtual Rig) y GDTF (General Device Type Format) para importar dispositivos y equipos de iluminación a sus gemelos digitales.
Aún más convincente es una extensión del simulador lidar UDP, que se está desarrollando para permitir la simulación de sensores en Omniverse y conectar datos sintéticos a software compatible con lidar.
Puede utilizar las extensiones NDI y MPDCI de Moment Factory hoy en sus workflows. Estén atentos a las nuevas extensiones próximamente.
Para crear extensiones como Moment Factory, comience con todos los recursos para desarrolladores de Omniverse que necesitará, como documentación, tutoriales, recursos en USD, ejemplos de GitHub y más.
Comience con NVIDIA Omniverse descargando la licencia estándar gratuita o descubra cómo Omniverse Enterprise puede conectar a su equipo.
Los desarrolladores pueden consultar estos recursos de Omniverse para comenzar a desarrollar la plataforma.