En un momento de pura casualidad, Lah Yileh Lee y Xinting Lee, un par de cantantes talentosos que a menudo transmiten sus actuaciones en línea, se encontraron actuando en una plaza pública en Taipei cuando el fundador y CEO de NVIDIA, Jensen Huang las encontró.
Huang no pudo resistirse a unirse, animando su serenata mientras grababan «Always Remember Us This Way» de Lady Gaga.
El video resultante rápidamente se volvió viral, al igual que un video de seguimiento de la pareja, que cantó «Hold My Hand» de Lady Gaga, la canción que Huang solicitó originalmente.
Toy Jensen Creado con NVIDIA Omniverse Avatar Cloud Engine
Ahora, con la ayuda de su avatar impulsado por IA, Toy Jensen, Huang ha ideado una respuesta divertida con un tema navideño.
El equipo creativo de NVIDIA desarrolló rápidamente una actuación navideña de TJ, una demostración técnica que muestra las tecnologías principales que forman parte de la plataforma NVIDIA Omniverse Avatar Cloud Engine (ACE).
Omniverse ACE es una colección de flujos de trabajo y microservicios de IA nativos del cloud para que los desarrolladores construyan, personalicen e implementen fácilmente avatares atractivos e interactivos.
A diferencia del desarrollo de avatar actual, que requiere experiencia, equipo especializado y flujos de trabajo intensivos manualmente, Omniverse ACE se basa en Unified Compute Framework de NVIDIA, o UCF, que hace posible crear y configurar rápidamente canalizaciones de IA con una codificación mínima.
“Es una tecnología realmente sorprendente, y el hecho de que podamos hacer esto es fenomenal”, dijo Cyrus Hogg, gerente de programas técnicos de NVIDIA.
Para lograrlo, el equipo de NVIDIA usó un modelo de conversión de voz desarrollado recientemente para extraer la voz de un cantante profesional de una muestra proporcionada por ellos y convertirla en la voz de TJ, desarrollada originalmente mediante capacitación en horas de grabaciones del mundo real. Usaron las notas musicales de esa muestra y las aplicaron a la voz digital de TJ para hacer que el avatar cantara las mismas notas y con el mismo ritmo que el cantante original.
NVIDIA Omniverse Generative AI: Audio2Face y Audio2Gesture permiten expresiones faciales y movimientos corporales realistas
Luego, el equipo usó NVIDIA Omniverse ACE junto con las tecnologías Omniverse Audio2Face y Audio2Gesture para generar expresiones faciales y movimientos corporales realistas para la actuación animada basada solo en el audio de TJ.
Mientras que el equipo detrás de las tecnologías Omniverse ACE dedicó años a desarrollar y afinar la tecnología mostrada en la presentación, convertir la pista de música que crearon en un video pulido tomó solo unas horas.
Toy Jensen Deleita a los Fanáticos con la Presentación de ‘Jingle Bells’
Eso les dio mucho tiempo para asegurar una actuación increíble.
Incluso colaboraron con Jochem van der Saag, un compositor y productor que ha trabajado con Michael Bublé y David Foster, para crear la pista de acompañamiento perfecta para que TJ la cante.
“Tenemos a van der Saag componiendo la canción, y él también la orquestará para nosotros”, dijo Hogg. “Así que esa es una gran adición al equipo. Y estamos muy emocionados de tenerlo a bordo”.
ACE Podría Revolucionar las Experiencias Virtuales
El resultado es el escaparate perfecto para NVIDIA Omniverse ACE y las aplicaciones que podría tener en varias industrias: para eventos virtuales, educación en línea y servicio al cliente, así como para crear avatares personalizados para videojuegos, redes sociales y experiencias de realidad virtual. NVIDIA Omniverse ACE estará disponible pronto para los socios de acceso anticipado.