La clave del jazz es la improvisación. Por lo tanto, NVIDIA rinde homenaje al género con una investigación de IA que algún día podría permitir a los creadores de gráficos improvisar con modelos 3D creados en el tiempo que lleva organizar una sesión de improvisación.
El método, NVIDIA 3D MoMa, podría permitir a los arquitectos, diseñadores, artistas conceptuales y desarrolladores de juegos importar rápidamente un objeto a un motor gráfico para comenzar a trabajar con él, modificar la escala, cambiar el material o experimentar con diferentes efectos de iluminación.
NVIDIA Research exhibió esta tecnología en un video que celebra el jazz y su lugar de nacimiento, Nueva Orleans, donde la investigación detrás de 3D MoMa se presentará esta semana en la Conferencia sobre Visión de Computación y Reconocimiento de Patrones.
Extracción de Objetos 3D a partir de Imágenes 2D
La renderización inversa, una técnica para reconstruir una serie de fotos fijas en un modelo 3D de un objeto o escena, «ha sido durante mucho tiempo un santo grial, ya que unifica la visión de computación y los gráficos por computación», dijo David Luebke, vicepresidente de investigación de gráficos en NVIDIA.
«Al formular cada pieza del problema de renderizado inverso como un componente diferenciable y acelerado por GPU, el pipeline de renderizado NVIDIA 3D MoMa utiliza la maquinaria de la IA moderna y la potencia bruta de computación de las GPU de NVIDIA para producir rápidamente modelos 3D que los creadores pueden importar, editar y extender sin límites en las herramientas existentes», dijo.
A fin de resultar más útil para un artista o ingeniero, un modelo 3D debería tener una forma que se pueda usar en herramientas ampliamente usadas, como motores de juegos, modeladores 3D y renderizadores de películas. Esa forma es una malla triangular con materiales texturados, el lenguaje común utilizado por tales herramientas 3D.
Tradicionalmente, los estudios de juegos y otros creadores generaban objetos 3D como estos con técnicas de fotogrametría complejas que requieren mucho tiempo y esfuerzo manual. El trabajo reciente en campos de radiación neuronal puede generar rápidamente una representación 3D de un objeto o escena, pero no en un formato de malla triangular que se puede editar fácilmente.
3D MoMa genera modelos de malla triangular en una hora en una sola GPU NVIDIA Tensor Core. Los resultados del pipeline son directamente compatibles con los motores de gráficos 3D y las herramientas de modelado que los creadores ya utilizan.
La reconstrucción del pipeline incluye tres características: un modelo de malla 3D, materiales e iluminación. La malla es como un modelo de papel maché de una forma 3D construida a partir de triángulos. Con él, los desarrolladores pueden modificar un objeto para adaptarse a su visión creativa. Los materiales son texturas 2D superpuestas en las mallas 3D como una piel. Además, la estimación de NVIDIA 3D MoMa sobre cómo se ilumina la escena permite a los creadores modificar posteriormente la iluminación de los objetos.
Afinación de los Instrumentos para la Banda de Jazz Virtual
Para exhibir las capacidades de NVIDIA 3D MoMa, los equipos creativos y de investigación de NVIDIA comenzaron fotografiando cinco instrumentos de banda de jazz (una trompeta, un trombón, un saxo, una batería y un clarinete) desde diferentes ángulos y recopilaron alrededor de 100 imágenes de cada uno.
NVIDIA 3D MoMa reconstruyó estas imágenes 2D en modelos 3D de cada instrumento, representados con mallas. Luego, el equipo de NVIDIA sacó los instrumentos de sus escenas originales y los importó a la plataforma de simulación 3D NVIDIA Omniverse para editarlos.
En cualquier motor de gráficos tradicional, los creadores pueden intercambiar fácilmente el material de una forma generada por NVIDIA MoMa 3D, como si vistiera la malla con diferentes ropas. El equipo lo hizo con el modelo de la trompeta, por ejemplo, convirtiendo instantáneamente su plástico original en oro, mármol, madera o corcho.
Luego, los creadores pueden colocar los objetos recién editados en cualquier escena virtual. El equipo de NVIDIA dejó los instrumentos en una caja de Cornell, una prueba de gráficos clásica para la calidad de renderizado. Demostraron que los instrumentos virtuales reaccionan a la luz al igual que lo harían en el mundo físico, con los resplandecientes instrumentos de latón que se reflejan brillantemente y los parches mate de la batería absorbiendo la luz.
Estos nuevos objetos, generados a través de la renderización inversa, se pueden usar como componentes fundamentales para una escena animada compleja, que se muestra en el final del video como una banda de jazz virtual.
La investigación detrás de NVIDIA MoMa 3D se presentará en una sesión de CVPR el 22 de junio a la 1:30 p. m., Hora Central. Es uno de los 38 artículos con autores de NVIDIA de la conferencia. Obtén más información sobre NVIDIA Research en CVPR.