Conoce a los Usuarios de Omniverse: La Startup in3D Convierte las Selfies en Avatares Que Hablan y Bailan con NVIDIA Omniverse

El miembro de NVIDIA Inception utiliza la Extensión de Omniverse para el escaneo móvil, a fin de crear instantáneamente avatares realistas y personalizables.
por Nate Bradford

Nota del editor: Esta publicación forma parte de nuestra serie Conoce a los Usuarios de Omniverse, que presenta a creadores y desarrolladores individuales que utilizan NVIDIA Omniverse para acelerar sus workflows 3D y crear mundos virtuales.

Imagina hacerte un selfie y utilizarlo para obtener un avatar 3D personalizado que habla y se mueve en solo segundos.

Ahora es posible gracias a una nueva extensión para NVIDIA Omniverse, una plataforma de colaboración de diseño y simulación de mundos.

La extensión, creada por los desarrolladores de la startup de software in3D, permite a las personas importar instantáneamente avatares 3D de sí mismas a entornos virtuales utilizando sus teléfonos inteligentes. Las Extensiones de Omniverse son los componentes fundamentales que permiten a cualquier persona crear y extender funciones de las aplicaciones de Omniverse.

La aplicación de in3D ahora puede llevar a las personas, en sus formas digitales, a Omniverse. Ayuda a los creadores a construir mundos virtuales atractivos y a usar estos avatares como héroes, actores o espectadores en sus historias. La aplicación funciona en cualquier teléfono con una cámara y recrea la geometría y la textura completas de un usuario basada en un video selfie.

Los avatares incluso se pueden agregar a mundos 3D con animaciones y un armario personalizable.

In3D también es miembro de NVIDIA Inception, un programa gratuito y global que apoya a las startups de vanguardia.

Creación de Avatares Simple y Escalable

La creación de un avatar 3D fotorrealista tradicionalmente tomaba hasta varios meses, con costos que alcanzaban hasta decenas de miles de dólares. La fotogrametría, un enfoque estándar para crear referencias 3D de humanos a partir de imágenes, es extremadamente costosa, requiere un estudio digital y carece de escalabilidad.

Con in3D, el proceso de crear avatares 3D es simple y escalable. La aplicación comprende la geometría, la textura, la profundidad y varios vectores de una persona a través de un escaneo móvil, y utiliza esta información para replicar detalles realistas y crear animaciones predictivas para avatares.

Dmitry Ulyanov, CEO de in3D, que tiene su sede en Tel Aviv, Israel, dijo que la aplicación captura incluso pequeños detalles con una precisión al centímetro y corrige automáticamente la iluminación. Esto permite una geometría de la cabeza precisa a partir de un solo selfie, así como una estimación de la forma exacta del cuerpo del usuario.

Para los creadores que construyen mundos 3D, el software in3D puede ahorrar incontables horas, aumentar la productividad y generar ahorros de costos sustanciales, dijo Ulyanov.

«Crear manualmente un avatar puede llevar hasta meses», agregó. «Con el kit de desarrollo de software y la aplicación de análisis de In3D, un usuario puede escanear y cargar 21,000 personas con una sola GPU y teléfono móvil en la misma cantidad de tiempo».

Conexión a Omniverse

Ulyanov dijo que el uso de la extensión de in3D con NVIDIA Omniverse Avatar Cloud Engine (ACE) abre muchas posibilidades para la creación de avatares, ya que los usuarios pueden personalizar fácilmente los avatares importados desde in3D para interactuar con sus mundos virtuales, en tiempo real y a escala.

In3D utiliza Universal Scene Description (USD), un formato de archivo extensible y de código abierto, para integrar a la perfección sus avatares de alta fidelidad en Omniverse. Todos los datos de avatar están contenidos en un archivo USD, lo que elimina la necesidad de sombreadores complejos o incrustaciones. Y, para llevar los avatares a Omniverse, solo es necesarios arrastrarlos y soltarlos.

Después de importarse a Omniverse a través de USD, los avatares se pueden usar en aplicaciones como Omniverse Create y Audio2Face. Los usuarios tienen un conjunto de herramientas completo dentro de Omniverse para admitir la creación de contenido holística, ya sea animando cuerpos de avatares con la herramienta de reorientación o creando sus expresiones faciales con Audio2Face.

Para crear la Extensión de Omniverse, in3D utilizó Omniverse Kit y siguió el flujo de desarrollo utilizando el programa informático VSCode. Al poder poner un punto de interrupción en cualquier parte del código, VSCode fue una solución fácil de usar, práctica y lista para conectar in3D a Omniverse, dijo Ulyanov.

«La capacidad de centralizar nuestro SDK junto con otro software para desarrolladores 3D es revolucionaria», dijo. «Con nuestra Extensión de Omniverse ahora disponible, estamos buscando expandir la base de desarrolladores que utilizan nuestros avatares».

«Tener la capacidad de cargar nuestro SDK y conectarlo con todas las herramientas que usan los desarrolladores 3D ha hecho que in3D sea una solución tangible para implementar en todos los entornos de desarrollo 3D», dijo Sergei Sherman, director de marketing de in3D. «Esto era algo que no habríamos podido lograr por nuestra cuenta en tan poco tiempo».

Únete al Esfuerzo Creativo

Los creadores y desarrolladores de todo el mundo pueden descargar NVIDIA Omniverse de forma gratuita y los equipos empresariales pueden usar la plataforma para sus proyectos 3D.

Aprende a conectar y crear mundos virtuales con Omniverse en NVIDIA GTC, la conferencia de diseño y simulación para la era de la IA y el metaverso, que se llevará a cabo en línea del 19 al 22 de septiembre. Puedes registrarte de forma gratuita y ofrece acceso a docenas de sesiones y eventos especiales.

Los desarrolladores pueden usar Omniverse Code para crear su propia Extensión de Omniverse para el concurso #ExtendOmniverse inaugural antes del viernes 9 de septiembre a las 5 p. m. PT, y tener la oportunidad de ganar una GPU NVIDIA RTX. Los ganadores serán anunciados en el Grupo de Usuarios de NVIDIA Omniverse en GTC.

Encuentra documentación y tutoriales adicionales en el Centro de Recursos de Omniverse, que detalla cómo los desarrolladores como Ulyanov pueden crear aplicaciones y extensiones personalizadas basadas en USD para la plataforma.

Sigue a NVIDIA Omniverse en InstagramMediumTwitter y YouTube para obtener más recursos e inspiración. Visita los foros de Omniverse y únete a nuestro servidor de Discord y canal de Twitch para hablar con la comunidad.