Nota del editor: Este post forma parte de la serie IA Decodificada, que desmitifica la IA haciendo la tecnología más accesible, que muestra nuevo hardware, software, herramientas y aceleraciones para usuarios de PC RTX.
Imagina una vista preciosa, como un acantilado a orillas del agua. Incluso como imagen 2D, la escena sería hermosa y atractiva. Ahora imagina explorar esa misma vista en 3D, sin necesidad de estar allí.
La IA potenciada por la tecnología NVIDIA RTX ayuda a convertir esa imaginación en realidad. Con Instant NeRF, los creativos transforman colecciones de imágenes fijas en escenas digitales 3D en cuestión de segundos.
Sencillamente Radiante
Un NeRF, o campo de radiancia neural, es un modelo de IA que toma como entrada imágenes 2D que representan una escena e interpola entre ellas para representar una escena 3D completa. El modelo funciona como una red neuronal, un modelo que reproduce la organización del cerebro y suele utilizarse para tareas que requieren el reconocimiento de patrones.
Mediante la localización espacial y el renderizado volumétrico, un NeRF utiliza la pose de la cámara a partir de las imágenes para renderizar una iteración 3D de la escena. Tradicionalmente, estos modelos son intensivos desde el punto de vista computacional y requieren grandes cantidades de potencia y tiempo de renderizado.
Un reciente proyecto de investigación sobre IA de NVIDIA ha cambiado esta situación.
Instant NeRF lleva los NeRF al siguiente nivel, utilizando el renderizado inverso acelerado por IA para aproximarse al comportamiento de la luz en el mundo real. Permite a los investigadores construir una escena 3D a partir de imágenes 2D tomadas desde distintos ángulos. Las escenas pueden generarse ahora en segundos, y cuanto más tiempo se entrene el modelo NeRF, más detallados serán los renders 3D resultantes.
Los investigadores de NVIDIA presentaron cuatro primitivas de gráficos neuronales, o conjuntos de datos pre-entrenados, como parte del conjunto de herramientas de entrenamiento Instant-NGP en la conferencia de gráficos por computadora SIGGRAPH de 2022. Estas herramientas permiten a cualquiera crear NeRF con sus propios datos. Los investigadores ganaron el premio al mejor artículo por su trabajo y la revista TIME nombró a Instant NeRF mejor invento de 2022.
Además de acelerar el renderizado de los NeRF, Instant NeRF hace accesible todo el proceso de reconstrucción de imágenes utilizando las GPUs NVIDIA RTX y GeForce RTX desktops y laptops. Aunque el tiempo que se tarda en renderizar una escena depende de factores como el tamaño del conjunto de datos y la combinación de contenidos de imagen y vídeo de origen, el entrenamiento de IA no requiere hardware de nivel de servidor o basado en la nube.
Las estaciones de trabajo NVIDIA RTX y las PCs GeForce RTX son idóneos para satisfacer las demandas computacionales del renderizado de NeRF. Las GPUs NVIDIA RTX y GeForce RTX incorporan Núcleos Tensor, aceleradores de hardware dedicados a la IA que proporcionan la potencia necesaria para ejecutar IA generativa de forma local.
Preparados, Listos, Ya
Empieza a utilizar Instant NeRF para conocer los campos de radiancia y experimentar las imágenes de una forma nueva.
Los desarrolladores y entusiastas de la tecnología pueden descargar el código fuente base para compilarlo. Los usuarios no técnicos pueden descargar los instaladores de Windows para el software Instant-NGP, disponibles en GitHub.
Aunque el instalador está disponible para una amplia gama de GPUs RTX, el programa funciona mejor en las GPUs de última arquitectura GeForce RTX Serie 40 y NVIDIA RTX Generacion Ada.
La guía «Iniciando con Instant NeRF» guía a los usuarios a través del proceso, incluida la carga de una de las primitivas, como «NeRF Fox», para hacerse una idea de las posibilidades. Instrucciones detalladas y videos como el de arriba muestran cómo crear NeRFs con datos personalizados, incluyendo consejos para capturar buenas imágenes de entrada y compilar bases de código (si se construye a partir del código fuente). La guía también cubre el uso de la interfaz gráfica de usuario Instant NeRF, la optimización de los parámetros de la escena y la creación de una animación a partir de la escena.
La comunidad NeRF también ofrece muchos consejos y trucos para ayudar a los usuarios a empezar. Por ejemplo, dale un vistazo al livestream que aparece a continuación y a esta entrada técnica del blog.
Mostrar y Contar
Los artistas digitales están componiendo bellas escenas y contando nuevas historias con NVIDIA Instant NeRF. La galería Instant NeRF muestra algunos de los ejemplos más innovadores y sugerentes, visibles como videoclips en cualquier navegador web.
He aquí algunos:
- “Through the Looking Glass”, de Karen X. Cheng y James Perlman Una pianista practica su canción, parte de su rutina diaria, aunque lo que sucede a continuación no tiene nada de mundano. El espectador se asoma al espejo, un mundo virtual que puede observarse, pero no atravesarse; es inalcanzable por medios normales. Entonces, al cruzar el umbral, se revela que ese espejo es en realidad una ventana a una realidad invertida que puede explorarse desde dentro. ¿Cuál es la verdadera?
- “Meditation” de Franc Lucent Nada más entrar en una de las muchas habitaciones de la finca de Nico Santucci, Lucent supo que tenía que convertirla en un NeRF. Jugando con el rango dinámico y los reflejos en el estanque, planteó al artista una exploración desconocida. Quedaron encantados con la suavidad de la luz y la forma en que el NeRF eleva la habitación a lo que parece algo sacado de un sueño: el lugar perfecto para meditar. Un NeRF puede congelar un momento de una forma más envolvente que una foto o un vídeo.
“Zeus” de Hugues Bruyère Estas escenas renderizadas en 3D con Instant NeRF utilizan los datos que Bruyère capturó previamente para la fotogrametría tradicional utilizando cámaras digitales sin espejo, teléfonos inteligentes, cámaras de 360 grados y drones. Instant NeRF le proporciona una potente herramienta para ayudar a preservar y compartir artefactos culturales a través de bibliotecas en línea, museos, experiencias de realidad virtual y proyectos de conservación del patrimonio. Este NeRF se entrenó con un conjunto de datos de fotos tomadas con un iPhone en el Museo Real de Ontario.
De la imagen al video y de éste a la realidad
Transformar imágenes en una escena 3D con IA es genial. Entrar en esa creación 3D es el siguiente nivel.
Gracias a una reciente actualización de Instant NeRF, los usuarios pueden renderizar sus escenas a partir de imágenes estáticas y adentrarse virtualmente en los entornos, moviéndose libremente por el espacio 3D. En los entornos de realidad virtual (RV), los usuarios pueden sentir una inmersión total en nuevos mundos, todo ello dentro de sus auriculares.
Las ventajas potenciales son casi infinitas.
Por ejemplo, un agente inmobiliario puede crear y compartir un modelo 3D de una propiedad, ofreciendo visitas virtuales a nuevos niveles. Los minoristas pueden mostrar sus productos en una tienda online, gracias a una colección de imágenes y a la IA ejecutada en las GPUs RTX. Estos modelos de IA potencian la creatividad y están ayudando a impulsar la accesibilidad de las experiencias de inmersión 3D en otros sectores.
Instant NeRF viene con la capacidad de limpiar escenas fácilmente en VR, haciendo que la creación de NeRFs de alta calidad sea más intuitiva que nunca. Más información sobre la navegación por espacios de Instant NeRF en RV.
Descarga Instant-NGP para empezar y comparte tus creaciones en las redes sociales con el hashtag #InstantNeRF.
La IA generativa está transformando los juegos, las videoconferencias y las experiencias interactivas de todo tipo. Entérate de las novedades y lo que está por venir suscribiéndote al boletín AI Decoded.