Convertir entornos del mundo real en simulación interactiva ya no requiere días o semanas de trabajo. Con NVIDIA Omniverse NuRec y 3DGUT (3D Gaussian con Unscented Transforms), puedes reconstruir escenas 3D fotorrealistas a partir de datos de sensores simples e implementarlas en NVIDIA Isaac Sim o CARLA Simulator, al instante.
Esta publicación lo guía a través de cómo capturar datos del mundo real, entrenar una reconstrucción y cargar los resultados en Isaac Sim.
Video 1. Las bibliotecas de reconstrucción neuronal NVIDIA Omniverse NuRec llevan el mundo real a la simulación, utilizando datos de múltiples sensores para lograr entornos fotorrealistas esenciales para probar y validar sistemas robóticos.
Cómo Crear una Simulación Interactiva a Partir de Fotos
La reconstrucción neuronal permite un entrenamiento eficiente de robots en simulaciones realistas, lo que mejora la transferencia de simulación a real. Los siguientes pasos simplifican la reconstrucción neuronal y la representación en una receta que funciona en diferentes entornos.
Paso 1: Captura la Escena del Mundo Real
Capture aproximadamente 100 fotos desde todos los ángulos con buena iluminación y superposición entre imágenes para ayudar con la coincidencia de características. Especificaciones de ejemplo: f/8, 1/100s+, 18 mm o similar).
Paso 2: Generar Reconstrucción Dispersa con COLMAP
Para generar una nube de puntos dispersa y un parámetro de cámara, utilice COLMAP, una canalización de estructura a partir del movimiento (SfM) y estéreo multivista (MVS) de uso general. Puede lograr esto a través de su GUI mediante la reconstrucción automática o ejecutando comandos para la extracción de características, la coincidencia de características y la reconstrucción dispersa. Para la compatibilidad con 3DGUT, seleccione el modelo de cámara estenopeica o estenopeica simple.
Paso 3: Entrenar con 3DGUT para una Reconstrucción Densa
Utilice las salidas de COLMAP para entrenar con 3DGUT y config apps/colmap_3dgut_mcmc.yaml.
Paso 4: Exportar a USD y Normalizar
Una vez finalizado el entrenamiento, exporte la escena reconstruida como un archivo USD con estas marcas esenciales:
Consulte un tutorial para ver un script de ejemplo que se puede ejecutar directamente desde el Editor de scripts o como una aplicación independiente.
Esto crea un activo en USD que se integra perfectamente con el ecosistema de simulación de Isaac Sim.
Paso 5: Implementar la Escena Reconstruida
Los activos en USD generados a través de esta canalización se pueden cargar o referenciar directamente en Isaac Sim, al igual que cualquier otro activo en USD. Simplemente use File > Import o arrastre y suelte el archivo USD en el escenario desde el navegador de contenido.
Después de cargar el activo USD, se puede crear un plano de tierra dentro de Isaac Sim para la simulación de movilidad, como se explica en el Video 2.
Video 2. Tutorial paso a paso sobre cómo añadir una malla de plano de suelo y física a la escena renderizada al importar en Isaac Sim
Las escenas reconstruidas también están disponibles en el dataset de IA física de NVIDIA para una importación rápida y experimentación inmediata.
Cómo Reproducir Escenas de Vehículos Autónomos en CARLA
Para el desarrollo de vehículos autónomos (AV), las bibliotecas Omniverse NuRec integradas con el simulador CARLA AV de código abierto abren poderosas posibilidades. Esta es una nueva característica experimental y funciona con escenas de muestra que ya se han reconstruido y están disponibles en el dataset de IA física de NVIDIA.
Paso 1: Ejecutar CARLA y Configurar Scripts
Seleccione una escena del dataset de IA física, luego navegue hasta su directorio CARLA y ejecute el siguiente script:
Paso 2: Vuelve a Reproducir la Escena
A continuación, repita el escenario de Omniverse NuRec usando lo siguiente:
Paso 3: Captura de Datos
También puede capturar datos dentro de la simulación para realizar más pruebas. Captura de imágenes para la generación de conjuntos de datos:
Esta integración le permite reproducir unidades del mundo real en un entorno de simulación controlable, completo con todos los actores y dinámicas de la escena original.
Cómo mejorar aún más las escenas reconstruidas¿Quieres llevar tus escenas reconstruidas aún más lejos? NVIDIA Cosmos Transfer, un modelo de base mundial de múltiples redes de control, amplifica la robótica y la simulación AV al permitir la generación de video precisa y controlable. Utilice Cosmos Transfer para sintetizar diversos entornos, condiciones de iluminación y escenarios meteorológicos. También puede agregar y editar objetos dinámicamente usando controles multimodales como segmentación, mapas de profundidad, mapas HD y más.
Este enfoque agiliza la creación de conjuntos de datos ricos en escenarios, reduce el esfuerzo manual y garantiza una validación rigurosa y fotorrealista. Con Cosmos Transfer-1 destilado para reducir 70 pasos de difusión, puede generar video controlable fotorrealista en menos de 30 segundos. Sobre la base de estas mejoras de rendimiento, Cosmos Transfer-2 llegará pronto para acelerar aún más la generación de datos sintéticos (SDG) para el desarrollo de AV.
Por qué el Renderizado Basado en Gaussian Acelera los Workflows de Simulación
Los gaussianos 3D representan un salto transformador en la forma en que se reconstruye y simula el mundo real para la robótica y los vehículos autónomos. Al optimizar el camino desde la captura de datos hasta los entornos fotorrealistas e interactivos, las bibliotecas NuRec de Omniverse aprovechan el renderizado basado en gaussian para acelerar drásticamente los flujos de trabajo de simulación para pruebas escalables y sólidas.
La combinación de la probada canalización de estructura a partir del movimiento de COLMAP con las capacidades avanzadas de renderizado 3DGUT crea una base sólida que maneja escenarios complejos del mundo real, desde condiciones de iluminación desafiantes hasta intrincadas distorsiones de la cámara, que dejarían perplejos a los métodos de reconstrucción tradicionales.
Introducción a la Representación de Escenas del Mundo Real en la Simulación Interactiva
Tanto si es un investigador que quiere ampliar los límites de la transferencia de SIM a real, como si es un ingeniero que busca una generación de escenas eficiente y de alta fidelidad, estos avances le permiten iterar rápidamente e implementar con confianza soluciones basadas en la complejidad del mundo real.
¿Listo para empezar?
- Descargue datos reconstruidos de muestra desde el dataset de IA física de NVIDIA
- Acceda a la implementación de 3DGUT desde el nv-tlabs/3dgrut Repositorio de GitHub
- Simule soluciones robóticas impulsadas por IA en entornos virtuales basados en la física con NVIDIA Isaac Sim 5.0
- Más información sobre integración de CARLA Simulator con NVIDIA Omniverse NuRec
El futuro de la simulación física de IA está aquí y es más accesible que nunca. Comience a crear gemelos digitales más ricos y realistas para las máquinas inteligentes del mañana.