Convertir una idea de simulación en una aplicación funcional implica reunir assets, conectar física y renderizado, y comprobar que la escena se comporte como se espera. Los desarrolladores están combinando modelos de IA de frontera con las bibliotecas NVIDIA Omniverse para llevar a cabo ese trabajo: crean aplicaciones para explorar escenarios, investigar fallas y mejorar diseños.
Los desarrolladores dirigen a los agentes de IA con instrucciones en lenguaje natural, revisan los resultados y guían los cambios. Las bibliotecas Omniverse ofrecen capacidades de física, renderizado y simulación de sensores aceleradas por GPU.
Explore los proyectos a continuación para ver modelos de IA de frontera como GPT-6 Astra en acción, y vuelva más adelante para conocer nuevos ejemplos de equipos de NVIDIA y de desarrolladores de todo el ecosistema.
Construya un Simulador de Humanoide para un Entorno de Almacén
Explore el control basado en física de un robot humanoide, en formato de juego, con vista en primera y en tercera persona.
Antes de automatizar tareas de almacén, los desarrolladores necesitan un entorno de simulación interactivo para explorar el comportamiento de las tareas y evaluar cómo se ejecuta el trabajo. Frank DeLise, gerente de producto de Omniverse en NVIDIA, usó Astra para convertir un almacén SimReady y un robot humanoide en un simulador interactivo con vista en primera y en tercera persona.
DeLise dirigió a Astra para conectar las bibliotecas NVIDIA Omniverse de física (ovphysx), actualización de escena (ovstage), renderizado (ovrtx) e interfaz de usuario (ovui). También usó Astra con SimReady (simready-foundation) para crear la escena física en simulación. Astra generó después la animación y el código de la aplicación para reunir esas capacidades.
Conozca cómo preparar y validar assets SimReady de robots con modelos de IA de frontera y bibliotecas NVIDIA Omniverse.
Conecte un Flujo de Prueba de Conducción Autónoma
Cambiar una escena, un sensor o un modelo de conducción puede afectar de manera considerable las simulaciones de vehículos autónomos. Doyub Kim, uno de los gerentes del equipo de tecnología de simulación de NVIDIA, le pidió a Astra que construyera Zero to Alpamayo, un entorno de simulación reutilizable basado en Market Street, en San Francisco.
Kim dirigió a Astra para mapear el flujo de trabajo y después conectar, por etapas, la creación de assets, el tráfico, la simulación de sensores Omniverse RTX y la conducción Alpamayo, y comprobó cada integración. El prototipo resultante se convirtió en un campo de pruebas para comparar modelos y rastrear cómo los cambios de escena o de sensor afectan el comportamiento de conducción en las etapas posteriores. Un experimento aparte con Cosmos3-Nano varió el clima y la iluminación en videos grabados de simulación, lo que le permitió a Kim comparar las respuestas del modelo de conducción ante el mismo escenario bajo condiciones distintas.
Use las Diferencias de Sensor para Crear y Mejorar Gemelos Digitales
Comparar las salidas grabadas y simuladas de cámara y LiDAR les da a los desarrolladores retroalimentación basada en indicadores clave de desempeño para refinar una escena.
Para probar robots y vehículos autónomos, los desarrolladores necesitan saber qué tanto se acercan los sensores simulados a los reales. Ashley Reid, que trabaja en validación de sensores RTX en NVIDIA, dirigió agentes de Astra y de Claude Fable 5 para comparar las salidas de cámara y de LiDAR sin procesar de ovrtx con datos grabados. Los agentes crearon dos gemelos digitales desde cero y mejoraron otros dos ya existentes.
Durante unos tres días, Reid guió un flujo iterativo en el que los agentes medían diferencias, creaban o modificaban escenas OpenUSD y comprobaban los resultados. Los cambios atendieron objetos faltantes, geometría y materiales, y la aceptación dependió de métricas de cámara y LiDAR. Esto les da a los desarrolladores una forma de usar las discrepancias medidas para guiar la creación y la mejora de escenas.
Comience por renderizar una escena OpenUSD con el ejemplo mínimo en Python de ovrtx y después defina una medida de sensor para comparar con los datos grabados.
Robo Olympics: Pruebe las Habilidades de un Robot con Simulación
Enseñar nuevos movimientos a los robots implica verificar si esas acciones funcionan bajo restricciones físicas. Tae Kim, quien lidera la ingeniería y el producto de NVIDIA Omniverse, usó videos deportivos e instrucciones en lenguaje natural para guiar a Astra en la construcción de Robo Olympics, un proyecto experimental que prueba humanoides Unitree G1 simulados ejecutando movimientos deportivos.
Bajo la dirección de Kim, Astra construyó controladores y los refinó mediante ensayos de física. El Newton Physics Engine simuló el comportamiento, el framework de código abierto NVIDIA Warp aceleró los cálculos y ovrtx renderizó las escenas y las imágenes de cámara virtual. En un experimento, el robot superó una sola valla en 64 de 100 intentos de simulación. Los ensayos le dieron a Kim retroalimentación para mejorar la sincronización y el control del robot.
Vea a Kim explorar la construcción de simulaciones con Astra y las bibliotecas NVIDIA Omniverse.
Pruebe el Desmontaje Robótico con Diseño Asistido por Computadora y Simulación
Antes de que un robot pueda desmontar un producto, los desarrolladores necesitan saber si sus herramientas alcanzan y retiran las piezas. Jens Jebens, gerente senior de producto de OpenUSD en NVIDIA, dirigió a Astra para modelar una suspensión de automóvil en PTC Onshape y configurarla en NVIDIA Isaac Sim.
Con Astra, Jebens exploró revisiones de diseño asistido por computadora y de herramental para robots a partir de la simulación. El agente midió el espacio disponible y diseñó una llave que el robot podía usar para alcanzar los tornillos de la suspensión. Jebens reportó el retiro exitoso de un componente de la suspensión en simulación. Esto conecta las decisiones de diseño y de herramental con los resultados de desmontaje, y ofrece un punto de partida para el entrenamiento de políticas de robots.
Conozca la guía del importador de Onshape.
Lleve la Estación Espacial Internacional al Navegador
Convertir modelos 3D en una aplicación exige conectar assets, datos en vivo y una interfaz. Nic Johns, uno de los directores de ingeniería de NVIDIA, le pidió a Astra que ensamblara assets de la NASA en un modelo OpenUSD de la Estación Espacial Internacional con telemetría. Johns construyó la aplicación con un solo prompt y después usó un prompt de seguimiento para desplazar la escena hacia el lado diurno de la Tierra, de modo que el planeta quedara visible.
El flujo usó Blender para la preparación de assets y las bibliotecas Omniverse para el renderizado (ovrtx), el runtime de escena (ovstage) y el streaming (ovstream). La aplicación lleva modelos 3D y datos operativos al navegador, con Johns guiando su desarrollo mediante prompts y correcciones.
Pruebe la skill Omniverse Real-Time Viewer.
Convierta Espacios Capturados en Entornos de Prueba
Una habitación reconstruida digitalmente necesita objetos editables y un comportamiento físico preciso antes de que los desarrolladores puedan probar interacciones. Chirag Majithia, del equipo de aplicaciones de ingeniería de Isaac en NVIDIA, dirigió a Astra para convertir capturas de cámara estéreo en un estudio OpenUSD editable.
El flujo combinó PyCuSFM, FoundationStereo y nvblox para la reconstrucción, y la revisión del usuario guió la selección y la colocación de los objetos. Astra ensambló assets generados y creados en Blender, y usó los USD Content Agents para configurar cómo se mueven e interactúan los objetos en simulación. Las pruebas en Isaac Sim guiaron las revisiones de colisión y de contacto para puertas y cajones. El estudio conecta la geometría capturada con la prueba de interacción, lo que facilita inspeccionar huecos y el comportamiento de los objetos.
Conozca los USD Content Agents.
¿Tiene una idea de simulación? Explore las bibliotecas NVIDIA Omniverse para comenzar a construir con un agente de IA.