5 Pasos para Crear Assets SimReady para Robótica con Modelos de IA de Frontera

por
5 Pasos para Crear Assets SimReady para Robótica con Modelos de IA de Frontera

Preparar assets de CAD para simulación robótica exige más que convertir geometría a OpenUSD: los desarrolladores tienen que configurar y validar materiales, geometría de colisión, juntas y otras propiedades de física antes de probar el comportamiento del robot.

Las bibliotecas NVIDIA Omniverse, guiadas por las especificaciones de SimReady Foundation y por las skills de NVIDIA basadas en agentes, ofrecen un flujo estructurado para convertir y validar assets listos para simulación (SimReady). Los modelos de IA de frontera ayudan a los desarrolladores en cada etapa, al interpretar material de referencia y llamar las herramientas de Omniverse en su nombre, lo que reduce la preparación manual.

Este post recorre la preparación de un robot ABB Robotics YuMi para simulación, con SimReady Foundation y las herramientas NVIDIA Omniverse, y usa GPT-6 Astra como un ejemplo de modelo de IA de frontera que puede asistir en el proceso. El flujo tiene cinco etapas: conversión del archivo STEP, validación de apariencia, configuración de física, validación SimReady y, al final, una tarea de pick-and-place con los dos brazos y las dos pinzas en NVIDIA Isaac Sim.

¿Qué Es SimReady y Por Qué Importa para la Simulación?

SimReady define requisitos para preparar assets OpenUSD para casos de uso específicos de simulación. Los desarrolladores eligen un perfil SimReady para la aplicación prevista y validan el asset contra los requisitos de ese perfil. Las comprobaciones específicas de cada perfil validan la estructura, los materiales y las propiedades de física del asset, y después señalan los problemas para que los desarrolladores los corrijan y vuelvan a comprobar.

Un modelo de robot puede verse correcto y aun así fallar en simulación si le faltan propiedades de simulación. Por ejemplo: la falta de geometría de colisión puede dejar que los objetos atraviesen la pinza, y unas juntas incorrectas pueden impedir el movimiento coordinado. Propiedades de simulación como la masa y la fricción afectan de forma directa si el agarre se mantiene estable.

Las siguientes tecnologías y herramientas sostienen este flujo:

  • OpenUSD representa geometría, estructura de ensamblaje, materiales y propiedades de simulación en una representación común de asset.
  • SimReady Foundation entrega las especificaciones y la guía de validación para preparar assets listos para simulación.
  • Bibliotecas NVIDIA Omniverse ofrecen las capacidades que desarrolladores y agentes usan para convertir, inspeccionar y preparar contenido OpenUSD.
  • NVIDIA Isaac Sim ofrece el entorno para configurar física y probar el comportamiento del robot.
  • Skills de agente de IA de NVIDIA Omniverse, como la skill CAD-to-SimReady, guían a los agentes por la conversión del asset, la asignación de material y de física, y la validación.

Flujo SimReady para Robótica: Un Ejemplo con el Robot ABB YuMi

Este recorrido demuestra el flujo SimReady de cinco etapas con un robot ABB YuMi. GPT-6 Astra aparece aquí como un ejemplo de modelo de IA de frontera capaz de ayudar a escribir el código Python que llama las bibliotecas NVIDIA Omniverse en cada etapa, pero el flujo se puede aplicar a muchos modelos y sistemas robóticos.

El ejemplo usa los dos brazos y las dos pinzas, configurados a lo largo del flujo. Se usaron cubos y un marcador Sharpie como demostración en la etapa 5. La percepción por cámara se puede agregar en un flujo aparte.

Antes de comenzar:

  • Instale Isaac Sim
    • Cree una carpeta dentro del directorio de Isaac Sim y llámela reference. Esa carpeta va a guardar los assets relevantes del flujo.
    • Coloque ahí las especificaciones del robot y los archivos STEP, que están en la página del robot YuMi en ABB, y las imágenes y videos de referencia, detallados en la tabla de abajo.
  • Instale su modelo de IA de frontera
  • Abra Codex CLI dentro del directorio de Isaac Sim
    • Es importante abrir Codex dentro del directorio de Isaac Sim, para que el agente encuentre las skills necesarias para el flujo.

En este ejemplo de flujo usamos Isaac Sim 6.1 y Codex CLI, y abrimos Isaac Sim en modo ventana.

Use el siguiente prompt de ejemplo en su Codex CLI abierto, para iniciar Isaac Sim:

Inicie Isaac Sim en modo ventana, con el servidor Python remoto habilitado. Use una terminal nueva para esto.

Original en inglés:

Start Isaac Sim in windowed mode with the remote Python server enabled. Use a fresh terminal for this.

El servidor Python remoto de Isaac Sim permite que su agente converse vía Python con la aplicación Isaac Sim en ejecución. Confirme que la conexión funciona antes de continuar.

En cada etapa, adapte el prompt de ejemplo a su tarea en el agente de IA de frontera, después revise los resultados de la simulación y la retroalimentación de la validación para identificar problemas y refinar el asset.

1. Importe el Robot desde los Archivos STEP

Como primera etapa del flujo, vamos a importar el robot desde los archivos STEP que están en la carpeta reference.

Para este ejemplo, coloque las siguientes entradas en la carpeta reference, dentro del directorio de Isaac Sim:

Entrada de ejemploPara qué sirve
Archivos STEP del robot ABB Robotics YuMi, disponibles en la página del producto.Geometría de origen para la conversión a OpenUSD.
Imágenes y videos de referencia de ABB Robotics.Guiar la apariencia del asset y la asignación de materiales.
Repositorio de especificación de SimReady Foundation. Isaac Sim 6.1 ya viene con simready-foundation-tier-core.Entregar los requisitos del robot, las skills relacionadas y la guía de validación.
Skill CAD-to-SimReady.Guiar la conversión de CAD, la asignación de material y de física y la validación SimReady.
Tabla 1. Entradas de ejemplo y para qué sirven en la preparación del robot YuMi para simulación

Nota: Isaac Sim 6.1 ya viene con simready-foundation-tier-core.

Pídale al agente que use las entradas entregadas para guiar la conversión a OpenUSD y la importación en Isaac Sim.

Prompt de ejemplo:

Use los archivos STEP de la carpeta reference y la skill CAD-to-SimReady (https://github.com/NVIDIA/skills/tree/main/skills/omniverse-cad-to-simready) e importe el robot en Isaac Sim. Importe también las dos pinzas y ubique cada una en el punto de montaje correcto en los brazos del robot.

Original en inglés:

Use the STEP files in the reference folder and CAD-to-SimReady skill (https://github.com/NVIDIA/skills/tree/main/skills/omniverse-cad-to-simready) and import the robot into Isaac Sim. Make sure you also import both grippers and position them at the correct mounting points on the robot's arms.

Figura 1. Robot YuMi y pinzas importados en Isaac Sim después de la conversión de STEP a OpenUSD con la skill CAD-to-SimReady

Skills de NVIDIA usadas: omniverse-cad-to-simready, omniverse-cad-to-usd e isaac-sim-remote

Compruebe antes de continuar: el asset del robot está importado y disponible para inspección. La tarea y los requisitos entregados están comprendidos, y la información que falta está identificada.

2. Ajuste la Apariencia Visual

La siguiente etapa es inspeccionar el robot importado para confirmar que los materiales y las texturas esperados están presentes y cargaron de forma correcta. Compare el asset con las imágenes y los videos entregados por ABB para comprobar escala, orientación y ubicación de las piezas.

Pídale al agente que agregue o refine materiales y texturas con base en esas referencias.

Prompt de ejemplo:

Use las imágenes y los videos de ABB que están en la carpeta reference para acercar la apariencia del robot importado a la del robot físico. Agregue o ajuste materiales y texturas, y reporte cualquier discrepancia visual o información de referencia que falte.

Original en inglés:

Use the ABB images and videos in the reference folder to match the imported robot's appearance to the physical robot. Add or adjust materials and textures, and report any visual discrepancies or missing reference information.

Figura 2. Asset del YuMi preparado con Astra, a la izquierda, junto a la imagen de referencia de ABB Robotics, a la derecha

Supuestos: el agente acerca visualmente los materiales del robot al ajustar colores, respuesta metálica y rugosidad, y preserva la geometría de CAD y las transformaciones de montaje. Los ajustes de material fueron estimaciones visuales, sin reconstrucción de material medida ni texturas generadas por IA.

Skills de NVIDIA usadas: isaac-sim-remote y usd-pipeline

Compruebe antes de continuar: el robot tiene la escala, la orientación, las piezas y la apariencia esperadas. Los materiales o texturas ausentes y otras discrepancias visuales están documentados.

3. Configure las Propiedades de Física

En este punto, el asset OpenUSD contiene la geometría visual del robot, pero las juntas, los cuerpos rígidos y la geometría de colisión todavía no están configurados. Pídale al agente que configure y valide las propiedades de física de los dos brazos y las dos pinzas. El agente usa el datasheet de la carpeta reference para asegurar que los rangos de movimiento de las juntas y los límites de velocidad correspondan al robot simulado.

Si el dato del fabricante está incompleto, puede pedirle al agente que identifique los parámetros faltantes y consulte manuales técnicos o descripciones URDF disponibles para el modelo exacto. Donde las propiedades de masa sigan sin estar disponibles, estímelas a partir de la geometría, con supuestos documentados de densidad o de distribución de masa, conforme a la guía de propiedades de masa de NVIDIA. Por ejemplo: sin contexto suficiente, observamos que el agente buscó un URDF público del robot y lo usó para identificar los ejes correctos de las juntas y la configuración cero.

Prompt de ejemplo:

Haga el rigging de la física y valide las propiedades de física de los dos brazos y las dos pinzas del YuMi. Compruebe definiciones de junta, ejes y límites, masa e inercia, geometría de colisión, montaje de la base y movimiento de la pinza.

Original en inglés:

Rig the physics and validate the physics properties for both YuMi arms and grippers.
Check joint definitions, axes and limits, mass and inertia, collision geometry, base mounting, and gripper motion.

Figura 3. Configuración de física del YuMi con geometría de colisión y ejes de junta, durante la etapa 3

La pose inicial puede variar.

Figura 4. Poses del YuMi después de la configuración de física

Supuestos de simulación en este flujo:

  • Configuración de junta: el agente buscó un URDF público del robot y lo usó para identificar los ejes de junta y la configuración cero.
  • Masa por link: estimada a partir de los volúmenes de la geometría STEP y normalizada por los totales especificados por el fabricante: 38 kg para el robot y 0.28 kg para cada pinza.
  • Centros de masa e inercia: calculados bajo el supuesto de piezas macizas de densidad uniforme. Los motores internos, las cajas de engranajes y el cableado no se modelaron de forma individual.
  • Propiedades de contacto: se asumió fricción estática de 0.8, fricción dinámica de 0.6 y restitución cero.
  • Geometría de colisión y apariencia: las formas de colisión convexas, la rugosidad de superficie y la respuesta de material fueron aproximadas.
  • Calibración: estos parámetros no se calibraron contra mediciones de un YuMi físico.

Skills de NVIDIA usadas: usd-articulation, physics-simulation, isaac-sim-validator e isaac-sim-remote

Compruebe antes de continuar: las juntas se mueven alrededor de los ejes esperados y dentro de sus límites. El montaje de la base y el movimiento de la pinza se comportan según lo configurado. Las propiedades estimadas y las posibles fallas de validación están documentadas.

4. Valide las Propiedades SimReady

La siguiente etapa es validar el asset OpenUSD del robot contra los requisitos SimReady de la tarea de simulación prevista. Pídale al agente que ejecute las comprobaciones elegidas de SimReady Foundation, revise los hallazgos y ajuste el asset según sea necesario.

Prompt de ejemplo:

Valide el asset final del YuMi en Isaac Sim. Ubique la validación de asset SimReady para robot y aplique el schema SimReady (https://github.com/nvidia/simready-foundation) al archivo usd, con las skills relacionadas de ese repositorio.

Original en inglés:

Validate the final YuMi asset in Isaac Sim.
Find the SimReady asset validation for a robot, and apply the SimReady schema (https://github.com/nvidia/simready-foundation) to the usd file, use any related skills in that repo.

Resultados de la validación en este flujo:

  • SimReady Foundation: las unidades, las dependencias de asset, la geometría, los materiales, los cuerpos rígidos, las juntas, los drives y la articulation del asset del YuMi se comprobaron contra los requisitos de SimReady Foundation.
  • Comprobaciones de asset de Isaac Sim: escala, orientación, ubicación de piezas, montaje de la pinza, cobertura de material y dependencias de textura resueltas se verificaron con el motor de validación dentro de Isaac Sim.
  • Masa e inercia: los 21 cuerpos rígidos tenían masas positivas y tensores de inercia físicamente admisibles, y los valores de runtime coincidieron con los valores declarados.
  • Juntas: se comprobaron ejes, frames, límites, drives, comportamiento mimic de los dedos y montaje de base fija.
  • Comportamiento en runtime: se probaron el movimiento de brazo y de pinza, el contacto, la liberación y las colisiones a lo largo de las trayectorias examinadas.

Estas comprobaciones validaron la implementación de la simulación. No establecieron concordancia con la dinámica de un robot real ni seguridad de colisión en toda pose posible.

Figura 5. Asset del YuMi en Isaac Sim después de las etapas de validación visual, de física y SimReady

Compruebe antes de continuar: la secuencia cumple los criterios de aceptación acordados y las comprobaciones SimReady elegidas pasan. Los cambios de ajuste, las propiedades estimadas y las fallas sin resolver están documentados.

5. Tarea Final de Simulación Robótica

Ejecute una validación final en Isaac Sim, que combine las comprobaciones visuales, de física y SimReady con una tarea de pick-and-place.

Ejemplo 1: Pick-and-Place de Cubos

Pídale al agente que agregue objetivos de color y una caja a la escena de prueba y defina las posiciones y los metadatos de color de los objetivos. El objetivo de color correspondiente se selecciona con los metadatos de la escena.

Prompt de ejemplo:

Use los dos brazos y las dos pinzas para tomar y colocar cubos. Agregue objetivos de color y una caja a la escena de prueba, y defina sus posiciones y los metadatos de color de los objetivos. Ejecute la secuencia completa de agarre, elevación, sostenimiento, transferencia y liberación. Use los metadatos de la escena para elegir el objetivo de color correspondiente a cada cubo. Pruebe también la colocación dentro de la caja. Compruebe escala, orientación, ubicación de piezas, materiales, texturas, ejes y límites de junta, geometría de colisión y comportamiento de la pinza. Ejecute las comprobaciones de validación de SimReady Foundation que fueron seleccionadas.

Original en inglés:

Use both arms and grippers to pick and place cubes. Add color targets and a box to the test scene, and define their locations and the targets' color metadata.
Run the complete grasp, lift, hold, transfer, and release sequence. Use scene metadata to select the matching color target for each cube. Also test placement into the box.
Check scale, orientation, part placement, materials, textures, joint axes and limits, collision geometry, and gripper behavior. Run the selected SimReady Foundation validation checks.

Supuestos de simulación:

  • Asumimos coeficientes adimensionales de fricción de contacto de 0.8 estático y 0.6 dinámico. Las pruebas de agarre pasaron con esos valores, pero los coeficientes no se midieron ni se calibraron contra el contacto físico entre dedo y objeto.
  • Este ejemplo usa cubos de prueba de 45 mm y 40 g, y los supuestos de simulación descritos en la etapa 3.

Resultados demostrados de pick-and-place:

  • Ciclos completos: los dos brazos y las dos pinzas completaron cuatro ciclos de pick-and-place en total, durante una simulación de física de 122.2 segundos.
  • Secuencia de la tarea: cada brazo agarró su cubo, lo levantó, lo sostuvo por dos segundos, lo transfirió y lo soltó sobre el objetivo del color correspondiente. Después, cada brazo tomó el cubo de nuevo y lo colocó dentro de la caja.
  • Comportamiento de contacto: el contacto de los dedos y la fricción sostuvieron los cubos, sin juntas de fijación, sujeciones cinemáticas ni actualización directa de la pose del cubo durante la simulación.
  • Criterios de aceptación: todos los ciclos pasaron los criterios definidos de agarre, sostenimiento, transferencia, liberación y colocación.
  • Grabación: el MP4 y el GIF se generaron a partir de esta simulación.

Figura 6. Simulaciones de pick-and-place del YuMi con cubos de colores y marcadores de objetivo

Ejemplo 2: Pick-and-Place con un Objeto Derivado de Imagen

Una demostración aparte usó un marcador Sharpie creado a partir de una imagen de referencia, para que el agente generara un asset 3D que el robot fuera a tomar.

  • Supuestos de simulación: el agente estimó las dimensiones del marcador en 140 mm y la masa en 10 g, con el centro de masa en el centro geométrico del Sharpie. La geometría de colisión se aproximó con geometría cilíndrica para la tapa, el cuerpo y el tapón trasero.
  • Resultados demostrados: la pinza del YuMi levantó el marcador de la mesa y lo soltó en una bandeja azul en Isaac Sim.

Figura 7. YuMi tomando y colocando un marcador Sharpie modelado a partir de una imagen de referencia, en Isaac Sim

Las pruebas de simulación exitosas demuestran comportamiento bajo las condiciones examinadas. Los resultados pueden variar según el modelo de IA de frontera y el prompt usados.

Skills de NVIDIA usadas: manipulation-ik, physics-simulation, isaac-sim-validator, isaac-sim-remote e isaac-sim-rendering

Pruebe el Flujo

SimReady Foundation y las herramientas NVIDIA Omniverse ayudan a quienes desarrollan a convertir archivos de CAD y material de referencia en assets que se pueden configurar, validar y probar en simulación. Use OpenUSD, SimReady Foundation y las herramientas y skills de NVIDIA Omniverse para preparar assets para sus tareas de simulación robótica.

El recorrido del YuMi es un ejemplo del flujo SimReady para robótica, con GPT-6 Astra como modelo de IA de frontera. Para adaptar el enfoque a otro robot o a otro modelo de IA de frontera, confirme el acceso a las herramientas y skills necesarias, entregue el material de referencia relevante y repita la validación del asset y de la tarea. Los resultados pueden variar según el modelo, el esfuerzo de razonamiento y los prompts usados.

Pruebe el flujo de ejemplo de ABB Robotics

Conozca más

Participe en NVIDIA GTC Berlin, del 20 al 22 de octubre de 2026, para conocer los avances más recientes en IA física y robótica y para conectarse con desarrolladores, investigadores y líderes del sector.

Versión localizada del post publicado originalmente en inglés en el NVIDIA Technical Blog. En caso de divergencia, prevalece la versión en inglés.