Las tecnologías de simulación escalables están impulsando el futuro de la robótica autónoma al reducir el tiempo y los costes de desarrollo.
Universal Scene Description (OpenUSD) proporciona un frameworks de datos escalable e interoperable para el desarrollo de mundos virtuales en los que los robots pueden aprender a ser robots. Con las simulaciones basadas en OpenUSD de SimReady, los desarrolladores pueden crear escenarios ilimitados basados en el mundo físico.
Y NVIDIA Isaac Sim está avanzando en la simulación robótica basada en IA de percepción. Isaac Sim es una aplicación de referencia basada en la plataforma NVIDIA Omniverse para que los desarrolladores simulen y prueben robots impulsados por IA en entornos virtuales físicos.
En AWS re:Invent, NVIDIA anunció que Isaac Sim ya está disponible en las instancias G6e de Amazon EC2 con GPU NVIDIA L40S. Estas potentes instancias mejoran el rendimiento y la accesibilidad de Isaac Sim, lo que hace que las simulaciones robóticas de alta calidad sean más escalables y eficientes.
Estos avances en Isaac Sim marcan un salto significativo para el desarrollo de la robótica. Al permitir pruebas realistas y entrenamiento de modelos de IA en entornos virtuales, las empresas pueden reducir el tiempo de implementación y mejorar el rendimiento de los robots en una variedad de casos de uso.
Avance de la Simulación Robótica con Generación de Datos Sintéticos
Empresas de robótica como Cobot, Field AI y Vention están utilizando Isaac Sim para simular y validar el rendimiento de los robots, mientras que otras, como SoftServe y Tata Consultancy Services, utilizan datos sintéticos para arrancar modelos de IA para diversas aplicaciones robóticas.
La evolución del aprendizaje de los robots ha estado profundamente entrelazada con la tecnología de simulación. Los primeros experimentos en robótica dependían en gran medida de ensayos intensivos en mano de obra y recursos. La simulación es una herramienta crucial para la creación de entornos físicamente precisos en los que los robots pueden aprender a través de prueba y error, refinar algoritmos e incluso entrenar modelos de IA utilizando datos sintéticos.
La IA física describe modelos de IA que pueden comprender e interactuar con el mundo físico. Encarna la próxima ola de máquinas y robots autónomos, como vehículos autónomos, manipuladores industriales, robots móviles, humanoides e incluso infraestructura administrada por robots como fábricas y almacenes.
La simulación robótica, que constituye la segunda computadora de la solución de tres computadoras, es una piedra angular del desarrollo de la IA física que permite a los ingenieros e investigadores diseñar, probar y refinar sistemas en un entorno virtual controlado.
Un enfoque de simulación reduce significativamente el costo y el tiempo asociados con la creación de prototipos físicos, al tiempo que mejora la seguridad al permitir que los robots se prueben en escenarios que de otro modo podrían ser poco prácticos o peligrosos en la vida real.
Con un nuevo workflow de referencia, los desarrolladores pueden acelerar la generación de conjuntos de datos 3D sintéticos con IA generativa usando los microservicios NIM de OpenUSD. Esta integración agiliza el proceso desde la creación de escenas hasta el aumento de datos, lo que permite un entrenamiento más rápido y preciso de los modelos de IA de percepción.
Los datos sintéticos pueden ayudar a abordar el desafío de los datos limitados, restringidos o no disponibles necesarios para entrenar varios tipos de modelos de IA, especialmente en visión artificial. El desarrollo de modelos de reconocimiento de acciones es un caso de uso común que puede beneficiarse de la generación de datos sintéticos.
Para aprender a crear un conjunto de datos de vídeo de reconocimiento de acciones humanas con Isaac Sim, consulte el blog técnico sobre Escalado de Modelos de Reconocimiento de Acciones con Datos Sintéticos. Las simulaciones 3D ofrecen a los desarrolladores un control preciso sobre la generación de imágenes, eliminando las alucinaciones.
Simulación Robótica para Humanoides
Los robots humanoides son la próxima ola de IA incorporada, pero presentan un desafío en la intersección de la mecatrónica, la teoría de control y la IA. La simulación es crucial para resolver este desafío al proporcionar una plataforma segura, rentable y versátil para entrenar y probar humanoides.
Con NVIDIA Isaac Lab, un framework unificado de código abierto para el aprendizaje de robots basado en Isaac Sim, los desarrolladores pueden entrenar políticas de robots humanoides a escala a través de simulaciones. Los principales fabricantes de robots comerciales están adoptando Isaac Lab para manejar movimientos e interacciones cada vez más complejos.
El Project GR00T de NVIDIA, una iniciativa de investigación activa para habilitar el ecosistema de robots humanoides de los constructores, es pionera en workflows como GR00T-Gen para generar tareas de robots y entornos listos para la simulación en OpenUSD. Estos se pueden utilizar para entrenar robots generalistas para realizar manipulación, locomoción y navegación.
Una investigación recientemente publicada del Project GR00T también muestra cómo se puede utilizar la simulación avanzada para entrenar humanoides interactivos. Usando a Isaac Sim, los investigadores desarrollaron un único controlador unificado para humanoides físicamente simulados llamado Masked Mimic. El sistema es capaz de generar una amplia gama de movimientos en diversos terrenos a partir de intenciones intuitivas definidas por el usuario.
Los Gemelos Digitales Basados en la Física Simplifican el Entrenamiento de la IA
Los socios de todas las industrias están utilizando Isaac Sim, Isaac Lab, Omniverse y OpenUSD para diseñar, simular e implementar máquinas autónomas más inteligentes y capaces:
- Agility utiliza Isaac Lab para crear simulaciones que permiten que los comportamientos simulados del robot se transfieran directamente al robot, haciéndolo más inteligente, ágil y robusto cuando se despliega en el mundo real.
- Cobot utiliza Isaac Sim con su cobot impulsado por IA, Proxie, para optimizar la logística en almacenes, hospitales, sitios de manufactura y más.
- Cohesive Robotics ha integrado Isaac Sim en su framework de software llamado Argus OS para desarrollar e implementar celdas de trabajo robóticas utilizadas en entornos de manufactura de alta mezcla.
- Field AI, un constructor de modelos base de robots, utiliza Isaac Sim e Isaac Lab para evaluar el rendimiento de sus modelos en entornos complejos y no estructurados en industrias como la construcción, la manufactura, el petróleo y el gas, la minería y más.
- Fourier utiliza NVIDIA Isaac Gym e Isaac Lab para entrenar a su robot humanoide GR-2, utilizando el aprendizaje por refuerzo y simulaciones avanzadas para acelerar el desarrollo, mejorar la adaptabilidad y mejorar el rendimiento en el mundo real.
- Foxglove integra Isaac Sim y Omniverse para permitir pruebas eficientes de robots, entrenamiento y análisis de datos de sensores en entornos 3D realistas.
- Galbot utilizó a Isaac Sim para verificar la generación de datos de DexGraspNet, un conjunto de datos a gran escala de 1,32 millones de agarres de ShadowHand, que avanza en la funcionalidad de la mano robótica al permitir la validación escalable de diversas interacciones de objetos en 5.355 objetos y 133 categorías.
- Standard Bots está simulando y validando el rendimiento de su robot R01 utilizado en configuraciones de manufactura y mecanizado.
- Wandelbots integra su plataforma NOVA con Isaac Sim para crear gemelos digitales basados en la física y entornos de entrenamiento intuitivos, lo que simplifica la interacción con los robots y permite realizar pruebas, validaciones e implementaciones fluidas de sistemas robóticos en escenarios del mundo real.
Obtenga más información sobre cómo Wandelbots está avanzando en el aprendizaje de robots con la tecnología NVIDIA en esta grabación de transmisión en vivo:
Conéctate al Mundo de OpenUSD
Los expertos de NVIDIA y los embajadores de Omniverse están organizando horas de oficina y grupos de estudio en vivo para brindar a los desarrolladores de robótica orientación técnica y soporte para la resolución de problemas para Isaac Sim e Isaac Lab. Aprende a comenzar a simular robots en Isaac Sim con este nuevo curso gratuito del NVIDIA Deep Learning Institute (DLI).
Para obtener más información sobre la optimización de los workflows de OpenUSD, explore el nuevo plan de estudios de capacitación Learn OpenUSD a su propio ritmo que incluye cursos gratuitos de DLI para profesionales y desarrolladores de 3D. Para obtener más recursos sobre OpenUSD, explore el foro de Alliance for OpenUSD y el sitio web de AOUSD.
Mantente al día suscribiéndote a las noticias de NVIDIA, uniéndote a la comunidad y siguiendo a NVIDIA Omniverse en Instagram, LinkedIn, Medium y X.
Imagen destacada cortesía de Fourier.