Los robots están moviendo mercancías en almacenes, empaquetando alimentos y ayudando a ensamblar vehículos, lo que brinda una automatización mejorada a los casos de uso en todas las industrias.
Su éxito es clave: la IA física y la simulación robótica.
La IA física describe modelos de IA que pueden comprender e interactuar con el mundo físico. La IA física encarna la próxima ola de máquinas y robots autónomos, como los coches autónomos, los manipuladores industriales, los robots móviles, los humanoides e incluso la infraestructura gestionada por robots, como fábricas y almacenes.
Con la puesta en marcha virtual de robots en mundos digitales, los robots se entrenan primero utilizando software de simulación robótica antes de ser desplegados para casos de uso en el mundo real.
Simulación Robótica Resumida
Un simulador de robótica avanzada facilita el aprendizaje de los robots y las pruebas de robots virtuales sin necesidad del robot físico. Mediante la aplicación de principios físicos y la replicación de condiciones del mundo real, estos simuladores generan conjuntos de datos sintéticos para entrenar modelos de machine learning para su implementación en robots físicos.
Las simulaciones se utilizan para el entrenamiento inicial del modelo de IA y luego para validar toda la pila de software, lo que minimiza la necesidad de robots físicos durante las pruebas. NVIDIA Isaac Sim, una aplicación de referencia basada en la plataforma NVIDIA Omniverse, proporciona visualizaciones precisas y admite workflows basados en Universal Scene Description (OpenUSD) para la simulación y validación avanzadas de robots.
El Framework de 3 Computadoras de NVIDIA Facilita la Simulación de Robots
Se necesitan tres computadoras para entrenar e implementar la tecnología robótica.
- Una supercomputadora para entrenar y afinar potentes modelos de IA generativa y de base.
- Una plataforma de desarrollo para la simulación y pruebas de robótica.
- Una computadora de tiempo de ejecución integrado para desplegar modelos entrenados en robots físicos.
Solo después de una formación adecuada en entornos simulados se pueden poner en marcha robots físicos.
La plataforma NVIDIA DGX puede servir como el primer sistema de computación para entrenar modelos.
NVIDIA Omniverse, que se ejecuta en servidores NVIDIA OVX, funciona como el segundo sistema de computación, proporcionando la plataforma de desarrollo y el entorno de simulación para probar, optimizar y depurar la IA física.
Las computadoras robóticas NVIDIA Jetson Thor diseñadas para la computación en el edge sirven como la tercera computadora de tiempo de ejecución.
¿Quién Utiliza la Simulación Robótica?
Hoy en día, la tecnología robótica y las simulaciones de robots impulsan las operaciones de forma masiva en todos los casos de uso.
Delta Electronics, líder mundial en tecnologías térmicas y de energía, utiliza la simulación para probar sus algoritmos de inspección óptica con el fin de detectar defectos de productos en las líneas de producción.
Startup de tecnología profunda, Wandelbots está construyendo un simulador personalizado mediante la integración de Isaac Sim en su aplicación, lo que facilita a los usuarios finales la programación de células de trabajo robóticas en simulación y la transferencia sin problemas de modelos a un robot real.
Boston Dynamics está activando a investigadores y desarrolladores a través de su kit de investigación de aprendizaje por refuerzo.
La empresa de robótica Fourier está simulando condiciones del mundo real para entrenar a robots humanoides con la precisión y agilidad necesarias para una estrecha colaboración entre robots y humanos.
Uso de NVIDIA Isaac Sim, empresa de robótica Galbot creó DexGraspNet, un conjunto de datos simulado completo para agarres robóticos diestros que contiene más de 1 millón de agarres ShadowHand en más de 5,300 objetos. El conjunto de datos se puede aplicar a cualquier mano robótica hábil para realizar tareas complejas que requieren habilidades motoras finas.
Uso de la Simulación Robótica para la Planificación y el Control de Resultados
En entornos industriales complejos y dinámicos, la simulación robótica está evolucionando para integrar gemelos digitales, mejorando la planificación, el control y los resultados de aprendizaje.
Los desarrolladores importan modelos de diseño asistido por computadora a un simulador de robótica para construir escenas virtuales y emplean algoritmos para crear el sistema operativo del robot y permitir la planificación de tareas y movimientos. Mientras que los métodos tradicionales implican la prescripción de señales de control, el cambio hacia el machine learning permite a los robots aprender comportamientos a través de métodos como la imitación y el aprendizaje por refuerzo, utilizando señales de sensores simuladas.
Esta evolución continúa con los gemelos digitales en instalaciones complejas como las líneas de montaje de manufactura, donde los desarrolladores pueden probar y perfeccionar las IA en tiempo real completamente en simulación. Este enfoque ahorra tiempo y costos de desarrollo de software, y reduce el tiempo de inactividad al anticiparse a los problemas. Por ejemplo, usando NVIDIA Omniverse, Metropolis y cuOpt, los desarrolladores pueden utilizar gemelos digitales para desarrollar, probar y perfeccionar la IA física en simulación antes de implementarla en la infraestructura industrial.
Avances en Simulación de Alta Fidelidad Basada en la Física
Las simulaciones de alta fidelidad basadas en la física han potenciado la robótica industrial a través de la experimentación del mundo real en entornos virtuales.
NVIDIA PhysX, integrado en Omniverse e Isaac Sim, permite a los expertos en robótica desarrollar habilidades motoras finas y gruesas para manipuladores de robots, dinámica corporal rígida y blanda, dinámica de vehículos y otras características críticas que garantizan que el robot obedezca las leyes de la física. Esto incluye un control preciso sobre los actuadores y el modelado de la cinemática, que son esenciales para los movimientos precisos del robot.
Para cerrar la brecha entre la simulación y la realidad, Isaac Lab ofrece un framework de código abierto de alta fidelidad para el aprendizaje por refuerzo y el aprendizaje por imitación que facilita la transferencia fluida de políticas de entornos simulados a robots físicos. Con la paralelización de GPU, Isaac Lab acelera el entrenamiento y mejora el rendimiento, haciendo que las tareas complejas sean más alcanzables y seguras para los robots industriales.
Para obtener más información sobre cómo crear una política de aprendizaje por refuerzo de locomoción con Isaac Sim e Isaac Lab, lea este blog para desarrolladores.
Enseñando el Movimiento Sin Colisiones para la Autonomía
La capacitación de robots industriales a menudo ocurre en entornos específicos como fábricas o centros de cumplimiento, donde las simulaciones ayudan a abordar los desafíos relacionados con varios tipos de robots y entornos caóticos. Un aspecto crítico de estas simulaciones es generar un movimiento libre de colisiones en entornos desconocidos y desordenados.
Los enfoques tradicionales de planificación del movimiento que intentan abordar estos desafíos pueden quedarse cortos en entornos desconocidos o dinámicos. SLAM, o localización y mapeo simultáneos, se puede utilizar para generar mapas 3D de entornos con imágenes de cámara desde múltiples puntos de vista. Sin embargo, estos mapas requieren revisiones cuando los objetos se mueven y se cambian los entornos.
El equipo de investigación de NVIDIA Robotics y la Universidad de Washington presentaron Motion Policy Networks (MπNets , una política neuronal de extremo a extremo que genera movimiento en tiempo real y sin colisiones utilizando el flujo de datos de una sola cámara fija. Entrenado en más de 3 millones de problemas de planificación de movimiento y 700 millones de nubes de puntos simuladas, MπNets navega eficazmente por entornos desconocidos del mundo real.
Si bien el modelo MπNets aplica el aprendizaje directo para las trayectorias, el equipo también desarrolló un modelo de colisión basado en nubes de puntos llamado CabiNet, entrenado en más de 650.000 escenas simuladas generadas por procedimientos.
Con el modelo CabiNet, los desarrolladores pueden implementar políticas de selección y colocación de propósito general de objetos desconocidos más allá de una configuración de mesa plana. El entrenamiento con un gran conjunto de datos sintéticos permitió que el modelo se generalizara a escenas fuera de distribución en un entorno de cocina real, sin necesidad de ningún dato real.
Cómo los Desarrolladores Pueden Empezar a Crear Simuladores Robóticos
Comience con recursos técnicos, aplicaciones de referencia y otras soluciones para desarrollar pipelines de simulación físicamente precisas visitando la página de casos de uso de simulación de NVIDIA Robotics.
Los desarrolladores de robots pueden aprovechar NVIDIA Isaac Sim, que admite múltiples técnicas de entrenamiento de robots:
- Generación de datos sintéticos para el entrenamiento de modelos de IA de percepción
- Pruebas de software para toda la pila de robots
- Capacitación en políticas de robots con Isaac Lab
Los desarrolladores también pueden emparejar ROS 2 con Isaac Sim para entrenar, simular y validar sus sistemas robóticos. El workflow de Isaac Sim a ROS 2 es similar a los workflows ejecutados con otros simuladores de robots como Gazebo. Comienza con llevar un modelo de robot a un entorno preconstruido de Isaac Sim, agregar sensores al robot y luego conectar los componentes relevantes al gráfico de acción de ROS 2 y simular el robot controlándolo a través de paquetes de ROS 2.