La plataforma robótica NVIDIA Isaac está aprovechando las últimas tecnologías de simulación avanzada y de IA generativa para acelerar la robótica habilitada por IA.
Hoy, en GTC, NVIDIA anunció Isaac Manipulator e Isaac Perceptor, una colección de modelos básicos, herramientas robóticas y bibliotecas aceleradas por GPU.
En el escenario, ante una audiencia abarrotada, el fundador y CEO de NVIDIA, Jensen Huang, hizo una demostración del Proyecto GR00T, un modelo básico de propósito general para el aprendizaje de robots humanoides. El Proyecto GR00T aprovecha varias herramientas de la plataforma robótica NVIDIA Isaac para combinarlas y crear IA para robots humanoides.
«La construcción de modelos básicos para robots humanoides generales es uno de los problemas más emocionantes de resolver en IA hoy en día», dijo Huang. «Las tecnologías habilitadoras se están uniendo para que los principales expertos en robótica de todo el mundo den pasos de gigante hacia la robótica general artificial».
NVIDIA también anunció una nueva computadora para robots humanoides basada en el sistema en un chip (SoC) NVIDIA Thor y nuevas herramientas para la plataforma robótica NVIDIA Isaac, incluyendo Isaac Lab para el aprendizaje de robots y NVIDIA OSMO para la orquestación del workflow en la nube híbrida, que son fundamentales en el desarrollo del Proyecto GR00T y los modelos básicos para robots.
Presentamos el Isaac Manipulator para Brazos Robóticos
NVIDIA Isaac Manipulator ofrece una colección de capacidades modulares de IA y generación de movimiento de última generación para brazos robóticos, con una sólida colección de modelos básicos y bibliotecas aceleradas por GPU.
Los desarrolladores de robótica pueden utilizar combinaciones de componentes de software personalizados para tareas específicas para percibir e interactuar con el entorno, lo que permite la creación de workflows escalables y repetibles para tareas de manipulación dinámica al acelerar el entrenamiento de modelos de IA y la programación de tareas.
«La incorporación de nuevas herramientas para la generación de modelos básicos en la plataforma Isaac acelera el desarrollo de robots más inteligentes y flexibles que se pueden generalizar para realizar muchas tareas», dijo Deepu Talla, vicepresidente de robótica y computación en el edge de NVIDIA.
Las empresas líderes en robótica Yaskawa, Solomon, PickNik Robotics, READY Robotics, Franka Robotics y Universal Robots, una empresa de Teradyne, se han asociado con NVIDIA para llevar Isaac Manipulator a sus clientes.
«Al incorporar las herramientas y capacidades de IA de NVIDIA a las soluciones de automatización de Yaskawa, estamos ampliando los límites de dónde se pueden implementar los robots en todas las industrias», dijo Masahiro Ogawa, presidente de Yaskawa. «Esto influirá significativamente en varias industrias».
NVIDIA está introduciendo modelos básicos para aumentar los sistemas de manipulación de robots existentes. Estos ayudarán a desarrollar robots para detectar, adaptar y reprogramar para diversos entornos y aplicaciones en la manufactura inteligente, el manejo de tareas de recogida y colocación, el cuidado de máquinas y el ensamblaje con lo siguiente:
- FoundationPose es un modelo de base pionero para la estimación de poses 6D y el seguimiento de objetos nunca antes vistos.
- cuMotion aprovecha el procesamiento paralelo de las GPU NVIDIA para resolver problemas de planificación del movimiento de los robots a escala industrial mediante la ejecución de muchas optimizaciones de trayectoria al mismo tiempo para proporcionar la mejor solución.
- FoundationGrasp es un modelo basado en transformadores que puede realizar predicciones de agarre denso para objetos 3D desconocidos.
- SyntheticaDETR es un modelo de detección de objetos para entornos interiores que permite una detección, renderización y entrenamiento más rápidos con nuevos objetos.
Presentación de Isaac Perceptor para IA Visual de Robots Móviles Autónomos
Las operaciones de manufactura y cumplimiento están adoptando robots móviles autónomos (AMR) para mejorar la eficiencia y la seguridad de los trabajadores, así como para reducir las tasas de error y los costos.
Isaac Perceptor proporciona capacidades de visión multicámara de 360 grados, ofreciendo a los primeros socios de la industria, como ArcBest, BYD y KION Group, IA visual avanzada para sus instalaciones de AMR que ayudan en las operaciones de manipulación de materiales.
El NVIDIA Nova Orin DevKit, creado en colaboración con Segway Robotics y Leopard Imaging, permite a las empresas desarrollar, evaluar e implementar rápidamente Isaac Perceptor.
«ArcBest está colaborando con NVIDIA para llevar la tecnología de visión artificial de vanguardia al espacio logístico», dijo Michael Newcity, director de innovación de ArcBest y presidente de ArcBest Technologies. «El uso de la plataforma Isaac Perceptor en nuestras carretillas elevadoras y carretillas retráctiles Vaux Smart Autonomy AMR permite una mejor percepción, una navegación con conciencia semántica y un mapeo 3D para la detección de obstáculos en los procesos de manipulación de materiales en almacenes, centros de distribución e instalaciones de manufactura. Es más seguro, más eficiente y más rentable que los sensores lidar 3D actuales».
El Proyecto GR00T para el Desarrollo de Robótica Humanoide se Despide
Demostrados en GTC, los robots humanoides impulsados por GR00T pueden tomar instrucciones multimodales (texto, video y demostraciones), así como sus interacciones previas para producir la acción deseada para el robot. GR00T se mostró en cuatro robots humanoides de diferentes compañías, incluidas Agility Robotics, Apptronik, Fourier Intelligence y Unitree Robotics.
Los robots humanoides son sistemas complejos que requieren computación heterogénea para satisfacer las necesidades de controles de alta frecuencia y bajo nivel, fusión y percepción de sensores, planificación de tareas e interacción humano-robot. NVIDIA presentó una nueva computadora basada en Jetson Thor para robots humanoides, construida sobre el SoC NVIDIA Thor.
Jetson Thor incluye una GPU de próxima generación con un motor transformador que ofrece 800 teraflops de rendimiento de IA de coma flotante de 8 bits para ejecutar modelos de IA generativa multimodales como GR00T. Con un procesador de seguridad funcional integrado, un clúster de CPU de alto rendimiento y 100 GB de ancho de banda Ethernet, simplifica significativamente los esfuerzos de diseño e integración.
El proyecto GR00T utiliza las herramientas de Isaac que están disponibles para los desarrolladores de robótica para construir y probar modelos base. Entre ellas se encuentran Isaac Lab, una nueva aplicación de simulación ligera integrada en Isaac Sim para entrenar este modelo de robot humanoide a escala, y OSMO, una plataforma de orquestación de workflows en la nube para gestionar las cargas de trabajo de entrenamiento y simulación.
Aceleración del Aprendizaje de Robots con Isaac Lab
Los robots que requieren habilidades avanzadas de locomoción, ya sea caminando o agarrando, necesitan utilizar el aprendizaje de refuerzo profundo en un entorno simulado y ser entrenados repetidamente en un entorno virtual para aprender habilidades. Sin embargo, esta utilidad se vuelve más útil cuando el modelo se transfiere a la implementación real del robot, lo que se ha demostrado con el Proyecto GR00T.
Como sucesor de Isaac Gym, Isaac Lab se beneficia de las tecnologías de NVIDIA Omniverse para tareas de aprendizaje por refuerzo basadas en la percepción, fotorrealistas y basadas en la física. Isaac Lab es una aplicación de código abierto y optimizada para el rendimiento para el aprendizaje de robots basada en la plataforma Isaac Sim. Incorpora API de aprendizaje por refuerzo y un framework de tareas fácil de usar para los desarrolladores.
Habilitación de la Programación de Workflows de Robótica Nativa de la nube con NVIDIA OSMO
NVIDIA OSMO escala las cargas de trabajo en entornos distribuidos. En el caso de las cargas de trabajo robóticas con workflows complejos de varias etapas y varios contenedores, la plataforma proporciona una opción de implementación independiente de la ubicación y funciones de gestión y trazabilidad de conjuntos de datos para los modelos implementados.
«Boston Dynamics emplea una gama de tecnologías de machine learning, aprendizaje por refuerzo e inteligencia artificial para impulsar nuestros robots», dijo Pat Marion, líder de machine learning y percepción de Boston Dynamics. «Para gestionar de forma eficaz las grandes cargas de trabajo de entrenamiento, estamos utilizando NVIDIA OSMO, una solución de infraestructura que permite a nuestros ingenieros de machine learning optimizar sus workflows y dedicar su experiencia a abordar los problemas de robótica difíciles».
OSMO es compatible con GR00T, por ejemplo, mediante la ejecución simultánea de modelos en NVIDIA DGX para el entrenamiento y los servidores NVIDIA OVX para el aprendizaje por refuerzo en vivo en la simulación. Esta carga de trabajo implica generar y entrenar modelos de forma iterativa en un bucle. La capacidad de OSMO para gestionar y programar cargas de trabajo en entornos distribuidos permite la coordinación perfecta de los sistemas DGX y OVX, lo que permite un desarrollo de modelos eficiente e iterativo. Una vez que el modelo está listo para las pruebas y la validación, OSMO puede orquestar de forma única los workflows de software en bucle en OVX (x86-64), así como los workflows de hardware-in-the-loop con los recursos de computación de NVIDIA Jetson (aarch64).
Apoyo al Ecosistema de Desarrolladores de ROS
NVIDIA se unió a la Open Source Robotics Alliance (OSRA) como miembro fundador y patrocinador platino. OSRA es una nueva iniciativa de Open Source Robotics Foundation para fomentar la colaboración, la innovación y la orientación técnica en la comunidad robótica mediante el apoyo a varios proyectos de robótica de código abierto, incluido el Sistema Operativo de Robots (ROS).
«La creciente capacidad de los robots autónomos está impulsando un aumento en la demanda de computación a bordo más potente pero aún energéticamente eficiente», dijo Vanessa Yamzon Orsi, CEO de Open Robotics. «La comunidad ROS está experimentando esta demanda de primera mano, y nuestros usuarios están aprovechando cada vez más el hardware avanzado de computación acelerada de líderes de la industria como NVIDIA».
NVIDIA Isaac Perceptor con el kit de evaluación Nova Orin, Isaac Manipulator, Isaac Lab y OSMO estarán disponibles para clientes y socios en el segundo trimestre de este año. Más información sobre el Proyecto GR00T.