La IA física permite que las máquinas autónomas, como los robots y los coches autónomos, perciban, comprendan y realicen acciones complejas en el mundo real (físico). También se le suele denominar «IA física generativa» debido a su capacidad para generar información y acciones para ejecutar.
¿Cómo funciona la IA física?
Los modelos de IA generativa (grandes modelos de lenguaje como GPT y Llama) se entrenan con enormes cantidades de datos de texto e imágenes, recopilados en gran medida de Internet. Estas IA tienen capacidades asombrosas para producir lenguaje humano y conceptos abstractos, pero están limitadas en su comprensión del mundo físico y sus reglas.
La IA física generativa amplía la IA generativa actual con la comprensión de las relaciones espaciales y el comportamiento físico del mundo 3D en el que todos vivimos. Esto se hace proporcionando datos adicionales que contienen información sobre las relaciones espaciales y las reglas físicas del mundo real durante el proceso de entrenamiento de la IA.
Los datos de entrenamiento 3D se generan a partir de simulaciones por ordenador de alta precisión, que sirven como fuente de datos y como campo de entrenamiento de IA.
La generación de datos basados en la física comienza con un gemelo digital de un espacio, como una fábrica. En este espacio virtual se suman sensores y máquinas autónomas como robots. Se realizan simulaciones que imitan escenarios del mundo real, y los sensores capturan diversas interacciones, como la dinámica de los cuerpos rígidos, como el movimiento y las colisiones, o cómo interactúa la luz en un entorno.
¿Cuál Es el Papel del Aprendizaje por Refuerzo en la IA Física?
El aprendizaje por refuerzo enseña a las máquinas autónomas habilidades en un entorno simulado para que funcionen en el mundo real. Permite que las máquinas autónomas aprendan habilidades de forma segura y rápida a través de miles o incluso millones de actos de prueba y error.
Esta técnica de aprendizaje recompensa a un modelo físico de IA por completar con éxito las acciones deseadas en la simulación, por lo que el modelo se adapta y mejora continuamente. Con el aprendizaje por refuerzo repetido, las máquinas autónomas eventualmente se adaptan a nuevas situaciones y desafíos imprevistos de manera adecuada, preparándolas para operar en el mundo real. Con el tiempo, una máquina autónoma puede desarrollar sofisticadas habilidades motoras finas necesarias para aplicaciones del mundo real, como empacar cajas de manera ordenada, ayudar a construir vehículos o navegar por entornos sin ayuda.
¿Por Qué Es Importante la IA Física?
Anteriormente, las máquinas autónomas eran incapaces de percibir y sentir el mundo que las rodeaba. Pero con la IA física generativa, los robots se pueden construir y entrenar para interactuar y adaptarse sin problemas a su entorno en el mundo real.
Para crear una IA física, los equipos necesitan potentes simulaciones basadas en la física que proporcionen un entorno seguro y controlado para entrenar máquinas autónomas. Esto no solo mejora la eficiencia y la precisión de los robots en la realización de tareas complejas, sino que también facilita interacciones más naturales entre humanos y máquinas, mejorando la accesibilidad y la funcionalidad en aplicaciones del mundo real.
La IA física generativa está desbloqueando nuevas capacidades que transformarán todas las industrias. Por ejemplo:
Robots: Con la IA física, los robots demuestran avances significativos en las capacidades operativas dentro de varios entornos.
- Robots Móviles Autónomos (AMR) en los almacenes pueden navegar por entornos complejos y evitar obstáculos, incluidos los humanos, mediante el uso de la retroalimentación directa de los sensores a bordo.
- Manipuladores pueden ajustar su fuerza de agarre y posición en función de la posición de los objetos en una cinta transportadora, mostrando habilidades motoras finas y gruesas adaptadas al tipo de objeto.
- Robots Quirúrgicos se benefician de esta tecnología al aprender tareas complejas, como enhebrar agujas y realizar puntos de sutura, lo que pone de manifiesto la precisión y adaptabilidad de la IA física generativa en el entrenamiento de robots para tareas especializadas.
- Robots humanoides, robots de propósito general, necesitan habilidades motoras gruesas y finas, lo que requiere la capacidad de percibir, comprender, navegar e interactuar con el mundo físico sin importar la tarea que se les asigne.
Vehículos Autónomos (AV): Los VA utilizan sensores para percibir y comprender su entorno, lo que les permite tomar decisiones informadas en diversos entornos, desde autopistas abiertas hasta paisajes urbanos. Al entrenar a los VA con IA física, permite que los VA detecten con mayor precisión a los peatones, respondan al tráfico o a las condiciones meteorológicas y naveguen de forma autónoma por los cambios de carril, adaptándose eficazmente a una amplia gama de escenarios inesperados.
Espacios Inteligentes: La IA física está mejorando la funcionalidad y la seguridad de grandes espacios interiores como fábricas y almacenes, donde las actividades diarias implican un tráfico constante de personas, vehículos y robots. Mediante el uso de cámaras fijas y modelos avanzados de visión artificial, los equipos pueden mejorar la planificación dinámica de rutas y optimizar la eficiencia operativa mediante el seguimiento de múltiples entidades y actividades dentro de estos espacios. Además, priorizan la seguridad humana al percibir y comprender con precisión entornos complejos a gran escala.
¿Cómo Se Puede Empezar con la IA Física?
La construcción de la próxima generación de máquinas autónomas utilizando IA física implica un proceso coordinado entre múltiples computadoras especializadas:
- Construir un entorno virtual 3D:Se requiere un entorno virtual de alta fidelidad basado en la física para representar el entorno real y generar los datos sintéticos necesarios para entrenar la IA física. NVIDIA Omniverse™ es una plataforma de API, SDK y servicios que permite a los desarrolladores integrar fácilmente las tecnologías de renderizado Universal Scene Description (OpenUSD) y RTX en las herramientas de software y los workflows de simulación existentes para crear estos entornos 3D. Este entorno es compatible con los sistemas NVIDIA OVX™. Este paso también incluye la captura de escenas o datos a gran escala que se necesitan para la simulación o el entrenamiento del modelo. Un avance tecnológico clave que ha permitido un entrenamiento e inferencia eficientes de modelos de IA con conjuntos de datos 3D enriquecidos se llama fVDB, que representa características de forma eficaz y es una extensión de PyTorch que permite realizar operaciones de deep learning en datos 3D a gran escala.
- Generar datos sintéticos de 3D a reales: usa el SDK de Omniverse Replicator para la aleatorización de dominios de objetos y entornos. Renderiza las escenas aleatorias como imágenes o vídeos y, a continuación, utiliza los modelos NVIDIA Cosmos™ para la generación de vídeos fotorrealistas de 3D a realidad para multiplicar aún más el conjunto de datos.
- Entrenar y validar: La plataforma NVIDIA DGX™, una plataforma de IA de hardware y software totalmente integrada, se puede utilizar con datos físicos para entrenar o ajustar modelos de IA con frameworks como TensorFlow, PyTorch o NVIDIA TAO, junto con modelos de visión artificial preentrenados disponibles en NVIDIA NGC. Una vez entrenado, el modelo y su pila de software se pueden validar en simulación utilizando aplicaciones de referencia como NVIDIA Isaac Sim™. Además, los desarrolladores también pueden aprovechar frameworks de código abierto, como Isaac Lab, para refinar las habilidades del robot mediante el aprendizaje por refuerzo.
- Implementación: Por último, la pila optimizada y el modelo de políticas se pueden implementar en NVIDIA Jetson™ o NVIDIA DRIVE AGX™ para ejecutarse integrados en el propio robot o vehículo autónomo.