Nota del editor: Esta publicación es parte de la serie Into the Omniverse, enfocada en cómo desarrolladores, profesionales de 3D y empresas pueden transformar sus flujos de trabajo con los últimos avances en OpenUSD y NVIDIA Omniverse.
En julio, NVIDIA se unió a más de 200 empresas y organizaciones para firmar «Open Weights and American AI Leadership«, una carta abierta que argumenta que el liderazgo en IA no se medirá por ningún modelo de frontera en particular, sino por si un ecosistema abierto logra llegar a todos los sectores.
Los modelos abiertos, que cualquier persona puede descargar, inspeccionar, modificar y ejecutar en su propia infraestructura, son lo que hace posible esto. En ningún lugar es más crucial que en la IA física, donde cada implementación es un problema de especialización.
La IA física tiene que comprender y predecir consecuencias, no solo apariencias.
Para lograrlo, los modelos de mundo aprenden cómo se comportan los entornos físicos, qué puede ocurrir a continuación y qué acciones tienen sentido. Pueden generar datos de mundo y de acción con fundamento físico, simular estados futuros y proporcionar una base que los equipos pueden especializar para un robot, vehículo autónomo o sistema de visión de IA.
Los modelos de mundo abiertos ya se utilizan para generar datos de entrenamiento, probar políticas y especializar sistemas de IA física. NVIDIA Cosmos 3 reúne estas capacidades en una familia de modelos abiertos, con resultados de benchmark líderes y adopción en robótica, vehículos autónomos y visión de IA.
Las bibliotecas de NVIDIA Omniverse, parte del NVIDIA Agent Toolkit, ofrecen capacidades preconstruidas para crear mundos listos para simulación que los equipos de IA física pueden usar para entrenar, probar y validar sistemas antes del despliegue en el mundo real.
Los Modelos De Mundo Son La Base De La IA Física
Los datos detrás de la IA física son difíciles y costosos de recopilar a la escala necesaria. Los eventos raros y los escenarios de cola larga pueden ser especialmente difíciles de reproducir de forma segura y repetida.
Los modelos de mundo permiten:
- Datos más útiles al aprender relaciones físicas de escenarios multimodales a gran escala.
- Entornos más diversos que varían en clima, iluminación, objetos y trayectorias.
- Una base mejor para desarrollar y adaptar a un robot específico, vehículo, configuración de sensores, tarea o entorno operativo.
Un modelo general no conoce el robot particular de un equipo, sus sensores ni su entorno operativo. Cerrar esa brecha requiere acceso a los pesos del modelo, una licencia que permita la adaptación y las herramientas necesarias para el post-entrenamiento.
Los modelos de mundo fundacionales NVIDIA Cosmos están disponibles bajo la licencia OpenMDW 1.1 de la Linux Foundation, lo que permite a los equipos hacer post-entrenamiento con sus propios datos y hardware. La especialización es donde la apertura se convierte en un requisito técnico práctico.
Especializar un modelo es solo parte del flujo de trabajo. Los equipos también necesitan entornos para generar datos, ejecutar simulaciones y probar comportamientos.
Las bibliotecas de Omniverse ayudan a los desarrolladores a crear entornos listos para simulación, mientras que OpenUSD proporciona el framework abierto para componer, reutilizar e intercambiar datos 3D complejos en flujos de trabajo de gemelos digitales, simulaciones y generación de datos sintéticos. Juntos, Omniverse y OpenUSD reducen el trabajo duplicado que puede acumularse cada vez que cambian los activos, las configuraciones de sensores o las condiciones del entorno.
Cosmos 3: El Modelo De Frontera
NVIDIA Cosmos 3, un omni-model de frontera y abierto para IA física, construido sobre una arquitectura mixture-of-transformers, combina razonamiento visual, generación de mundo y predicción de acción. Permite a los desarrolladores usar una sola familia de modelos para comprender escenas, generar datos sintéticos, simular estados futuros y crear modelos de acción de mundo especializados.
Los desarrolladores pueden usar Cosmos 3 como un modelo de lenguaje y visión, como un simulador de mundo con fundamento físico que predice estados futuros y genera datos sintéticos a gran escala, o como la base para modelos de acción de mundo, en lugar de ensamblar y mantener un modelo separado para cada capacidad.
La familia incluye Cosmos 3 Super (64B) para modelado de mundo de alta fidelidad, Cosmos 3 Nano (16B) para razonamiento eficiente y post-entrenamiento, y Cosmos 3 Edge (4B) para razonamiento visual en dispositivo y despliegue de políticas robóticas. Suficientemente ligero para ejecutarse en GPUs de edge, Cosmos 3 Edge puede desplegarse en GPUs NVIDIA RTX, sistemas NVIDIA DGX y NVIDIA Jetson, incluidas las plataformas Jetson Thor.
En las evaluaciones de benchmark, Cosmos 3 ocupa el primer lugar en Artificial Analysis para generación de texto a imagen y de imagen a video con pesos abiertos, en PAI-Bench para generación de mundo y en la categoría imagen a video de Physics-IQ. Para política robótica, ocupa el primer lugar en RoboLab. Cosmos 3 Super también es el modelo abierto mejor clasificado en VANTAGE-Bench para comprensión visual.
Además de Cosmos, la pila de IA física de NVIDIA incluye Isaac GR00T para robótica, Alpamayo para vehículos autónomos y Metropolis para visión de IA.
Cómo Los Desarrolladores Están Usando Cosmos 3
En diversas industrias, los desarrolladores están construyendo sobre NVIDIA Cosmos para aplicaciones de IA física: Doosan Robotics, LG Electronics, Samsung Electronics y Skild AI en robótica; Li Auto, Xiaomi y Afari en vehículos autónomos; y Centific, Fogsphere, Linker Vision, Milestone Systems y Yuan para agentes de visión de IA que impulsan aplicaciones de IA industrial y espacios inteligentes.
La NVIDIA Cosmos Coalition amplía este trabajo reuniendo a creadores de modelos de mundo, desarrolladores de IA y líderes de IA física para contribuir con modelos, investigación y métodos de evaluación. NVIDIA recientemente expandió la coalición a Japón, donde líderes en robótica y manufactura tienen la intención de desarrollar modelos de mundo abiertos para fábricas, logística, agricultura, construcción, salud y transporte.
En conjunto, estas implementaciones y colaboraciones están estableciendo los modelos de mundo abiertos como una base adaptable para la IA física en robots, vehículos autónomos y sistemas de visión de IA.
Conéctate
Conoce más sobre modelos de mundo, OpenUSD y desarrollo de IA física:
- Explora la colección de modelos abiertos de Cosmos 3 en Hugging Face y GitHub.
- Lee el informe técnico de Cosmos 3 con detalles completos de arquitectura y evaluaciones.
- Lee el blog técnico de Cosmos 3.
- Sintoniza las transmisiones en vivo de Cosmos Labs.
- Conoce la NVIDIA Cosmos Coalition.