Para ayudar a los desarrolladores a construir rápidamente world models, que ayudan a los sistemas de IA física a comprender y simular el mundo real, NVIDIA ha ampliado la plataforma Cosmos con nuevas herramientas de entrenamiento, checkpoints de simulación y blueprints de Cosmos Data Factory.
Entre las cinco primeras en seis rankings distintos de modelos abiertos, la plataforma NVIDIA Cosmos ofrece a los desarrolladores de world models los modelos abiertos de frontera, además de datos, herramientas y recetas de entrenamiento y optimización, para escalar datos de entrenamiento, adaptar modelos, probar comportamiento y optimizar para el rendimiento antes de la implementación.
Construya mejores datos de entrenamiento
Crear world models comienza con datos multimodales y multisensoriales.
NVIDIA Cosmos Data Factory reúne las herramientas y skills para etiquetar, curar, aumentar y evaluar datos a escala para el entrenamiento de IA física. Cosmos Curator, una solución acelerada por GPU para curar datasets de entrenamiento de video, ahora incorpora soporte para entradas y bloques de procesamiento multimodales y multisensoriales.
Cosmos Data Factory ofrece ahora los siguientes cinco blueprints nativos de la nube y está disponible en GitHub, Microsoft Azure, Nebius y CoreWeave:
- Generación de datasets para vehículos autónomos: cura y etiqueta datos de manejo, luego agrega ejemplos sintéticos de escenarios difíciles de capturar para ampliar la cobertura del entrenamiento.
- Aumento de atributos de imagen: varía la apariencia de los objetos para mejorar la búsqueda de imágenes.
- Generación de videos de eventos: convierte imágenes fijas en videos sintéticos de eventos raros o peligrosos.
- Generación de imágenes de defectos: genera imágenes de defectos en placas de circuito impreso, metal y vidrio para modelos de inspección.
- Aumento de datos de video: modifica el clima y la iluminación en imágenes existentes preservando la estructura de la escena.
Cosmos Data Factory acelera la curación de datos, el procesamiento y la generación de datos sintéticos con skills agénticas.
Las empresas ya están aplicando los blueprints de Cosmos Data Factory para acelerar sus flujos de trabajo de desarrollo de IA física.
Porsche lidera el desarrollo de un flywheel compartido de datos para vehículos autónomos entre las marcas del Grupo Volkswagen, usando Cosmos Data Factory a través de Voxel51 en Microsoft Azure. Se espera que esto reduzca los recorridos físicos de prueba repetidos en hasta un 90% y acorte los tiempos de ciclo de desarrollo en hasta un 85%.
Porsche buscando y aumentando imágenes de video de vehículos autónomos en Voxel51, con Cosmos Data Factory.
ANYbotics generó más de 1,500 clips de video sintéticos con los blueprints de Cosmos Data Factory, curando datos del mundo real y validando salidas con la plataforma de Encord, para entrenar a sus robots de inspección industrial a reconocer derrames de líquidos y otros cambios entre visitas a las instalaciones.
ANYbotics generando clips de anomalías con Encord, con NVIDIA Cosmos Data Factory.
Ultralytics, empresa de visión por computadora, reentrenó su modelo YOLO con imágenes reales y defectos sintéticos específicos generados con Cosmos Data Factory, mejorando la localización de defectos y la precisión de detección.
Entrene, adapte y optimice modelos
Con los datos de entrenamiento preparados, los desarrolladores pueden entrenar su propia arquitectura o partir de un modelo preentrenado.
En el GTC Berlin, NVIDIA amplió las herramientas y recetas de entrenamiento, optimización e implementación de Cosmos Framework como skills de agentes para más modelos abiertos, junto con Cosmos 3, ofreciendo a los desarrolladores de world models un camino más rápido de la experimentación a la implementación.
Los desarrolladores y agentes ahora pueden adaptar modelos abiertos como GR00T, Alpamayo, QWEN, Pi0.5 y otros modelos compatibles de Hugging Face mediante fine-tuning y aprendizaje por refuerzo, optimizar el modelo con destilación y cuantización, e implementar con inferencia de alto rendimiento.
Cosmos Framework es un framework abierto y modular de herramientas y skills de entrenamiento y optimización de modelos para acelerar el desarrollo de world models.
Para desarrollar un world model especializado en manipulación egocéntrica, el laboratorio de investigación en robótica MicroAGI post-entrenó Cosmos 3 con videos de personas manipulando objetos y destiló su modelo de 32 mil millones de parámetros a un modelo Nano de 8 mil millones de parámetros, sin pérdida de precisión.
Los desarrolladores pueden etiquetar datos y post-entrenar Cosmos 3 en Roboflow para sus entornos y tareas específicos y, luego, implementar esos modelos en GPUs NVIDIA alojadas en Roboflow o en las instalaciones propias para llevar el razonamiento de video a fábricas y almacenes.
Pruebe políticas y ejecute modelos más rápido
Junto con estas herramientas, NVIDIA continúa avanzando la tecnología fundamental a través de su trabajo en los modelos Cosmos.
Las nuevas variantes del modelo Cosmos 3 Nano para simulación permiten a los desarrolladores probar políticas autónomas en escenarios repetibles y difíciles de capturar, con múltiples vistas y múltiples sensores. El código incluido permite adaptar los modelos para entrenar y evaluar sus propias políticas para vehículos autónomos y robots bimanuales en simulaciones interactivas antes de las pruebas en el mundo real.
Generación de datos de video multiview y multisensorial para evaluar políticas en simulación de circuito cerrado.
Los desarrolladores pueden implementar los modelos Cosmos principales usando los microservicios NVIDIA Cosmos 3 NIM actualizados, que ofrecen hasta 2x más rápido en inferencia sin pérdida de calidad en configuraciones validadas, mientras que el análisis continuo de video permite alertas en menos de un segundo.
Para los desarrolladores de IA de visión, el nuevo NVIDIA Metropolis Blueprint para búsqueda y resumen de video (VSS) 3.3, basado en los microservicios Cosmos NIM, convierte un solo prompt en una aplicación eficiente de IA para video y ayuda a los equipos a monitorear un 40% más de transmisiones de video con la misma GPU.
ADNOC usa la plataforma agéntica MistIQ de Fogsphere, desarrollada con Cosmos y el NVIDIA Metropolis VSS Blueprint, para detectar riesgos de seguridad en tiempo real en 65 sitios. Para eventos poco frecuentes, Fogsphere también usa Cosmos Data Factory para generar datos de entrenamiento sintéticos, mejorando la detección sin necesidad de recrear físicamente situaciones peligrosas.
La plataforma Cosmos es completamente modular y abierta. Los desarrolladores pueden usar Cosmos Data Factory para generar datasets de entrenamiento, Cosmos Framework para entrenar y adaptar world models, e implementar los modelos Cosmos compatibles a través de los microservicios NIM.