Los pisos de fábrica, los almacenes y las líneas de producción casi nunca se quedan quietos: las tareas cambian, los layouts se mueven, llegan productos nuevos, y la mayoría de los robots no puede seguir el ritmo sin una reprogramación pesada.
El nuevo modelo de base para robots S1, de Skild AI, ataca ese problema: fue diseñado para aprender tareas inéditas y de horizonte largo a partir de una sola demostración en video. El modelo, lanzado la semana pasada, usa el video como entrada para entender y ejecutar la tarea sin actualizar sus propios pesos y sin pasar por post-entrenamiento específico, una técnica llamada in-context learning.
Skild construyó S1 y realizó la investigación en infraestructura de IA de NVIDIA, parte de una colaboración más amplia que abarca generación de datos sintéticos, entrenamiento de modelos, simulación y despliegue de IA Física en el mundo real. Las dos empresas trabajan para sacar la inteligencia adaptable de robots del laboratorio y llevarla a fábricas y otros entornos de operación dinámicos.
«Aprender por experiencia, y no por preprogramación, es el cambio de nivel que ocurrió en la robótica», dijo Deepak Pathak, cofundador y CEO de Skild AI. «Las tecnologías NVIDIA Isaac Lab y NVIDIA Cosmos ayudan a Skild a crear la experiencia escalable y diversa que sus robots necesitan para aprender en muchos escenarios y cuerpos distintos.»
El lanzamiento llega en el momento en que la empresa alcanzó un run rate de ingresos anuales de USD 100 millones, 10 meses después de su primer despliegue comercial. En ese periodo, Skild construyó más de 60 alianzas de despliegue, con trabajos en manufactura, logística, inspección, seguridad, preparación de alimentos y otras aplicaciones.
Aprender un trabajo nuevo a partir de un video
La mayoría de los robots industriales está hecha para tareas fijas, así que cada producto, proceso o layout nuevo exige más datos, reentrenamiento y validación.
S1 sigue otro camino: un operador graba un video de la tarea deseada y se lo entrega al modelo como prompt. El modelo interpreta la intención demostrada, los objetos y la secuencia, y luego los mapea en acciones para el robot que tiene enfrente, sin reentrenamiento, y muchas veces para una tarea que no estaba en su conjunto de preentrenamiento.
S1 puede ejecutar tareas desconocidas de hasta 10 minutos, incluidas plantar en maceta, hacer hotcakes, preparar café de filtro y armar kits. Estas tareas pueden tener docenas de pasos de manipulación y exigen que el robot combine habilidades en secuencias que nunca ejecutó antes.
En una prueba de plantado en maceta, el equipo de Skild AI pasó de grabar la demostración a la ejecución autónoma en el hardware en 11 minutos. El modelo también puede ajustarse cuando los objetos se mueven, recuperarse de errores y combinar habilidades en secuencias que no fueron programadas de forma explícita.
En las pruebas de Skild con tareas nuevas de varios pasos, el robot con S1 acertó cerca del 66% de las veces en cada paso, frente al 9% de un sistema de IA similar, una mejora de más de siete veces. Skild también estima que mostrarle al robot un ejemplo corto en video puede valer tanto como darle unos 380 ejemplos prácticos. Una persona recolectando esos ejemplos a mano tardaría de 50 a 100 horas.
De la investigación al piso de fábrica
S1 rompe el ciclo de tener que reentrenar robots ante cada cambio, porque deja que el operador demuestre tareas nuevas directamente, sin exigir un conjunto de datos y una corrida de entrenamiento por cada modificación. Donde los acuerdos con clientes lo permiten, la experiencia de los despliegues comerciales de Skild puede alimentar el modelo más amplio y ayudar a acelerar despliegues futuros.
Ese trabajo ya está en campo. Skild, NVIDIA y Foxconn están desplegando el Skild Brain en manipuladores de dos brazos para el ensamblaje de alta precisión de sistemas NVIDIA Blackwell. En uno de los flujos demostrados, un robot instala una barra colectora y un bloque limitador, aprieta 16 tornillos y se adapta a perturbaciones a lo largo de una tarea de varios pasos. El trabajo exige movimiento preciso, control sensible al contacto, seguimiento de secuencia y recuperación cuando la escena difiere del plan.
Tecnología NVIDIA en todo el ciclo de desarrollo
El cómputo acelerado de NVIDIA le da a Skild la escala para entrenar su cerebro de robot compartido usando simulación, video humano, teleoperación y, donde se permite, datos de despliegue. Los modelos de base de mundo abiertos NVIDIA Cosmos ayudan a diversificar los datos de entrenamiento y a convertir video en descripciones estructuradas, mientras que Cosmos Curator ayuda a anotar, filtrar y organizar datos a escala.
Skild usa de forma intensiva los frameworks de simulación abiertos de NVIDIA para entrenar y validar su cerebro de robot antes del despliegue en el mundo real. Las bibliotecas NVIDIA Omniverse y el framework NVIDIA Isaac Sim ofrecen entornos virtuales con base física para generar datos, probar casos extremos y validar comportamientos.
Skild fortalece aún más las habilidades de su cerebro con aprendizaje por refuerzo en Isaac Lab, un framework abierto y modular de aprendizaje para robots. Impulsado por el motor de física Newton, Isaac Lab ayuda a los ingenieros de Skild a modelar con precisión distintos parámetros físicos, como fuerza, contacto, colisión y presión, y a reducir la distancia entre simulación y realidad.
Skild y NVIDIA también desarrollan en conjunto nuevos solvers de simulación acelerados por GPU, que modelan de forma rápida y precisa cómo los robots tocan, sujetan y manipulan objetos sólidos. Estarán disponibles pronto para todos los desarrolladores como parte de Newton.
Conforme los modelos avanzan hacia producción, las herramientas NVIDIA Nsight ayudan a los ingenieros a encontrar cuellos de botella de rendimiento durante el entrenamiento, y el SDK NVIDIA TensorRT optimiza la inferencia para que los robots respondan rápido en el mundo físico. En conjunto, estas tecnologías conectan las etapas de datos, simulación, entrenamiento y despliegue en lugar de tratarlas como sistemas separados.
Lea la investigación de S1 de Skild AI y explore la plataforma de robótica NVIDIA Isaac.