Los potentes modelos de IA generativa y las API y microservicios nativos de la nube están llegando al edge.
La IA generativa está llevando el poder de los modelos de transformadores y los grandes modelos de lenguaje a prácticamente todas las industrias. Ese alcance ahora incluye áreas que tocan el edge, la robótica y los sistemas logísticos: detección de defectos, seguimiento de activos en tiempo real, planificación y navegación autónomas, interacciones entre humanos y robots y más.
NVIDIA ha anunciado hoy importantes ampliaciones de dos frameworks en la plataforma NVIDIA Jetson para la IA en el edge y la robótica: el framework de robótica NVIDIA Isaac ROS ha entrado en disponibilidad general, y la expansión NVIDIA Metropolis en Jetson es la siguiente.
Para acelerar el desarrollo y las implementaciones de aplicaciones de IA en el edge, NVIDIA también ha creado un Jetson Generativa AI Lab para que los desarrolladores lo utilicen con los últimos modelos de IA generativa de código abierto.
Más de 1,2 millones de desarrolladores y más de 10.000 clientes han elegido la IA de NVIDIA y la plataforma Jetson, incluidos Amazon Web Services, Cisco, John Deere, Medtronic, Pepsico y Siemens.
Con el panorama de la IA en rápida evolución que aborda escenarios cada vez más complicados, los desarrolladores se enfrentan al reto de ciclos de desarrollo más largos para crear aplicaciones de IA para el edge. La reprogramación de robots y sistemas de IA sobre la marcha para satisfacer los entornos cambiantes, las líneas de fabricación y las necesidades de automatización de los clientes requiere mucho tiempo y habilidades expertas.
La IA generativa ofrece un aprendizaje de disparo cero, es decir, la capacidad de que un modelo reconozca cosas específicamente no vistas antes en el entrenamiento, con una interfaz de lenguaje natural para simplificar el desarrollo, la implementación y la gestión de la IA en el edge.
Transformando el Panorama de la IA
La IA generativa mejora significativamente la facilidad de uso al comprender las indicaciones del lenguaje humano para realizar cambios en el modelo. Esos modelos de IA son más flexibles a la hora de detectar, segmentar, rastrear, buscar e incluso reprogramar, y ayudan a superar los modelos tradicionales basados en redes neuronales convolucionales.
Se espera que la IA generativa agregue 10.500 millones de dólares en ingresos para las operaciones de manufactura en todo el mundo para 2033, según ABI Research.
«La IA generativa acelerará significativamente las implementaciones de IA en el edge con una mejor generalización, facilidad de uso y mayor precisión de lo que era posible anteriormente», dijo Deepu Talla, vicepresidente de computación integrada y de edge de NVIDIA. «Esta mayor expansión de software de nuestros frameworks Metropolis e Isaac en Jetson, combinada con el poder de los modelos de transformadores y la IA generativa, aborda esta necesidad».
Desarrollo con IA Generativa en el Edge
El Jetson Generative AI Lab proporciona a los desarrolladores acceso a herramientas y tutoriales optimizados para implementar LLM de código abierto, modelos de difusión para generar impresionantes imágenes interactivas, modelos de lenguaje de visión (VLM) y transformadores de visión (ViTs) que combinan IA de visión y procesamiento de lenguaje natural para proporcionar una comprensión integral de la escena.
Los desarrolladores también pueden usar el Kit de Herramientas NVIDIA TAO para crear modelos de IA eficientes y precisos para aplicaciones en el edge. TAO proporciona una interfaz de bajo código para ajustar y optimizar los modelos de IA de visión, incluidos los modelos básicos de ViT y visión. También pueden personalizar y ajustar modelos básicos como NVIDIA NV-DINOv2 o modelos públicos como OpenCLIP para crear modelos de IA de visión de alta precisión con muy pocos datos. Además, TAO ahora incluye VisualChangeNet, un nuevo modelo basado en transformadores para la inspección de defectos.
Aprovechar los Nuevos Frameworks de Metropolis e Isaac
NVIDIA Metropolis hace que sea más fácil y rentable para las empresas adoptar soluciones de clase mundial habilitadas para IA de visión para mejorar la eficiencia operativa crítica y los problemas de seguridad. La plataforma ofrece una colección de potentes interfaces de programación de aplicaciones y microservicios para que los desarrolladores desarrollen rápidamente aplicaciones complejas basadas en la visión.
Más de 1.000 empresas, entre las que se encuentran BMW Group, Pepsico, Kroger, Tyson Foods, Infosys y Siemens, están utilizando las herramientas de desarrollo de NVIDIA Metropolis para resolver los desafíos operativos y de Internet de las Cosas, el procesamiento de sensores y la IA de visión, y la tasa de adopción se está acelerando. Las herramientas ya han sido descargadas más de 1 millón de veces por aquellos que buscan crear aplicaciones de IA de visión.
Para ayudar a los desarrolladores a crear e implementar rápidamente aplicaciones de IA de visión escalables, un conjunto ampliado de API y microservicios de Metropolis en NVIDIA Jetson estará disponible a finales de año.
Cientos de clientes utilizan la plataforma NVIDIA Isaac para desarrollar soluciones robóticas de alto rendimiento en diversos ámbitos, como la agricultura, la automatización de almacenes, la entrega de última milla y la robótica de servicios, entre otros.
En ROSCon 2023, NVIDIA anunció importantes mejoras en las capacidades de percepción y simulación con nuevas versiones del software Isaac ROS e Isaac Sim. Basado en el Sistema Operativo de Robot (ROS) de código abierto ampliamente adoptado, Isaac ROS aporta percepción a la automatización, dando ojos y oídos a las cosas que se mueven. Al aprovechar la potencia de los GEM acelerados por GPU, incluida la odometría visual, la percepción de profundidad, la reconstrucción de escenas en 3D, la localización y la planificación, los desarrolladores de robótica obtienen las herramientas necesarias para diseñar rápidamente soluciones robóticas adaptadas a una amplia gama de aplicaciones.
Isaac ROS ha alcanzado el estado de listo para la producción con la última versión de Isaac ROS 2.0, lo que permite a los desarrolladores crear y llevar soluciones robóticas de alto rendimiento al mercado con Jetson.
«ROS continúa creciendo y evolucionando para proporcionar software de código abierto para toda la comunidad robótica», dijo Geoff Biggs, CTO de la Open Source Robotics Foundation. «Los nuevos paquetes ROS 2 preconstruidos de NVIDIA, lanzados con esta versión, acelerarán ese crecimiento al hacer que ROS 2 esté disponible para la vasta comunidad de desarrolladores de NVIDIA Jetson».
Entrega de Nuevos Workflows de IA de Referencia
El desarrollo de una solución de IA lista para la producción implica optimizar el desarrollo y el entrenamiento de modelos de IA adaptados a casos de uso específicos, implementar funciones de seguridad sólidas en la plataforma, orquestar la aplicación, administrar flotas, establecer una comunicación fluida del edge a la nube y más.
NVIDIA anunció una colección seleccionada de workflows de referencia de IA basados en los frameworks Metropolis e Isaac que permiten a los desarrolladores adoptar rápidamente todo el workflow o integrar selectivamente componentes individuales, lo que resulta en reducciones sustanciales tanto en el tiempo como en el costo de desarrollo. Los tres workflows de IA distintos incluyen: grabación de vídeo en red, inspección óptica automática y robot móvil autónomo.
«NVIDIA Jetson, con su amplia y diversa base de usuarios y ecosistema de socios, ha ayudado a impulsar una revolución en la robótica y la IA en el edge», dijo Jim McGregor, analista principal de Tirias Research. «A medida que los requisitos de las aplicaciones se vuelven cada vez más complejos, necesitamos un cambio fundamental hacia plataformas que simplifiquen y aceleren la creación de implementaciones en el edge. Esta importante expansión de software por parte de NVIDIA brinda a los desarrolladores acceso a nuevos modelos multisensor y capacidades de IA generativa».
Más en el Horizonte
NVIDIA anunció una colección de servicios del sistema que son capacidades fundamentales que todo desarrollador requiere al crear soluciones de IA en el edge. Estos servicios simplificarán la integración en los workflows y ahorrarán a los desarrolladores la ardua tarea de construirlos desde cero.
El nuevo NVIDIA JetPack 6, que se espera que esté disponible a finales de año, permitirá a los desarrolladores de IA mantenerse a la vanguardia de la computación sin necesidad de una actualización completa de Jetson Linux, lo que acelerará sustancialmente los plazos de desarrollo y los liberará de las dependencias de Jetson Linux. JetPack 6 también utilizará los esfuerzos de colaboración con los socios de distribución de Linux para ampliar el horizonte de las opciones de distribución basadas en Linux, incluyendo Ubuntu optimizado y certificado de Canonical, Wind River Linux, Concurrent Real-Time Redhawk Linux y varias distribuciones basadas en Yocto.
El Ecosistema de Socios se Beneficia de la Expansión de la Plataforma
El ecosistema de socios de Jetson ofrece una amplia gama de soporte, desde hardware, software de IA y servicios de diseño de aplicaciones hasta sensores, conectividad y herramientas de desarrollo. Estos innovadores de la Red de Socios de NVIDIA desempeñan un papel vital a la hora de proporcionar los componentes básicos y los subsistemas para muchos productos que se venden en el mercado.
La última versión permite a los socios de Jetson acelerar su tiempo de comercialización y ampliar su base de clientes mediante la adopción de IA con mayor rendimiento y capacidades.
Los socios proveedores de software independientes también podrán ampliar sus ofertas para Jetson.