Nota del editor: Este post forma parte de la serie IA Decodificada, que desmitifica la IA haciendo la tecnología más accesible, y que muestra nuevo hardware, software, herramientas y aceleraciones para usuarios de PCs RTX.
La plataforma de IA RTX de NVIDIA incluye herramientas y kits de desarrollo de software que ayudan a los desarrolladores de Windows a crear funciones de IA generativa de última generación para ofrecer el mejor rendimiento en PCs y estaciones de trabajo con IA.
En GTC la conferencia tecnológica anual de NVIDIA se ha reunido un equipo de personalidades de la industria, desarrolladores e investigadores para aprender unos de otros e impulsar el futuro de la IA y la computación acelerada.
Esta edición especial de AI Decodificada de GTC destaca las mejores herramientas de IA disponibles en la actualidad y analiza lo que les espera a los 100 millones de usuarios y desarrolladores de PC y estaciones de trabajo RTX.
ChatRTX, la demostración técnica y el proyecto de referencia para desarrolladores que permite a los usuarios conectar de forma rápida y sencilla un potente LLM a sus propios datos, mostró nuevas capacidades y nuevos modelos en la sala de exposiciones de GTC.
El lunes se anunciaron los ganadores del concurso Gen AI en RTX PCs. OutlookLLM, Rocket League BotChat y CLARA se destacaron en una de las charlas de AI Decodificada en el teatro de IA generativa y cada uno está acelerado por NVIDIA TensorRT-LLM. Otras dos charlas de AI Decodificada trataron sobre el uso de la IA generativa en la creación de contenidos y el ChatRTX.
Los marcos e interfaces para desarrolladores con integración TensorRT-LLM siguen creciendo, como Jan.ai, Langchain, LlamaIndex y Oobabooga, que pronto se acelerarán, lo que contribuirá a aumentar las más de 500 aplicaciones de IA para PCs y estaciones de trabajo RTX.
Los microservicios NVIDIA NIM llegan a las PCs y estaciones de trabajo RTX. Proporcionan contenedores preconstruidos, con APIs estándar del sector, que permiten a los desarrolladores acelerar la implementación en las PCs y estaciones de trabajo RTX. NVIDIA AI Workbench, un conjunto de herramientas fáciles de usar para gestionar los flujos de trabajo de optimización y personalización de modelos de IA ya está disponible para los desarrolladores de RTX.
Estas integraciones y herramientas del ecosistema acelerarán el desarrollo de nuevas aplicaciones y funciones de Windows. Y los ganadores del concurso de hoy son una inspiradora muestra de cómo será ese contenido.
Oír más, ver más, charlar más
Chat with RTX, o ChatRTX para abreviar, utiliza la generación aumentada por recuperación, el software NVIDIA TensorRT-LLM y la aceleración NVIDIA RTX para llevar la capacidad de IA generativa local a los sistemas Windows con RTX. Los usuarios pueden conectar de forma rápida y sencilla archivos locales como conjunto de datos a un modelo de lenguaje abierto de gran tamaño como Mistral o Llama 2, lo que permite realizar consultas para obtener respuestas rápidas y contextualmente relevantes.
Yendo más allá del texto, ChatRTX pronto añadirá soporte para voz, imágenes y nuevos modelos.
Los usuarios podrán hablar con ChatRTX con Whisper, un sistema de reconocimiento automático de voz que utiliza IA para procesar el lenguaje hablado. Cuando la función esté disponible, ChatRTX podrá «entender» el lenguaje hablado y ofrecer respuestas en texto.
Una futura actualización añadirá también soporte para fotos. Gracias a la integración de CLIP (Contrastive Language-Image Pre-training) de OpenAI, los usuarios podrán buscar por palabras, términos o frases para encontrar fotos en su biblioteca privada.
Además de Gemma de Google, ChatGLM recibirá soporte en una futura actualización.
Los desarrolladores pueden empezar con la última versión del proyecto de referencia para desarrolladores en GitHub.
La IA generativa triunfa
El concurso para desarrolladores NVIDIA Generativa AI en NVIDIA RTX animaba a los desarrolladores a crear una aplicación o un complemento para Windows.
[pullquote]»Descubrí que jugar contra bots que reaccionan a los eventos del juego con mensajes dentro del juego casi en tiempo real añade un nuevo nivel de entretenimiento al juego, y estoy emocionado de compartir mi enfoque para incorporar la IA en el juego como participante en este concurso de desarrolladores. El público objetivo de mi proyecto es cualquiera que juegue a Rocket League con hardware RTX.» – Brian Caffey, desarrollador de Rocket League BotChat[/pullquote]
Las propuestas se valoraron en función de tres criterios: un breve video de demostración publicado en las redes sociales, el impacto relativo y la facilidad de uso del proyecto, y la eficacia con la que se utilizó la lista tecnológica de NVIDIA en el proyecto. Cada uno de los tres ganadores recibió un pase para la GTC, una plaza en los cursos GenAI/LLM del Instituto de Aprendizaje Profundo de NVIDIA y una GPU GeForce RTX 4090 para futuros trabajos de desarrollo.
OutlookLLM ofrece a los usuarios de Outlook funciones de IA generativa, como la composición de correos electrónicos, de forma segura y privada en su cliente de correo electrónico en PC y estaciones de trabajo RTX. Utiliza un LLM local servido a través de TensorRT-LLM.
Rocket League BotChat, para el popular juego Rocket League, es un complemento que permite a los bots enviar mensajes de chat contextuales en el juego basados en un registro de eventos del juego, como marcar un gol o realizar una parada. Diseñado para usarse solo en partidas offline contra jugadores bot, el complemento se puede configurar de muchas maneras a través de su menú de ajustes.
CLARA (abreviatura de Command Line Assistant with RTX Acceleration) está diseñada para mejorar la interfaz de línea de comandos de PowerShell traduciendo instrucciones en inglés sencillo a comandos procesables. La extensión se ejecuta localmente, de forma rápida y mantiene a los usuarios en su contexto de PowerShell. Una vez activada, los usuarios escriben sus instrucciones en inglés y pulsan el botón de tabulación para invocar CLARA. La instalación es sencilla y existen opciones de configuración manual o basada en secuencias de comandos.
Del Teatro de la IA Generativa
Los asistentes a la GTC pueden asistir a tres charlas AI Decoded el miércoles 20 de marzo en el teatro de IA generativa. Estas sesiones de 15 minutos guiarán al público a través de ChatRTX y la forma en que los desarrolladores pueden producir su propio chatbot personalizado; cómo cada uno de los tres ganadores del concurso mostró algunas de las posibilidades de las aplicaciones de IA generativa en los sistemas RTX; y una celebración de los artistas, las herramientas y los métodos que utilizan impulsados por la tecnología NVIDIA.
En la sesión dedicada a los creadores, Lee Fraser, el gerente senior de relaciones con desarrolladores para entretenimiento y medios de IA generativa en NVIDIA explorará por qué la IA generativa se ha vuelto tan popular. Mostrará nuevos flujos de trabajo y cómo los creadores pueden explorar ideas rápidamente. Entre los artistas que participarán se encuentran Steve Talkowski, Sophia Crespo, Lim Wenhui, Erik Paynter, Vanessa Rosa y Refik Anadol.
Anadol también presenta en la exposición una instalación que combina la visualización de datos con imágenes basadas en esos datos.
El ecosistema de la aceleración
Los principales desarrolladores de aplicaciones creativas, como Blackmagic Design y Topaz Labs, han integrado la aceleración RTX AI en su software. TensorRT duplica la velocidad de efectos de IA como rotoscopia, eliminación de ruido, superresolución y estabilización de vídeo en las aplicaciones DaVinci Resolve y Topaz.
«Las colaboraciones en curso de Blackmagic Design y NVIDIA para ejecutar modelos de IA en PC RTX AI producirán una nueva ola de características innovadoras que brindarán a los usuarios el poder de crear contenido cautivador e inmersivo, más rápido.» – Rohit Gupta, director de desarrollo de software de Blackmagic Design.
TensorRT-LLM se está integrando con marcos y ecosistemas de desarrollo populares como LangChain, LlamaIndex, Oobabooga y Jan.AI. Los desarrolladores y entusiastas pueden acceder fácilmente a las ventajas de rendimiento de TensorRT-LLM a través de los principales marcos LLM para crear e implantar aplicaciones de IA generativa en GPU locales y en la nube.
Los entusiastas también pueden probar sus LLM favoritos acelerados con TensorRT-LLM en sistemas RTX a través de las interfaces de chat de Oobabooga y Jan AI.
Inteligencia Artificial NIMble, Inteligencia Artificial Rápida
Los desarrolladores y entusiastas pueden aprovechar los microservicios de NIM. Estos «contenedores» de IA preconstruidos, con API estándar del sector, ofrecen una solución optimizada que ayuda a reducir el tiempo de implantación de semanas a minutos. Pueden utilizarse con más de dos docenas de modelos populares de NVIDIA, Getty Images, Google, Meta, Microsoft, Shutterstock y otros.
NVIDIA AI Workbench ya está disponible de forma generalizada para ayudar a los desarrolladores a crear, probar y personalizar rápidamente modelos generativos de IA y LLM preentrenados en las GPUs RTX. Ofrece acceso simplificado a repositorios populares como Hugging Face, GitHub y NVIDIA NGC, junto con una interfaz de usuario simplificada que permite a los desarrolladores reproducir, colaborar y migrar proyectos con facilidad
Los proyectos pueden ampliarse fácilmente cuando se necesite más rendimiento, ya sea en el centro de datos, en una nube pública o en NVIDIA DGX Cloud, y luego volver a los sistemas RTX locales en un PC o estación de trabajo para realizar inferencias y ligeras personalizaciones. AI Workbench es de descarga gratuita y proporciona proyectos de ejemplo para ayudar a los desarrolladores a empezar a trabajar rápidamente.
Estas herramientas, y muchas otras anunciadas y mostradas en GTC, están ayudando a los desarrolladores a impulsar soluciones innovadoras de IA.
Desde la llegada de la plataforma Blackwell hasta un gemelo digital para el clima de la Tierra, ha sido una GTC para recordar. Para los usuarios y desarrolladores de PC y estaciones de trabajo RTX También fue un vistazo a lo que sigue para la IA generativa.
Consulta el aviso relativo a la información sobre productos de software.