Como se ejemplifica con el auge de los modelos de razonamiento de IA de última generación y los agentes que cambian rápidamente el panorama tecnológico, ahora estamos claramente en un mundo «post-entrenamiento», tanto en sentido figurado como literal. En lugar de crear un modelo desde cero, muchos modelos base existentes se pueden aprovechar fácilmente para ofrecer una capacidad de pensamiento a largo plazo con ganancias sin precedentes en la capacidad de la IA para resolver problemas de múltiples capas en muchos pasos intermedios, trabajando a través de múltiples caminos de solución potenciales antes de presentar una respuesta. Pero esta inteligencia aumentada viene con nuevos desafíos.
Infraestructura Esencial en la Era del Razonamiento de IA
El costo de esta inteligencia más profunda es el aumento de la demanda de computación para respaldar el pensamiento a largo plazo. Compare un modelo que emplea la inferencia de una sola vez para responder rápidamente a una pregunta, generando unos pocos miles de tokens de IA para proporcionar una respuesta (piense en un token como la unidad de medida de la IA generativa, como una palabra o un fragmento de palabra, muchos de los cuales se combinan en respuestas completas). Por el contrario, la inferencia con razonamiento puede generar cientos de miles o incluso millones de tokens intermedios a medida que el modelo «piensa» incluso antes de responder. Esto puede impulsar un aumento de cien veces en el consumo de cómputo en forma de tokens de IA generados que el usuario nunca ve realmente.
Por lo tanto, la IA está imponiendo nuevas demandas a la infraestructura empresarial, requiriendo la interconexión de grandes clústeres de GPU para satisfacer las necesidades de estos modelos que generan tokens en un volumen masivo. A medida que se agregan más usuarios, el departamento de TI debe estar preparado para escalar estos recursos. Las empresas necesitan una arquitectura optimizada que ofrezca computación, memoria y red escalables que funcionen en combinación con la innovación de algoritmos de software. El impacto tangible de la infraestructura optimizada es una mejora de la calidad de servicio (QoS) del usuario, medida en tokens generados por usuario y un rendimiento de baja latencia de estos tokens a medida que escala la demanda.
¿Es Su Data Center lo Suficientemente «Inteligente» para el Razonamiento de la IA?
El ritmo de la innovación puede suponer una barrera adicional para muchas empresas que aún no cuentan con la profunda experiencia en hiperescala necesaria para gestionar sistemas complejos. Mientras que un hiperescalador o proveedor de la nube tiene muchos años de experiencia en la gestión de cargas de trabajo de computación de alto rendimiento, la mayoría de las empresas, especialmente las que no están centradas en TI, no lo hacen.
Estas limitaciones crean un creciente problema de rigidez de la infraestructura dentro de los data centers de IA tradicionales que ralentiza o retrasa la incorporación de la última tecnología y el tiempo hasta el primer token para nuevas aplicaciones. Estas limitaciones pueden superarse mediante una nueva experiencia e inteligencia definidas por software que pueden abstraer la complejidad de la infraestructura, lo que permite a las organizaciones centrarse en sus competencias básicas sin dejar de aprovechar el potencial transformador de la IA.
NVIDIA DGX: Fábrica de IA Empresarial de Pila Completa para la Era del Razonamiento
Dadas las limitaciones de la infraestructura tradicional para abordar las demandas de cómputo, memoria y red de pensamiento a largo plazo, cada vez más organizaciones están recurriendo a la plataforma NVIDIA DGX™. Como ejemplo canónico de una fábrica de IA, DGX está diseñada específicamente para empresas que desean una arquitectura, herramientas y modelos listos para usar optimizados para la inferencia que brinden un rendimiento de clase líder a escala con soporte de nivel empresarial.
La última generación de sistemas DGX integra la arquitectura NVIDIA Blackwell Ultra y está diseñada para pensar a largo plazo. NVIDIA DGX SuperPOD ofrece la plataforma líder en el mundo para escalar la IA empresarial, desde el entrenamiento hasta la inferencia, y ofrece beneficios arquitectónicos únicos, incluido el dominio NVIDIA NVLink más grande del mundo, memoria total de GPU y ancho de banda de memoria entre GPU inigualables, y un rendimiento líder en computación y redes. Esta arquitectura optimizada para inferencias permite a las empresas escalar el rendimiento de los tokens con la mejor calidad de servicio por usuario de su clase para maximizar los ingresos de la IA.
La Inteligencia Definida por Software Impulsa las Fábricas de IA
Para administrar fábricas de IA, las empresas necesitan acceder al mismo tipo de experiencia que antes solo podían acceder los hiperescaladores, sin la complejidad o el costo que tradicionalmente se requerían. Las empresas pueden lograr un tiempo más rápido hasta el primer token con un software inteligente que maximiza la resiliencia, el tiempo de actividad y la utilización de este activo de misión crítica, así como la productividad de los creadores de modelos que necesitan un acceso sin esfuerzo, similar a la nube, a los recursos informáticos. NVIDIA Mission Control aporta inteligencia de pila completa que puede operar fábricas de IA. Es el equivalente a acceder a la amplitud de experiencia que antes se limitaba a los grandes proveedores de nube, y que ahora se entrega a todas las empresas como software.
Tres Razones Por Las Que Puede Ser el Momento de Crear Tu Propia Fábrica de IA
Los líderes empresariales y de TI pueden prepararse para la IA con las siguientes consideraciones que pueden ayudar a garantizar que su plataforma esté preparada para las demandas de los modelos de última generación:
- Si bien muchas empresas pueden evitar la capacitación previa, las plataformas diseñadas específicamente para la inferencia ahora son apuestas de mesa. La infraestructura de inferencia debe satisfacer las demandas de cómputo, memoria y redes del razonamiento de IA que genera grandes volúmenes de tokens que permiten el pensamiento a largo plazo. Esta carga de trabajo crece exponencialmente a medida que se agregan usuarios y las aplicaciones se atienden las 24 horas del día, los 7 días de la semana, mientras se mantiene una alta QoS por usuario.
- Una fábrica de IA puede ayudar a acelerar el retorno de la inversión en IA, gracias a las mejores herramientas de desarrollo y a una infraestructura acelerada. Esta plataforma ayuda a las empresas a consolidar y centralizar a las personas, los procesos y la plataforma, entregando recursos escalables que se utilizan mejor, agrupando el talento de la ciencia de datos y estandarizando las mejores prácticas para la entrega de aplicaciones.
- Las fábricas de IA impulsadas por software inteligente unifican todas las capas de la pila tecnológica, desde el framework de trabajo para desarrolladores hasta la orquestación de trabajos, las redes a escala de clúster, la refrigeración y la energía. El empleo de una orquestación inteligente que pueda maximizar la resiliencia de las aplicaciones, el tiempo de actividad de la infraestructura y la productividad de los desarrolladores ayudará a las empresas a cerrar las brechas críticas de habilidades de TI, lograr un tiempo más rápido para el primer token y maximizar el retorno de la inversión en IA.