A medida que las organizaciones pasan de los pilotos de IA a las fábricas de IA en producción, las decisiones de infraestructura han pasado de las especificaciones de pico del chip al costo por token: cuántos tokens útiles pueden entregar por dólar, por vatio y dentro de los objetivos de latencia requeridos.
Codiseñada con GPUs, CPUs, redes y sistemas de NVIDIA, y fortalecida por un amplio ecosistema de código abierto, la stack completa de software de inferencia de NVIDIA mejora continuamente el rendimiento del hardware. En la plataforma NVIDIA Blackwell, la stack de software ya ha reducido los costos de tokens en hasta 5x en el modelo DeepSeek V4 en apenas un mes.
Las principales empresas y proveedores de inferencia ya están viendo el valor compuesto de la stack de software de inferencia de NVIDIA en Blackwell:
- Baseten utilizó la biblioteca de código abierto NVIDIA TensorRT-LLM para servir DeepSeek V4 Pro en GPUs Blackwell para cargas de trabajo de razonamiento, codificación y contexto largo, aplicando optimizaciones de runtime propietarias para ofrecer hasta un 50% más de tokens por segundo.
- Cognition está utilizando el framework de inferencia NVIDIA Dynamo para gestionar las GPUs de inferencia, dando a su equipo un camino listo para escalar las cargas de trabajo de aprendizaje por refuerzo sin necesidad de construir esa infraestructura desde cero.
- Deep Infra utiliza la stack de software de inferencia de NVIDIA para servir modelos de código abierto frontier con alto rendimiento en Blackwell desde el primer día, incluido DeepSeek V4.
- Together AI utilizó NVIDIA TensorRT-LLM en Blackwell para ayudar a Cursor a acelerar el camino desde las optimizaciones de modelos hasta los endpoints de producción para su experiencia de codificación en tiempo real.
Por Qué el Software Importa para la Economía de Inferencia
Las cargas de trabajo tradicionales de web, búsqueda y software como servicio eran relativamente predecibles: un usuario podría cargar una página, actualizar un feed o actualizar un registro de negocio. Estas solicitudes generalmente seguían rutas de software similares, leyendo o escribiendo en una base de datos, y escalaban agregando más servidores del mismo tipo.
La IA agéntica es diferente.
Los agentes pueden razonar, planificar, llamar herramientas, iniciar subagentes especialistas y gestionar contexto masivo a lo largo de workflows de múltiples turnos. Convierten una sola solicitud en un problema de computación distribuida que puede abarcar cientos de subagentes, miles de tareas y múltiples modelos de lenguaje grandes, ejecutándose en GPUs, CPUs, DPUs y sistemas de almacenamiento.
La stack de software determina si esa complejidad se convierte en capacidad desperdiciada o en menor costo por token.
El menor costo por token proviene de convertir optimizaciones individuales en rendimiento a nivel de sistema. La stack de software de inferencia de NVIDIA hace esto conectando tres capas:
- Operación en Producción: Coordina el serving distribuido, la orquestación, el autoscaling y la gestión de memoria para que la inferencia pueda ejecutarse en los recursos de computación y almacenamiento correctos.
- Aceleración de Aplicaciones: Ejecuta modelos con alto rendimiento mientras da a los desarrolladores espacio para ajustar y personalizar, utilizando optimizaciones de runtime como la superposición de cómputo y comunicación y la fusión de kernel.
- Acceso a la Infraestructura: Expone las capacidades de GPU, red, memoria y sistema de NVIDIA sin requerir que los desarrolladores gestionen directamente cada conjunto de instrucciones de dispositivo o protocolo de transferencia de datos.
Cuando estas capas funcionan como un solo sistema, las optimizaciones individuales se acumulan.
El serving disaggregated, el gran paralelismo de expertos sobre la tecnología de interconexión NVIDIA NVLink, la precisión NVFP4 y la predicción multi-token cada uno ofrece ganancias significativas por sí solo. Combinados, aumentan el throughput hasta 20x.
El gráfico a continuación muestra el resultado. Capturar esa ganancia en producción es complejo, requiriendo coordinación en toda la stack de inferencia — desde operaciones de producción y runtimes de modelos hasta kernels, bibliotecas de comunicación y acceso al hardware. La stack de software de inferencia de NVIDIA está diseñada para hacer que esas capas trabajen juntas para que cada optimización pueda basarse en las demás.
El Código Abierto Amplifica la Ventaja Full-Stack
Esa misma base full-stack es amplificada por el ecosistema de código abierto. Muchos de los frameworks de IA de código abierto y proyectos de inferencia más ampliamente utilizados hoy en día están construidos nativamente en NVIDIA CUDA, lo que significa que la nueva investigación y las optimizaciones de software se ejecutan con el mejor rendimiento en las GPUs de NVIDIA desde el primer día.
PyTorch es un ejemplo destacado. Lanzado en 2016 con soporte nativo para CUDA, PyTorch ha coevolucionado con la arquitectura de NVIDIA, dando a los desarrolladores acceso a innovaciones como Tensor Cores, Transformer Engine y NVFP4 directamente a través de un framework familiar.
Cuando los avances como el DFlash speculative decode, que ofrece hasta 15x más throughput en el hardware existente, o FastVideo, que genera videos en 1080p en menos de cinco segundos, llegan a PyTorch, pueden ejecutarse instantáneamente en NVIDIA, ayudando a las fábricas de IA a convertir el progreso de la investigación en menores costos de tokens.
La misma inercia del código abierto es la razón por la que cuando se lanza un nuevo modelo frontier de código abierto como DeepSeek V4, los frameworks de inferencia líderes como vLLM y SGLang tienen recetas de implementación desde el primer día para la arquitectura NVIDIA Blackwell — haciendo que el modelo sea accesible en millones de GPUs Blackwell. También es la razón por la que el rendimiento de DeepSeek V4 en Blackwell mejoró hasta 5x en aproximadamente un mes en los frameworks vLLM y SGLang, reduciendo los costos de tokens a aproximadamente un quinto de los niveles anteriores.
Ese es el flywheel de código abierto: más desarrolladores optimizan los caminos de inferencia nativos de CUDA, más implementaciones en producción retroalimentan el ecosistema y cada mejora de software aumenta la producción de tokens entregados mientras reduce el costo por token con el tiempo.
Explore cómo el software multiplica el rendimiento del hardware en este NVIDIA AI Podcast sobre tokenomics y en esta página de soluciones de inferencia.
