El creciente auge de la IA está impulsando la necesidad de conjuntos de datos masivos y ventanas de contexto que superan los límites de la memoria del sistema.
Pero las crecientes necesidades no se satisfacen simplemente añadiendo más capacidad de almacenamiento. Lo que se necesita son insights útiles y fundamentados provenientes de AI factories y arquitecturas de almacenamiento eficientes y seguras que los hagan posibles.
En la conferencia Future of Memory and Storage (FMS) de esta semana, NVIDIA está presentando nuevos avances en almacenamiento y mostrando cómo el próximo salto en IA depende tanto de la infraestructura de almacenamiento que alimenta la computación acelerada como de la propia capacidad de cómputo.
La presión sobre esa infraestructura se intensifica a medida que los agentes de IA consumen cantidades masivas de datos —y las GPUs ahora pueden iniciar solicitudes de almacenamiento directamente, generando miles de operaciones concurrentes.
Para atender esas solicitudes, los sistemas de almacenamiento deben cifrar, comprimir, verificar y reconstruir datos de forma continua. Estos servicios de datos críticos pueden convertirse en cuellos de botella cuando miles de agentes acceden al almacenamiento de forma simultánea.
Los benchmarks destacados en este blog técnico de NVIDIA muestran que el NVIDIA Vera CPU, parte del NVIDIA Vera BlueField-4 STX, ofrece hasta 3,21x más throughput que una CPU x86 en un pipeline de compresión y cifrado de dos etapas. Esto significa que, con Vera, las plataformas de almacenamiento pueden absorber el flujo de datos de IA de manera más eficiente, entregando mayor throughput con una infraestructura computacional significativamente menor.
Con la computación acelerada, el almacenamiento deja de ser un lugar pasivo para guardar datos y se convierte en una parte activa del camino de los datos.
Esto trastoca la antigua economía de determinar cuándo los datos deben estar en memoria (donde las aplicaciones pueden obtenerlos más rápido) frente a una unidad de almacenamiento (donde pueden mantenerse en un espacio barato y abundante). Este trade-off se planteó por primera vez hace 40 años, cuando la respuesta se medía en minutos para acceder a esos datos. En las GPUs actuales, combinadas con soluciones de almacenamiento de IA de NVIDIA y sus socios, el mismo trade-off ahora se resuelve en microsegundos.
Reducir la brecha entre las necesidades de la IA y la escasez de memoria depende de un codiseño extremo en todo el ecosistema, desde los fabricantes de memoria y almacenamiento hasta el software desarrollado sobre ellos.
Las APIs cuFile de código abierto de NVIDIA habilitan la interoperabilidad para soluciones de almacenamiento
En la FMS, NVIDIA anunció que está poniendo en código abierto sus interfaces de programación de aplicaciones (APIs) cuFile —y el stack vertical de software de almacenamiento subyacente— que permiten que las GPUs, y no solo las CPUs, lean y escriban en el almacenamiento directamente. cuFile es un componente de código abierto de NVIDIA GPUDirect Storage.
Utilizando cientos de miles de hilos de GPU, memoria de alto ancho de banda y otras metodologías, cuFile permite acceder de forma segura a datos desde el almacenamiento en tan solo microsegundos.
Esto representa cómo la industria está unificando un stack de almacenamiento con enfoque prioritario en la seguridad, basado en las mejores prácticas de Linux, y proporcionando interoperabilidad entre GPUs y datos.
Además, el acceso rápido y seguro a datos y almacenamiento es un elemento fundamental para potenciar las medidas de ciberseguridad preventivas y de detección. Hacer que cuFile esté disponible de forma abierta ayudará a que el contexto de seguridad, los datos y el almacenamiento sean accesibles a la velocidad que requieren las defensas impulsadas por IA. Estas tecnologías abiertas respaldan iniciativas como la nueva Open Secure AI Alliance.
Este sitio es el nuevo hogar para APIs abiertas a contribuciones —con Google, Intel, NVIDIA y Meta como mantenedores fundadores— y puede optimizarse para su uso en diversas plataformas de software y hardware, impulsando la innovación y la eficiencia para desarrolladores y empresas.
NVIDIA y líderes de la industria avanzan en la nueva frontera del almacenamiento de IA
Asimismo, NVIDIA y los líderes de la industria del almacenamiento están optimizando soluciones de memoria y almacenamiento mediante una iniciativa denominada Storage-Next. Esta iniciativa liderada por NVIDIA reúne a fabricantes de almacenamiento, proveedores de controladores, operadores de diseño térmico, refrigeración y orquestración, y organismos de normalización para alinear criterios sobre cómo debe comportarse el almacenamiento impulsado por GPU, y luego convertir estos avances en estándares abiertos e interoperables de la industria.
Storage-Next cuenta con más de 40 proveedores líderes de almacenamiento y flash —entre ellos DDN, KIOXIA y Micron— cada uno contribuyendo a la próxima generación de tecnologías de almacenamiento de IA junto con NVIDIA.
La iniciativa se basa en el acceso acelerado a datos para grandes conjuntos de datos de IA. Para respaldar esto, NVIDIA ofrece SCADA —acrónimo de scaled, accelerated data access— un framework que permite a las GPUs masivamente paralelas extraer únicamente los datos necesarios para la aplicación directamente desde el almacenamiento hacia su propia memoria de alta velocidad.
Por ejemplo, DDN está integrando SCADA con Infinia, su plataforma de inteligencia de datos nativa de IA y definida por software, diseñada para eliminar los cuellos de botella de almacenamiento a escala.
«El éxito de la IA no estará definido por la cantidad de infraestructura que posean las organizaciones, sino por la productividad con la que la utilicen», afirmó Sven Oehme, director de tecnología de DDN. «Nuestra colaboración con NVIDIA está ayudando a crear una conexión más directa y eficiente entre las GPUs y los datos, manteniendo productivos los recursos de computación acelerada, acelerando el tiempo de obtención de insights y permitiendo a los clientes obtener mayores retornos empresariales y financieros de sus inversiones en IA.»
Storage-Next y SCADA amplían el trabajo de larga trayectoria de NVIDIA en infraestructura de almacenamiento de IA, incluido el NVIDIA Vera BlueField-4 STX —una base modular a escala de rack impulsada por la plataforma NVIDIA Vera Rubin, los procesadores de almacenamiento NVIDIA Vera BlueField-4 y la red NVIDIA Spectrum-X Ethernet.
Definiendo una nueva clase de plataformas de datos nativas de IA, el NVIDIA STX utiliza el stack de seguridad unificado NVIDIA DOCA para que las empresas puedan aplicar políticas de forma continua en el camino de los datos de IA.
Además, el NVIDIA CMX Context Memory Storage proporciona una capa de contexto nativa de IA para inferencia de IA agéntica con contexto largo y múltiples turnos, construida sobre NVIDIA STX.
SCADA permite un almacenamiento de IA rápido que sigue siendo seguro
La velocidad en la capa de almacenamiento conlleva un desafío. Permitir que una aplicación hable directamente con una unidad es rápido, pero si se hace de forma descuidada, puede sobrescribir la memoria de otros procesos —una vulnerabilidad de seguridad, no una función.
NVIDIA SCADA utiliza un método seguro y robusto para lograr acceso directo a escala dividiendo la tarea en dos partes:
- Las partes de la aplicación orientadas al usuario que necesitan velocidad máxima permanecen fuera de la base de computación de confianza.
- Un componente separado y privilegiado configura el acceso protegido entre la aplicación del usuario y su almacenamiento aprobado durante la configuración inicial, adhiriéndose a los protocolos estándar de Linux para la aplicación de seguridad mientras protege los datos de forma eficiente.
Todo esto es parte de cómo los avances en infraestructura de almacenamiento de IA rápida, masivamente paralela, eficiente y segura pueden proporcionar mejores datos a las aplicaciones y AI factories, para que puedan producir inteligencia más útil, precisa y fundamentada a escala.
Únase a las sesiones de NVIDIA en la FMS, que se realiza del 4 al 6 de agosto en Santa Clara, California, y conozca más sobre el almacenamiento de IA de NVIDIA.
Consulte el aviso sobre información de productos de software.