GTC—Para impulsar la próxima ola de data centers de IA, NVIDIA anunció su plataforma de computación acelerada de próxima generación con la arquitectura NVIDIA Hopper™, que permite lograr un salto de rendimiento de orden de magnitud con respecto a su predecesora.
La nueva arquitectura lleva el nombre de Grace Hopper, una científica de computación pionera en Estados Unidos, y reemplaza a la arquitectura NVIDIA Ampere, que se presentó hace dos años.
La empresa también anunció su primera GPU basada en Hopper, la NVIDIA H100, que cuenta con 80,000 millones de transistores. H100, el acelerador más grande y potente del mundo, cuenta con funciones revolucionarias, como un revolucionario Motor Transformer y una interconexión NVIDIA NVLink® altamente escalable para procesar modelos gigantescos de lenguaje de IA, sistemas de recomendación profundos, genómica y digital twins complejos.
«Los data centers se están convirtiendo en fábricas de IA: procesan y refinan montañas de datos para producir inteligencia», dijo Jensen Huang, fundador y CEO de NVIDIA. «NVIDIA H100 es el motor de la infraestructura de IA del mundo que las empresas utilizan para acelerar sus negocios impulsados por IA».
Avances Tecnológicos con H100
La GPU NVIDIA H100 establece un nuevo estándar para acelerar la IA y la HPC a gran escala, lo que permite lograr seis innovaciones transformadoras:
- El Chip Más Avanzado del Mundo: H100 se diseñó con 80,000 millones de transistores con un proceso TSMC 4N de vanguardia, diseñado para las necesidades de computación aceleradas de NVIDIA. Ofrece importantes avances para acelerar la IA, la HPC, el ancho de banda de memoria, la interconexión y la comunicación, lo que incluye 5 terabytes por segundo de conectividad externa. H100 es la primera GPU compatible con PCIe Gen5 y la primera en utilizar HBM3, lo que permite un ancho de banda de memoria de 3 TB/s. Veinte GPU H100 pueden mantener el equivalente al tráfico de Internet de todo el mundo, lo que permite a los clientes ofrecer sistemas de recomendación avanzados y grandes modelos de idiomas que ejecutan inferencia en datos en tiempo real.
- Nuevo Motor Transformer: Transformer es uno de los modelos de deep learning más importantes de la historia, por lo que se convirtió en el modelo estándar para el procesamiento de idiomas naturales. El Motor Transformer del acelerador H100 se construyó para acelerar estas redes hasta 6 veces en comparación con la generación anterior, sin perder un ápice de precisión.
- GPU de Múltiples Instancias Segura de 2.ª generación: La tecnología MIG permite dividir una sola GPU en siete instancias más pequeñas y completamente aisladas para manejar diferentes tipos de trabajos. La arquitectura Hopper extiende las capacidades de MIG hasta 7 veces en comparación con la generación anterior, al ofrecer configuraciones seguras de varios inquilinos en entornos de cloud y en cada instancia de GPU.
- Computación Confidencial: H100 es el primer acelerador del mundo con capacidades de computación confidencial para proteger los modelos de IA y los datos de clientes mientras se procesan. Los clientes también pueden aplicar la computación confidencial al aprendizaje federado para industrias en las que la privacidad es importante, como el área de la salud y los servicios financieros, así como las infraestructuras de cloud compartidas.
- NVIDIA NVLink de 4.ª Generación: A fin de acelerar los modelos de IA más grandes, NVLink se combina con un nuevo NVLink Switch externo para extender NVLink como una red de escalabilidad vertical más allá del servidor. Esto permite conectar hasta 256 GPU H100 con un ancho de banda 9 veces más alto, en comparación con la generación anterior mediante NVIDIA HDR Quantum InfiniBand.
- Instrucciones de DPX: Las nuevas instrucciones de DPX aceleran la programación dinámica, que se usa en una amplia variedad de algoritmos, como la optimización de rutas y la genómica, hasta 40 veces en comparación con las CPU y hasta 7 veces en comparación con las GPU de la generación anterior. Esto incluye el algoritmo Floyd-Warshall, para encontrar rutas óptimas para flotas de robots autónomos en entornos dinámicos de almacenes, y el algoritmo Smith-Waterman, que se usa en la alineación de secuencias para la clasificación y el pliegue del ADN y las proteínas.
Las innovaciones tecnológicas combinadas de H100 extienden el liderazgo de NVIDIA en la inferencia y el entrenamiento de IA para permitir aplicaciones inmersivas y en tiempo real mediante modelos de IA a escala gigante. La H100 permitirá que los chatbots usen el modelo de lenguaje de transformadores monolíticos más potente del mundo, Megatron 530B, con una tasa de transferencia hasta 30 veces más alta que la generación anterior, al mismo tiempo que se cumple con la latencia de subsegundo necesaria para la IA conversacional en tiempo real. H100 también permite a los investigadores y desarrolladores entrenar modelos enormes como la Combinación de Expertos, con 395,000 millones de parámetros, hasta 9 veces más rápido, lo que reduce el tiempo de entrenamiento de semanas a días.
Amplia Adopción de NVIDIA H100
NVIDIA H100 se puede implementar en cada tipo de data center, lo que incluye las instalaciones, el cloud, las instancias de cloud híbridas y el edge. Se espera que esté disponible en todo el mundo a finales de este año mediante los principales proveedores de servicios de cloud y fabricantes de computadoras, así como directamente de NVIDIA.
DGX H100, el sistema DGX™ de cuarta generación de NVIDIA, cuenta con ocho GPU H100 para proporcionar 32 petaflops de rendimiento de IA con la nueva precisión FP8, lo que proporciona la escala para cumplir con los enormes requisitos de computación de modelos de idiomas grandes, sistemas de recomendación, investigación de la salud y descubrimientos de la ciencia del clima.
Cada GPU en los sistemas DGX H100 está conectada mediante la tecnología NVLink de cuarta generación, lo que proporciona una conectividad de 900 GB/s, 1.5 veces más que la generación anterior. NVSwitch™ permite que las ocho GPU H100 se conecten mediante NVLink. Un nuevo Switch NVLink externo puede conectar hasta 32 nodos DGX H100 en las supercomputadoras NVIDIA DGX SuperPOD™ de próxima generación.
Hopper cuenta con una amplia compatibilidad en la industria a través de los principales proveedores de servicios de cloud Alibaba Cloud, Amazon Web Services, Baidu AI Cloud, Google Cloud, Microsoft Azure, Oracle Cloud y Tencent Cloud, que planean ofrecer instancias basadas en H100.
Se espera una amplia variedad de aceleradores H100 de los principales fabricantes de sistemas del mundo, como Atos, BOXX Technologies, Cisco, Dell Technologies, Fujitsu, GIGABYTE, H3C, Hewlett Packard Enterprise, Inspur, Lenovo, Nettrix y Supermicro.
NVIDIA H100 en Cada Escala
H100 se ofrece en los formatos SXM y PCIe para cumplir con una amplia variedad de requisitos de diseño de servidores. También estará disponible un acelerador convergente, que combina una GPU H100 con una SmartNIC NVIDIA ConnectX®-7 400 Gb/s InfiniBand y Ethernet.
H100 SXM de NVIDIA estará disponible en placas para servidores HGX™ H100 con configuraciones de cuatro y ocho vías para empresas con aplicaciones que escalan a varias GPU en un servidor y en varios servidores. Los servidores basados en HGX H100 ofrecen el rendimiento de aplicaciones más alto para el entrenamiento y la inferencia de IA, junto con el análisis de datos y las aplicaciones de HPC.
La H100 PCIe, con NVLink para conectar dos GPU, proporciona más de 7 veces el ancho de banda de PCIe 5.0, lo que ofrece un rendimiento excepcional para aplicaciones que se ejecutan en servidores empresariales principales. Su formato facilita la integración a la infraestructura existente del data center.
H100 CNX, un nuevo acelerador convergente, combina una H100 con una SmartNIC ConnectX-7 para proporcionar un rendimiento revolucionario para aplicaciones que requieren mucha E/S, como el entrenamiento de IA con varios nodos en data centers empresariales y el procesamiento de señales 5G en el edge.
Las GPU basadas en la arquitectura NVIDIA Hopper también se pueden vincular con las CPU NVIDIA Grace™ mediante la interconexión NVLink-C2C ultrarrápida para lograr una comunicación hasta 7 veces más rápida entre la CPU y la GPU, en comparación con PCIe 5.0. Esta combinación, el Grace Hopper Superchip, es un módulo integrado diseñado para servir aplicaciones de HPC e IA a gran escala.
Soporte del Software de NVIDIA
La GPU NVIDIA H100 es compatible con potentes herramientas de software, lo que les permite a los desarrolladores y empresas crear y acelerar aplicaciones desde IA hasta HPC. Esto incluye actualizaciones importantes para el conjunto de software de IA de NVIDIA para cargas de trabajo como voz, sistemas de recomendación e inferencia de hiperescala.
NVIDIA también lanzó más de 60 actualizaciones a su colección de bibliotecas, herramientas y tecnologías CUDA-X™ para acelerar el trabajo en la computación cuántica y la investigación 6G, la ciberseguridad, la genómica y el descubrimiento de fármacos.
Disponibilidad
NVIDIA H100 estará disponible a partir del tercer trimestre.