Por Qué El Nuevo Superchip NVIDIA Grace Hopper Es Ideal para los Sistemas de Recomendación de Próxima Generación

El rendimiento de los modelos masivos de IA que ayudan a los usuarios a personalizar Internet alcanzará nuevos niveles de precisión con el Superchip Grace Hopper.
por Paresh Kharya

Los sistemas de recomendación, los motores económicos de Internet están recibiendo un nuevo turbocompresor: Superchip NVIDIA Grace Hopper.

Todos los días, los recomendadores ofrecen billones de resultados de búsqueda, anuncios, productos, música y noticias a miles de millones de personas. Se encuentran entre los modelos de IA más importantes de nuestro tiempo porque son increíblemente efectivos para encontrar en el caos de Internet las perlas que los usuarios quieren.

Estes pipelines de machine learning se ejecutan en datos, terabytes de ellos. Cuantos más datos consumen los recomendadores, más precisos son sus resultados y más retorno de la inversión ofrecen.

Para procesar este tsunami de datos, las empresas ya están adoptando la computación acelerada para personalizar los servicios para sus clientes. Grace Hopper llevará sus avances al siguiente nivel.

Las GPU Impulsan Un 16 % Más de Participación

Pinterest, la empresa de medios sociales para compartir imágenes, pudo pasar a modelos de recomendación 100 veces más grandes al adoptar las GPU de NVIDIA. Eso aumentó el compromiso en un 16% para sus más de 400 millones de usuarios.

“Normalmente, estaríamos contentos con un aumento del 2%, y el 16% es solo el comienzo”, dijo un ingeniero de software de la empresa en un blog reciente. “Vemos ganancias adicionales: abre muchas puertas a oportunidades”.

Recommendation systems on Grace Hopper
Los recomendadores consumen decenas de terabytes de incrustaciones, tablas de datos que brindan contexto para hacer predicciones precisas.

La próxima generación de la plataforma de IA de NVIDIA promete ganancias aún mayores para las empresas que procesan conjuntos de datos masivos con modelos de recomendación de gran tamaño.

Debido a que los datos son el combustible de la IA, Grace Hopper está diseñado para bombear más datos a través de los sistemas de recomendación que cualquier otro procesador del planeta.

NVLink Acelera Grace Hopper

Grace Hopper logra esto porque es un superchip: dos chips en una unidad, que comparten una interconexión ultrarrápida de chip a chip. Es una CPU NVIDIA Grace basada en Arm y una GPU Hopper que se comunican a través de NVIDIA NVLink-C2C.

Además, NVLink también conecta muchos superchips en un supersistema, un cluster de computación creado para ejecutar sistemas de recomendación de clase terabyte.

NVLink transporta datos a la friolera de 900 gigabytes por segundo, 7 veces el ancho de banda de PCIe Gen 5, la interconexión que usarán la mayoría de los sistemas de vanguardia.

Eso significa que Grace Hopper alimenta a los recomendadores 7 veces más de las incrustaciones (tablas de datos llenas de contexto) que necesitan para personalizar los resultados para los usuarios.

Más Memoria, Mayor Eficiencia

La CPU Grace utiliza LPDDR5X, un tipo de memoria que logra el equilibrio óptimo entre ancho de banda, eficiencia energética, capacidad y costo para sistemas de recomendación y otras cargas de trabajo exigentes. Proporciona un 50 % más de ancho de banda y utiliza una octava parte de la potencia por gigabyte de los subsistemas de memoria DDR5 tradicionales.

Cualquier GPU Hopper en un clúster puede acceder a la memoria de Grace a través de NVLink. Es una función de Grace Hopper que proporciona los grupos de memoria de GPU más grandes de la historia.

Además, NVLink-C2C requiere solo 1,3 picojulios por bit transferido, lo que le brinda más de 5 veces la eficiencia energética de PCIe Gen 5.

El resultado general es que los recomendadores obtienen hasta 4 veces más rendimiento y una mayor eficiencia con Grace Hopper que con Hopper con CPU tradicionales (consulte el gráfico a continuación).

Grace Hopper accelerates recommenders

Todo el Software que Necesitas

El Superchip Grace Hopper ejecuta la pila completa de software NVIDIA AI que se utiliza en algunos de los sistemas de recomendación más grandes del mundo en la actualidad.

NVIDIA Merlin es el combustible para cohetes de los recomendadores, una colección de modelos, métodos y bibliotecas para construir sistemas de inteligencia artificial que pueden proporcionar mejores predicciones y aumentar los clics.

NVIDIA Merlin HugeCTR, un framework de recomendación, ayuda a los usuarios a procesar conjuntos de datos masivos rápidamente en clústeres de GPU distribuidos con la ayuda de la NVIDIA Collective Communications Library.

Obtenga más información sobre Grace Hopper y NVLink en este blog técnico. Y mire esta sesión de GTC para obtener más información sobre la creación de sistemas de recomendación.

También puede escuchar al CEO y cofundador de NVIDIA, Jensen Huang, brindar una perspectiva sobre los recomendadores aquí o ver el discurso de apertura completo de GTC a continuación.