Los sistemas de recomendación, los motores económicos de Internet, están recibiendo un nuevo impulso: el Superchip NVIDIA Grace Hopper.
Todos los días, los recomendadores ofrecen billones de resultados de búsquedas, anuncios, productos, música e historias de noticias a miles de millones de personas. Se encuentran entre los modelos de IA más importantes de nuestro tiempo porque son increíblemente eficaces para encontrar en el pandemonio de Internet las perlas que los usuarios quieren.
Estos procesos de machine learning se ejecutan en datos, terabytes de ellos. A mayor cantidad de datos que consumen los recomendadores, más precisos son sus resultados y mayor retorno de la inversión que ofrecen.
Para procesar este tsunami de datos, las empresas ya están adoptando la computación acelerada para personalizar los servicios para sus clientes. Grace Hopper llevará sus avances al siguiente nivel.
Las GPU Impulsan un 16% Más de Participación
Pinterest, la empresa de redes sociales que comparte imágenes, pudo pasar a modelos de recomendación 100 veces más grandes mediante la adopción de las GPU de NVIDIA. Eso aumentó la participación en un 16% para sus más de 400 millones de usuarios.
«Normalmente, estaríamos felices con un aumento del 2% y el 16% es solo un comienzo», dijo un ingeniero de software de la compañía en una entrada de blog reciente. «Vemos ganancias adicionales: abre muchas puertas para oportunidades».
La próxima generación de la plataforma de IA de NVIDIA promete mayores ganancias para las empresas que procesan enormes conjuntos de datos con modelos de recomendación de gran tamaño.
Debido a que los datos son el combustible de la IA, Grace Hopper está diseñado para enviar más datos a través de sistemas de recomendación que cualquier otro procesador del planeta.
NVLink Acelera Grace Hopper
Grace Hopper lo logra porque es un superchip: dos chips en una unidad, compartiendo una interconexión superrápida entre los chips. Es una CPU NVIDIA Grace basada en Arm y una GPU Hopper que se comunica mediante Nvidia NVLink-C2C.
Además, NVLink también conecta muchos superchips a un supersistema, un clúster de computación diseñado para ejecutar sistemas de recomendación de clase de terabyte.
NVLink tiene datos a una increíble cantidad de 900 gigabytes por segundo: 7 veces el ancho de banda de PCIe Gen 5, la interconexión más avanzada que usarán los próximos sistemas.
Eso significa que Grace Hopper alimenta a los recomendadores 7 veces más de las incrustaciones (tablas de datos repletas de contexto) que necesitan para personalizar los resultados para los usuarios.
Más Memoria, Mayor Eficiencia
La CPU Grace utiliza LPDDR5X, un tipo de memoria que logra el equilibrio óptimo entre ancho de banda, eficiencia energética, capacidad y costo para sistemas de recomendación y otras cargas de trabajo exigentes. Proporciona un 50% más de ancho de banda mientras utiliza una octava parte de la potencia por gigabyte de los subsistemas de memoria DDR5 tradicionales.
Cualquier GPU Hopper en un clúster puede acceder a la memoria de Grace a través de NVLink. Es una característica de Grace Hopper que proporciona los grupos de memoria de GPU más grandes de la historia.
Además, NVLink-C2C requiere solo 1.3 picojoules por bit transferido, lo que le brinda más de 5 veces la eficiencia energética de PCIe Gen 5.
El resultado general es que los recomendadores obtienen hasta 4 veces más rendimiento y mayor eficiencia utilizando Grace Hopper que usando Hopper con CPU tradicionales (consulta la siguiente tabla).
Todo el Software que Necesitas
El Superchip Grace Hopper ejecuta toda la pila del software de IA de NVIDIA utilizado en algunos de los sistemas de recomendación más grandes del mundo en la actualidad.
NVIDIA Merlin es el combustible para cohetes de los recomendadores, una colección de modelos, métodos y bibliotecas para desarrollar sistemas de IA que pueden proporcionar mejores predicciones y aumentar los clics.
NVIDIA Merlin HugeCTR, un framework de recomendación, ayuda a los usuarios a procesar enormes conjuntos de datos rápidamente en clústeres de GPU distribuidos con la ayuda de la Biblioteca de Comunicaciones Colectivas de NVIDIA.
Obtén más información sobre Grace Hopper y NVLink en este blog técnico. Mira esta sesión de GTC para obtener más información sobre la creación de sistemas de recomendación.
También puedes escuchar al CEO y cofundador de NVIDIA, Jensen Huang, para hablar sobre los recomendadores aquí o ver el discurso de apertura completo de GTC que se encuentra a continuación.