Es difícil imaginar una industria más competitiva, o de ritmo rápido, que el comercio minorista en línea.
Los vendedores deben crear listados de productos atractivos e informativos que sean atractivos, capten la atención y generen confianza.
Amazon utiliza contenedores optimizados en Amazon Elastic Compute Cloud (Amazon EC2) con GPU NVIDIA Tensor Core para impulsar una herramienta de IA generativa que encuentra este equilibrio a la velocidad del comercio minorista moderno.
Las nuevas capacidades de IA generativa de Amazon ayudan a los vendedores a crear sin problemas títulos, viñetas, descripciones y atributos de productos atractivos.
Para empezar, Amazon identifica los listados en los que el contenido podría mejorarse y aprovecha la IA generativa para generar contenido de alta calidad automáticamente. Los vendedores revisan el contenido generado y pueden enviar comentarios si lo desean o aceptan los cambios de contenido en el catálogo de Amazon.
Anteriormente, la creación de listados de productos detallados requería mucho tiempo y esfuerzo para los vendedores, pero este proceso simplificado les da más tiempo para centrarse en otras tareas.
El software NVIDIA TensorRT-LLM ya está disponible en GitHub y se puede acceder a él a través de NVIDIA AI Enterprise, que ofrece seguridad, soporte y confiabilidad de nivel empresarial para la IA de producción.
El software de código abierto TensorRT-LLM hace que la inferencia de IA sea más rápida e inteligente. Funciona con grandes modelos de lenguaje, como los modelos de Amazon para las capacidades anteriores, que se entrenan con grandes cantidades de texto.
En las GPU NVIDIA H100 Tensor Core, TensorRT-LLM permite una aceleración de hasta 8 veces en los LLM básicos como Llama 1 y 2, Falcon, Mistral, MPT, ChatGLM, Starcoder y más.
También es compatible con la inferencia de múltiples GPU y nodos, el procesamiento por lotes en vuelo, la atención paginada y el Hopper Transformer Engine con precisión FP8; Todo lo cual mejora las latencias y la eficiencia de la experiencia del vendedor.
Mediante el uso de las GPU de TensorRT-LLM y NVIDIA, Amazon mejoró la eficiencia de inferencia de su herramienta de IA generativa en términos de costo o GPU necesarias en 2 veces, y redujo la latencia de inferencia en 3 veces en comparación con una implementación anterior sin TensorRT-LLM.
Las ganancias de eficiencia lo hacen más respetuoso con el medio ambiente, y la mejora de la latencia 3 veces hace que las capacidades generativas de Amazon Catalog sean más receptivas.
Las capacidades de IA generativa pueden ahorrar tiempo a los vendedores y proporcionar información más rica con menos esfuerzo. Por ejemplo, puede enriquecer una lista de un mouse inalámbrico con un diseño ergonómico, batería de larga duración, configuración de cursor ajustable y compatibilidad con varios dispositivos. También puede generar atributos del producto como el color, el tamaño, el peso y el material. Estos detalles pueden ayudar a los clientes a tomar decisiones informadas y reducir las devoluciones.
Con la IA generativa, los vendedores de Amazon pueden crear rápida y fácilmente listados más atractivos, a la vez que son más eficientes energéticamente, lo que permite llegar a más clientes y hacer crecer su negocio más rápido.
Los desarrolladores pueden comenzar con TensorRT-LLM hoy mismo, con soporte empresarial disponible a través de NVIDIA AI Enterprise.