Una Startup Diseña Una Historia de Éxito de IA Generativa con NVIDIA NeMo

Usando el software NVIDIA AI, 'Writer' crea LLM que están ayudando a cientos de empresas a crear contenido.
por Chintan Patel

El machine learning ayudó a Waseem Alshikh a leer libros de texto en la universidad. Ahora está poniendo a trabajar la IA generativa, creando contenido para cientos de empresas.

Nacido y criado en Siria, Alshikh no hablaba inglés, pero hablaba software con fluidez, un talento que le sirvió bien cuando llegó a la universidad en el Líbano.

«El primer día me dieron una pila de libros de texto, cada uno de mil páginas de grosor, y todo en inglés», recordó.

Entonces, escribió un programa, un clasificador estadístico crudo pero efectivo que resumía los libros, luego estudió los resúmenes.

Del Concepto a la Empresa

En 2014, compartió su historia con May Habib, una empresaria que conoció mientras trabajaba en Dubai. Acordaron crear una startup que podría ayudar a los departamentos de marketing, que siempre están presionados a hacer más con menos, a usar el machine learning para crear rápidamente copias para sus páginas web, blogs, anuncios y más.

«Inicialmente, la tecnología no estaba allí, hasta que se anunciaron los modelos de transformadores, eso era algo sobre lo que podíamos construir», dijo Alshikh, CTO de la startup.

Picture of cofounders of of gen AI startup Writer
Los cofundadores de Writer, Habib, CEO, y Alshikh, CTO

«Encontramos algunos ingenieros y pasamos casi seis meses construyendo nuestro primer modelo, una red neuronal que apenas funcionaba y tenía alrededor de 128 millones de parámetros», una medida de uso frecuente de la capacidad de un modelo de IA.

En el camino, la joven compañía ganó algunos negocios, cambió su nombre a Writer y se conectó con NVIDIA.

Una Startup Acelerada

«Una vez que nos presentaron NVIDIA NeMo, pudimos construir modelos de potencia industrial con tres, luego 20 y ahora 40 mil millones de parámetros, y todavía estamos escalando», dijo.

NeMo es un framework de aplicación que ayuda a las empresas a seleccionar sus conjuntos de datos de entrenamiento, crear y personalizar modelos de lenguaje grandes (LLM) y ejecutarlos en producción a escala. Las organizaciones de todo el mundo, desde Corea hasta Suecia, lo están utilizando para personalizar los LLM para sus idiomas e industrias locales.

«Antes de NeMo, nos tomaba cuatro meses y medio construir un nuevo modelo de mil millones de parámetros. Ahora podemos hacerlo en 16 días, esto es alucinante», dijo Alshikh.

Los Modelos Crean Oportunidades

En los primeros seis meses de este año, el equipo de la startup de menos de 20 ingenieros de IA utilizó NeMo para desarrollar 10 modelos, cada uno con 30 mil millones de parámetros o más.

Eso se traduce en grandes oportunidades. Cientos de empresas ahora usan los modelos de Writer que NeMo personalizó para finanzas, área de la salud, venta minorista y otros mercados verticales.

Writer's Recap tool generates event summaries automatically.
La herramienta de resumen del escritor crea resúmenes escritos a partir de grabaciones de audio de una entrevista o evento

La lista de clientes de la startup incluye nombres conocidos como Deloitte, L’Oreal, Intuit, Uber y muchas compañías Fortune 500.

El éxito de Writer con NeMo es solo el comienzo de la historia. Docenas de otras compañías ya han descargado NeMo.

El software estará disponible pronto para que cualquiera lo use. Es parte de NVIDIA AI Enterprise, software de pila completa optimizado para acelerar las cargas de trabajo de IA generativa y respaldado por soporte de nivel empresarial, seguridad y estabilidad de la interfaz de programación de aplicaciones.

Writer's full-stack AI platform includes NVIDIA NeMo
Writer ofrece una plataforma de pila completa para usuarios empresariales

Un Billón de Llamadas API al Mes

Algunos clientes ejecutan los modelos de Writer en sus propios sistemas o servicios en la nube. Otros piden a Writer que aloje los modelos, o usan la API de Writer.

«Nuestra infraestructura en la nube, administrada básicamente por dos personas, alberga un billón de llamadas API al mes: estamos generando 90,000 palabras por segundo», dijo Alshikh. «Estamos entregando modelos de alta calidad que compiten con productos de compañías con equipos más grandes y presupuestos más grandes».

Chart describing NVIDIA NeMo
NVIDIA NeMo admite un flujo de extremo a extremo para la IA generativa desde la curación de datos hasta la inferencia

Writer utiliza el Servidor de Inferencia Triton que está empaquetado con NeMo para ejecutar modelos en producción para sus clientes. Alshikh informa que Triton, utilizado por muchas empresas que ejecutan LLM, permite una latencia más baja y un mayor rendimiento que los programas alternativos.

«Esto significa que puede ejecutar un servicio por $20,000, en lugar de $100,000, para que podamos invertir más en la construcción de características significativas», dijo.

Un Amplio Horizonte

Writer también es miembro de NVIDIA Inception, un programa que nutre startups de vanguardia. «Gracias a Inception, obtuvimos acceso temprano a NeMo y algunas personas increíbles que nos guiaron a través del proceso de encontrar y usar las herramientas que necesitamos», dijo.

Ahora que los productos de texto de Writer están ganando terreno, Alshikh, que divide su tiempo entre hogares en Florida y California, está buscando en el horizonte lo que sigue. En la amplia frontera actual de la IA generativa, ve oportunidades en imágenes, audio, video, 3D, tal vez todo lo anterior.

«Vemos la multimodalidad como el futuro», dijo.

Consulte esta página para comenzar con NeMo. Y aprenda sobre el programa de acceso temprano para NeMo multimodal aquí.

Y si disfrutaste de esta historia, házselo saber a la gente en las redes sociales usando lo siguiente, un resumen sugerido por Writer:

«Descubre cómo la startup Writer utiliza el software NVIDIA NeMo para generar contenido para cientos de empresas y acumular ingresos impresionantes con un pequeño personal y presupuesto».