La red inalámbrica de AT&T conecta a más de 100 millones de suscriptores de las Islas Aleutianas a los Cayos de Florida, generando un gran mar de datos.
Abhay Dabholkar dirige un grupo de investigación que actúa como un faro en busca de las mejores herramientas para navegarlo.
«Es divertido, podemos jugar con nuevas herramientas que pueden marcar la diferencia en el trabajo diario de AT&T, y cuando le brindamos al personal las mejores y más recientes herramientas, aumenta su satisfacción laboral», dijo Dabholkar, un distinguido arquitecto de inteligencia artificial. que ha estado en la empresa más de una década.
Recientemente, el equipo probó en servidores impulsados por GPU NVIDIA RAPIDS Accelerator para Apache Spark, un software que distribuye el trabajo entre los nodos de un clúster.
Procesó los datos móviles de un mes (2,8 billones de filas de información) en solo cinco horas. Eso es 3,3 veces más rápido a un costo 60 por ciento más bajo que cualquier prueba anterior.
Un Momento Sorpresa
«Fue un momento increíble porque en los clústeres de CPU se necesitan más de 48 horas para procesar solo siete días de datos; en el pasado, teníamos los datos pero no podíamos usarlos porque tomaba mucho tiempo procesarlos». él dijo.
Específicamente, la prueba comparó lo que se llama ETL, el proceso de extracción, transformación y carga que limpia los datos antes de que puedan usarse para entrenar los modelos de IA que descubren nuevos conocimientos.
“Ahora estamos pensando que las GPU se pueden usar para ETL y todo tipo de cargas de trabajo de procesamiento por lotes que hacemos en Spark, por lo que estamos explorando otras bibliotecas RAPIDS para ampliar el trabajo desde la ingeniería de funciones hasta ETL y el machine learning”, dijo.
Actualmente, AT&T ejecuta ETL en servidores de CPU y luego transfiere datos a servidores de GPU para capacitación. Hacer todo en un pipeline de GPU puede ahorrar tiempo y costos, agregó.
Complacer a los Clientes, Acelerar el Diseño de la Red
Los ahorros podrían mostrarse en una amplia variedad de casos de uso.
Por ejemplo, los usuarios podrían averiguar más rápidamente dónde obtienen conexiones óptimas, mejorando la satisfacción del cliente y reduciendo la rotación. “También podríamos decidir los parámetros para nuestras torres y antenas 5G más rápidamente”, dijo.
Identificar qué área en la huella de fibra de AT&T para implementar un camión de soporte puede requerir cálculos geoespaciales que consumen mucho tiempo, algo que RAPIDS y GPU podrían acelerar, dijo Chris Vo, miembro sénior del equipo que supervisó las pruebas de RAPIDS.
“Probablemente obtengamos entre 300 y 400 terabytes de datos nuevos al día, por lo que esta tecnología puede tener un impacto increíble: los informes que generamos durante dos o tres semanas se pueden hacer en unas pocas horas”, dijo Dabholkar.
Tres Casos de Uso y Contando
Los investigadores están compartiendo sus resultados con los miembros del equipo de la plataforma de datos de AT&T.
“Recomendamos que si un trabajo lleva demasiado tiempo y tiene muchos datos, encienda las GPU; con Spark, el mismo código que se ejecuta en las CPU se ejecuta en las GPU”, dijo.
Hasta ahora, equipos separados han encontrado sus propias ganancias en tres casos de uso diferentes; otros equipos también tienen planes para ejecutar pruebas en sus cargas de trabajo.
Dabholkar es optimista en cuanto a que las unidades de negocio llevarán los resultados de sus pruebas a los sistemas de producción.
“Somos una empresa de telecomunicaciones con todo tipo de conjuntos de datos que procesan petabytes de datos diariamente, y esto puede mejorar significativamente nuestros ahorros”, dijo.
Otros usuarios, incluido el Servicio de Impuestos Internos de EE. UU., están en un viaje similar. Es un camino que muchos tomarán dado que Apache Spark es utilizado por más de 13,000 empresas, incluido el 80 por ciento de Fortune 500.
Regístrese gratis en GTC para escuchar a Chris Vo de AT&T hablar sobre su trabajo, obtener más información sobre ciencia de datos en estas sesiones y escuchar el discurso de apertura del CEO de NVIDIA, Jensen Huang.