La IA se está moviendo rápidamente más allá de la nube centralizada y los data centers, convirtiéndose en una poderosa herramienta que se puede implementar directamente en workstations profesionales. Gracias al hardware avanzado y al software optimizado, puede crear, ejecutar y experimentar con sofisticados modelos de IA en su escritorio o sobre la marcha. ¡Bienvenido al mundo del desarrollo local de IA!
La ejecución y el desarrollo de IA localmente en una workstation ofrece ventajas significativas para los desarrolladores y las organizaciones: privacidad y seguridad de datos mejoradas, los datos confidenciales permanecen en la empresa, ahorro de costos en comparación con el uso continuo de la nube, capacidades operativas fuera de línea para las aplicaciones y un entorno incomparable para el desarrollo y la iteración prácticos. Este cambio hacia una IA local potente y accesible está impulsado por hardware de alto rendimiento como la serie NVIDIA RTX PRO Blackwell y el ecosistema de software optimizado creado para aprovechar sus capacidades.
Esta publicación de blog lo guiará a través de la selección de un primer proyecto de IA local manejable, utilizando el ecosistema de NVIDIA diseñado para workflows profesionales.
Descripción de la Workstation NVIDIA RTX Pro
En el núcleo de la aceleración profesional de IA se encuentran las GPU profesionales NVIDIA RTX que cuentan con hasta 96GB de VRAM cada una, controladores de nivel empresarial, certificaciones ISV y un rendimiento mejorado de NVIDIA Tensor Core para ofrecer hasta 4.000 billones de operaciones por segundo para la IA.
Esto los hace ideales para manejar conjuntos de datos más grandes, entrenar modelos más complejos y ejecutar tareas sofisticadas de inferencia de IA. La compatibilidad con un amplio espectro de formatos de datos avanzados, desde tipos de baja precisión como FP4 e INT8 hasta FP16 y FP32 de mayor precisión, permite que los modelos de IA se ejecuten de manera eficiente, lo cual es crucial para ciclos de desarrollo iterativos rápidos.
Define Tu Proyecto
Con tu workstation RTX PRO, el siguiente paso es seleccionar un primer proyecto adecuado. Tenga en cuenta estos factores:
- Área de enfoque: Concéntrese en dominar una capacidad central de IA, como el análisis avanzado de texto, el procesamiento de imágenes de alta resolución o tipos específicos de generación de datos.
- Alinee con sus objetivos: elija un dominio relevante para sus intereses, trabajo o industria, como la automatización del análisis de datos, la mejora de los workflows visuales o la generación de contenido especializado.
- Evaluación de recursos: asegúrese de que los objetivos de su proyecto se alineen con las capacidades específicas de su workstation (especialmente GPU VRAM, CPU power y almacenamiento) y su nivel actual de habilidades de IA. Comienza con un proyecto que puedas completar y del que puedas aprender.
Estas son algunas ideas de proyectos para empezar a utilizar las workstations NVIDIA RTX PRO.
Proyecto 1: Chatbot Impulsado por IA
Elegir el punto de partida adecuado para tu proyecto local de chatbot de IA es clave. La tecnología central que hace que estos chatbots sean útiles para sus datos específicos es la Generación Aumentada de Recuperación (RAG). RAG permite que el grande modelo de lenguaje (LLM) subyacente del chatbot acceda y haga referencia a sus documentos específicos o bases de conocimiento antes de generar una respuesta, lo que garantiza que las respuestas sean precisas, relevantes y se basen en su contexto, en lugar de los datos de entrenamiento generales del LLM.
Comience con NVIDIA ChatRTX para crear un chatbot RAG sin código. Simplemente descargue la aplicación, apúntela a sus carpetas de archivos locales, como documentos de proyecto o notas, seleccione un modelo compatible en su menú y comience a hacer preguntas. ChatRTX se encarga del proceso RAG de recuperar fragmentos relevantes y enviarlos al LLM automáticamente.
Cuando estés listo para codificar y crear un chatbot RAG más personalizado, con lógica específica o para integrar diferentes fuentes de datos, AI Workbench puede ayudarte a configurar tu entorno de desarrollo.
Descargue el instalador de AI Workbench para su sistema Windows o Linux. Se encarga de gestionar las dependencias necesarias como Git, el software de contenedor como Docker o Podman, e incluso los controladores de GPU en el sistema operativo Linux. Los usuarios de Windows deben instalar los controladores manualmente desde la página de Drivers de NVIDIA.
Para acelerar el desarrollo, utilice ejemplos prediseñados, como el proyecto de asistente virtual multimodal. La clonación de este proyecto dentro de AI Workbench le brinda una ventaja, con un pipeline RAG funcional donde puede comenzar a integrar sus documentos, imágenes o videos específicos, definir métodos personalizados de recuperación de datos, administrar diferentes LLM e iterar en el diseño para una experiencia de IA conversacional verdaderamente personalizada.
Están surgiendo aplicaciones específicas de chatbots de IA administrados localmente en todas las industrias. En Arquitectura, Ingeniería y Construcción (AEC), las empresas están experimentando con chatbots personalizados entrenados en Solicitudes de Propuestas (RFP) históricas y documentación de proyectos para ayudar a resumir nuevas RFP o encontrar rápidamente respuestas dentro de las respuestas anteriores, lo que agiliza el proceso de propuestas. Dentro de los Servicios Financieros, los equipos de cumplimiento pueden utilizar chatbots locales capacitados en extensos archivos regulatorios y documentos de políticas internas almacenados de forma segura en sus workstations para consultar y verificar rápidamente los requisitos o encontrar precedentes sin que los datos confidenciales salgan del entorno local.
Proyecto 2: De PDF a Podcast
Convierta sus documentos PDF, como trabajos de investigación o manuales, en contenido de audio atractivo. Esta capacidad de conversión de PDF a podcast se ejecuta localmente en una workstation y ofrece ventajas en varios campos. Por ejemplo, los profesionales del derecho pueden convertir archivos de casos extensos y confidenciales o documentos de descubrimiento en audio para su revisión, lo que garantiza que los datos confidenciales de los clientes permanezcan seguros en su máquina local.
Los equipos de investigación y desarrollo de ingeniería o productos farmacéuticos pueden transformar especificaciones técnicas densas, documentos de investigación o manuales internos en formatos de audio, para que los expertos absorban información compleja mientras realizan múltiples tareas o lejos de sus pantallas, todo ello protegiendo la propiedad intelectual patentada.
Para empezar, clona este proyecto desde su repositorio de GitHub dentro de la interfaz de AI Workbench, lo que agiliza la configuración mediante el control de la configuración del entorno en contenedores y la configuración automática del acceso a la GPU.
La implementación predeterminada utiliza endpoints NVIDIA NIM basados en la nube. Sin embargo, AI Workbench te brinda flexibilidad para ejecutar componentes clave, incluidos los microservicios DIM, directamente en tu workstation RTX PRO local. Este enfoque garantiza que sus datos PDF patentados permanezcan seguros y privados, ya que todo el procesamiento puede permanecer en su máquina local en lugar de enviarse a la nube.
Este plan es flexible y personalizable, por lo que puede agregar funciones adicionales como marca, análisis, traducción en tiempo real o una interfaz humana digital para profundizar el compromiso. Puede probar, crear prototipos y personalizar el pipeline de PDF a podcast directamente en su potente hardware.
Proyecto 3: Agente de Búsqueda y Resumen de Vídeo
La capacidad de buscar y resumir automáticamente el contenido de video es increíblemente valiosa. Desbloquear información que antes estaba oculta en vastas bibliotecas de grabaciones, como resúmenes y transmisiones deportivas, imágenes de seguridad, archivos de reuniones o conferencias educativas, puede ahorrar innumerables horas de revisión manual.
Puedes crear tu propio agente de búsqueda y resumen de video (VSS) localmente en una workstation RTX PRO utilizando NVIDIA AI Blueprint. Este proyecto proporciona una arquitectura de referencia completa, que utiliza microservicios NIM para funciones clave como la ingesta de vídeo, la comprensión del lenguaje de visión, el razonamiento LLM y RAG, implementados localmente.
La configuración predeterminada para el blueprint utiliza el LLM meta/llama-3.1-70b-instruct. La ejecución de este modelo de 70 parámetros B exige localmente 140GB de VRAM o más, lo que puede exceder la capacidad de la workstation RTX PRO. Para una implementación local práctica en las GPU RTX PRO, modifique la configuración del plano para sustituir el modelo 70B por la versión más pequeña, meta/llama-3.1-8b-instruct, que tiene requisitos de memoria sustancialmente más bajos y es adecuada para ejecutar inferencias directamente en su workstation.
Comience con Sus Proyectos de IA
Para comenzar con tu primer proyecto de IA, selecciona un proyecto que se alinee con tus necesidades profesionales, comienza con pasos manejables y aprovecha los recursos de NVIDIA disponibles, como el Programa para Desarrolladores.
Embarcarse en su primer proyecto de IA local es un paso estratégico para los desarrolladores que buscan aprovechar la tecnología de vanguardia. Con las workstations NVIDIA PRO RTX para la red troncal computacional, NVIDIA AI Workbench para un desarrollo optimizado y el software NVIDIA AI Enterprise para herramientas y soporte de nivel de producción, está completamente equipado.