Nota del editor: Este blog forma parte de la serie IA Decodificada, que desmitifica la IA haciendo la tecnología más accesible, mostrando nuevo hardware, software, herramientas y aceleraciones para usuarios de PC RTX.
Los personajes digitales aumentan de nivel.
Los personajes no jugables suelen desempeñar un papel crucial en la narrativa de los videojuegos, pero como suelen estar diseñados con un propósito fijo, pueden resultar repetitivos y aburridos, sobre todo en mundos inmensos donde hay miles.
Gracias en parte a los increíbles avances en computación visual, como el ray tracing y el DLSS, los videojuegos son más inmersivos y realistas que nunca, lo que hace que los encuentros secos con los PNJ (Personajes no jugables) sean especialmente discordantes.
A principios de este año, se lanzaron los microservicios de producción para NVIDIA Avatar Cloud Engine, que ofrecen a los desarrolladores de juegos y creadores digitales un as en la manga a la hora de crear PNJ realistas. Los microservicios ACE permiten a los desarrolladores integrar modelos de IA generativa de última generación en los avatares digitales de juegos y aplicaciones. Con los microservicios ACE, los PNJ pueden interactuar y conversar dinámicamente con los jugadores en el juego y en tiempo real.
Los principales desarrolladores de juegos, estudios y startups ya están incorporando ACE a sus títulos, aportando nuevos niveles de personalidad y compromiso a los NPC y a los humanos digitales.
Los avatares cobran vida con NVIDIA ACE
El proceso de creación de los PNJ empieza por proporcionarles una historia y un propósito, lo que ayuda a guiar la narración y garantiza un diálogo contextualmente relevante. A continuación, los subcomponentes de ACE trabajan juntos para construir la interactividad del avatar y mejorar la capacidad de respuesta.
Los PNJ utilizan hasta cuatro modelos de IA para escuchar, procesar, generar diálogo y responder.
La voz del jugador pasa primero a NVIDIA Riva, una tecnología que crea canales de IA conversacional en tiempo real totalmente personalizables y convierte los chatbots en asistentes atractivos y expresivos mediante microservicios de traducción y habla multilingües acelerados en la GPU.
Con ACE, la función de reconocimiento automático del habla (ASR) de Riva procesa lo que se ha dicho y utiliza la IA para ofrecer una transcripción muy precisa en tiempo real. Explora una demostración de conversión de voz a texto con Riva en una docena de idiomas.
A continuación, la transcripción se introduce en un LLM -como Gemma de Google, Llama 2 de Meta o Mistral- y se utiliza la traducción automática neural de Riva para generar una respuesta de texto en lenguaje natural. A continuación, la función de conversión de texto a voz de Riva genera una respuesta de audio.
Finally, NVIDIA Audio2Face (A2F) generates facial expressions that can be synced to dialogue in many languages. With the microservice, digital avatars can display dynamic, realistic emotions streamed live or baked in during post-processing.
Por último, NVIDIA Audio2Face (A2F) genera expresiones faciales que pueden sincronizarse con diálogos en muchos idiomas. Con este microservicio, los avatares digitales pueden mostrar emociones dinámicas y realistas transmitidas en directo o incorporadas durante el post-procesamiento.
La red de IA anima automáticamente los movimientos de la cara, los ojos, la boca, la lengua y la cabeza para que coincidan con el rango emocional y el nivel de intensidad seleccionados. Y A2F puede deducir automáticamente la emoción directamente de un clip de audio.
Cada paso se produce en tiempo real para garantizar un diálogo fluido entre el jugador y el personaje. Además, las herramientas son personalizables, lo que da a los desarrolladores la flexibilidad necesaria para crear los tipos de personajes que necesitan para una narración inmersiva o para construir mundos.
Nacido para rodar
En GDC y GTC, los desarrolladores y socios de la plataforma han mostrado demostraciones que aprovechan los microservicios ACE de NVIDIA: desde NPC interactivos en juegos hasta potentes enfermeros humanos digitales.
Ubisoft está explorando nuevos tipos de juego interactivo con PNJ dinámicos. Los NEO NPC, producto de su último proyecto de investigación y desarrollo, están diseñados para interactuar en tiempo real con los jugadores, su entorno y otros personajes, abriendo nuevas posibilidades para una narrativa dinámica y emergente.
Las capacidades de estos NEO NPC se mostraron a través de demostraciones, cada una de ellas centrada en distintos aspectos de los comportamientos de los NPC, como el conocimiento del entorno y el contexto, las reacciones y animaciones en tiempo real, y la memoria de las conversaciones, la colaboración y la toma de decisiones estratégicas. En conjunto, las demostraciones pusieron de manifiesto el potencial de la tecnología para ampliar los límites del diseño de juegos e inmersión.
Utilizando la tecnología de IA de Inworld, el equipo narrativo de Ubisoft creó dos NEO NPC, Bloom y Iron, cada uno con su propia historia de fondo, base de conocimientos y estilo de conversación único. La tecnología de Inworld también proporcionó a los NPC de NEO un conocimiento intrínseco de su entorno y respuestas interactivas basadas en el LLM de Inworld. NVIDIA A2F proporcionó animaciones faciales y sincronización labial para los dos NPC en tiempo real.
Inworld y NVIDIA causaron sensación en la GDC con una demo tecnológica llamada Covert Protocol, en la que se mostraban las tecnologías ACE de NVIDIA y el motor Inworld Engine. En la demo, los jugadores controlaban a un detective privado que completaba objetivos en función del resultado de las conversaciones con los NPC presentes en la escena. Protocolo encubierto desbloqueaba mecánicas de juego de simulación social con personajes digitales controlados por IA que actuaban como portadores de información crucial, presentaban retos y catalizaban desarrollos narrativos clave. Este mayor nivel de interactividad impulsada por la inteligencia artificial y la capacidad de decisión del jugador abren nuevas posibilidades para una jugabilidad emergente y específica del jugador.
Construido sobre Unreal Engine 5, Covert Protocol utiliza el motor Inworld y NVIDIA ACE, incluidos NVIDIA Riva ASR y A2F, para aumentar los canales de habla y animación de Inworld.
En la última versión de la demo tecnológica de NVIDIA Kairos construida en colaboración con Convai, que se mostró en CES, se utilizaron Riva ASR y A2F para mejorar significativamente la interactividad de los NPC. El nuevo marco de Convai permitía a los NPC conversar entre ellos y les daba conocimiento de los objetos, lo que les permitía recoger y entregar artículos en las zonas deseadas. Además, los PNJ adquirieron la capacidad de guiar a los jugadores hacia objetivos y atravesar mundos.
Caracteres digitales en el mundo real
La tecnología utilizada para crear NPC también se emplea para animar avatares y seres humanos digitales. Más allá de los juegos, la IA generativa para tareas específicas se está introduciendo en la salud, la atención al cliente y otros sectores.
NVIDIA colaboró con Hippocratic AI en GTC para ampliar su solución de agente de salud, mostrando el potencial de un avatar un profesional de salud de IA generativa. Se está trabajando en el desarrollo de una plataforma de inferencia de latencia superbaja para casos de uso en tiempo real.
«Nuestros asistentes digitales proporcionan información útil, oportuna y precisa a pacientes de todo el mundo», afirma Munjal Shah, cofundador y CEO de Hippocratic AI. «Las tecnologías NVIDIA ACE les dan vida con visuales de vanguardia y animaciones realistas que ayudan a conectar mejor con los pacientes».
Las pruebas internas de los agentes sanitarios de IA iniciales de Hippocratic se centran en la gestión de cuidados crónicos, el asesoramiento sobre bienestar, las evaluaciones de riesgos para la salud, los determinantes sociales de las encuestas de salud, la divulgación preoperatoria y el seguimiento posterior al alta.
UneeQ es una plataforma de humanos digitales autónomos centrada en avatares impulsados por IA para aplicaciones de atención al cliente e interactivas. UneeQ ha integrado el microservicio A2F de NVIDIA en su plataforma y lo ha combinado con su tecnología de animación sintética Synanim ML para crear avatares de gran realismo que mejoren la experiencia y la interacción con los clientes.
«UneeQ combina la IA de animación de NVIDIA con nuestra propia tecnología de animación sintética Synanim ML para ofrecer interacciones humanas digitales en tiempo real que respondan emocionalmente y ofrezcan experiencias dinámicas impulsadas por la IA conversacional», afirma Danny Tomsett, fundador y CEO de UneeQ.
UneeQ es una plataforma de humanos digitales autónomos centrada en avatares impulsados por IA para aplicaciones de atención al cliente e interactivas. UneeQ ha integrado el microservicio A2F de NVIDIA en su plataforma y lo ha combinado con su tecnología de animación sintética Synanim ML para crear avatares de gran realismo que mejoren la experiencia e interacción con el cliente.
La inteligencia artificial en Gaming
ACE es una de las muchas tecnologías de IA de NVIDIA que llevan los juegos al siguiente nivel.
- NVIDIA DLSS es una revolucionaria tecnología de gráficos que utiliza la IA para aumentar la frecuencia de cuadro y mejorar la calidad de imagen en las GPUs GeForce RTX.
- NVIDIA RTX Remix permite a los modders capturar fácilmente los activos del juego, mejorar automáticamente los materiales con herramientas de IA generativa y crear rápidamente impresionantes remasterizaciones RTX con ray tracing completo y DLSS.
- NVIDIA Freestyle, al que se accede a través de la nueva NVIDIA appbeta, permite a los usuarios personalizar la estética visual de más de 1,200 juegos mediante filtros de post-procesamiento en tiempo real, con funciones como RTX HDR, RTX Dynamic Vibrance y mucho más.
- La aplicación NVIDIA Broadcast transforma cualquier habitación en un estudio en casa, proporcionando herramientas de voz y video mejoradas con IA para livestream, incluyendo eliminación de ruido y eco, fondo virtual y pantalla verde con IA, auto-marco, eliminación de ruido de video y contacto visual.
Experimenta lo último y lo mejor en experiencias basadas en IA con las PCs y estaciones de trabajo NVIDIA RTX y lo que viene a continuación con IA Decodificada.
Recibe actualizaciones semanales directamente en tu bandeja de entrada suscribiéndote al boletín IA Decodificada.