Desbloquea el Futuro de las Videoconferencias y la Edición con NVIDIA Maxine

por Greg Jones

La última versión de NVIDIA Maxine trae funciones nuevas y actualizadas que mejoran la comunicación en tiempo real y elevan la edición de video de alto impacto con IA.

La plataforma para desarrolladores Maxine redefine las videoconferencias y la edición al proporcionar a los desarrolladores y a las empresas servicios de IA acelerados por GPU en la nube, para que puedan mejorar las transmisiones de vídeo y audio en tiempo real. Con la versión de producción de Maxine, ahora disponible exclusivamente en NVIDIA AI Enterprise, los usuarios pueden acceder a funciones avanzadas de realidad aumentada, efectos de audio y efectos de video.

La Nueva Cara de los Avatares

Los avatares digitales se han utilizado durante décadas, a menudo vistos como representaciones animadas estilizadas de una persona o personaje.

Ahora, con la función Live Portrait de NVIDIA Maxine, los usuarios pueden elegir la foto perfecta de sí mismos y animarla con una cámara web estándar. Live Portrait sincroniza el movimiento de la cabeza y las expresiones faciales de una persona con la foto elegida por el usuario. Los usuarios también pueden elegir representaciones de personajes estilizados en 2D de sí mismos.

Live Portrait ahora está disponible como una función de producción en Maxine y puede usar salidas de modelo de alta resolución de hasta 1024×1024 de resolución.

Encuentra Tu Voz

La voz de una persona puede transmitir emociones y matices comunicativos. La nueva función Voice Font de NVIDIA Maxine, disponible en acceso anticipado, permite a los usuarios generar una voz única para sí mismos, casi como un avatar digital para voz.

La función puede convertir muestras de audio en una voz digital con solo 30 segundos de audio de referencia.

Voice Font puede ser útil para las personas que tienen impedimentos del habla o que desean afinar el sonido de su propia voz. Voice Font está disponible para su evaluación y prueba en la versión de acceso anticipado de Maxine.

Ojo a Ojo

La función de contacto visual de NVIDIA Maxine utiliza IA y una transmisión de cámara web para dirigir la mirada del usuario hacia la cámara en tiempo real. Del mismo modo, puede descansar los ojos en el video sin conexión para crear videos más atractivos e impactantes.

Los estudios han demostrado que mantener el contacto visual durante las conversaciones fomenta la conexión personal, la comprensión y el compromiso. Maxine Eye Contact mejora la comunicación al garantizar que el usuario siempre esté mirando a su audiencia, ya sea en una videoconferencia o a través de un video pregrabado.

La nueva versión de Maxine Eye Contact conserva el movimiento natural de los microojos y tiene la capacidad adicional de «mirar hacia otro lado» periódicamente, creando una experiencia más realista en las videoconferencias. La frecuencia y la duración de la función «mirar hacia otro lado» también son ajustables.

La última versión de Eye Contact también ofrece mejoras de calidad, incluida una mayor estabilidad de la mirada, un manejo de oclusión más robusto y una latencia mucho menor cuando se usa con las GPU NVIDIA de la Generación Ada.

El Mejor de Todos

La versión más reciente de Maxine también ofrece funciones nuevas y actualizadas en tiempo real a través de realidad aumentada, efectos de audio y efectos de video para mejorar las capacidades de edición y videoconferencia. Entre ellas se encuentran:

  • Pose Corporal en 3D, para la estimación de la pose cuando solo la parte superior del cuerpo está a la vista de la cámara, lo que introduce una nueva dimensión a las interacciones virtuales.
  • Compatibilidad con las GPU NVIDIA L4 Tensor Core y L40, con la tecnología de la arquitectura NVIDIA Ada Lovelace, lo que supone un aumento del rendimiento de hasta 1,75 veces en comparación con las GPU de familias anteriores.
  • Compatibilidad con el Servidor de Inferencia NVIDIA Triton para la pantalla verde con IA, el contacto visual, la detección de puntos de referencia y la detección de rostros, lo que permite un mayor rendimiento para workflows de una o varias GPU.
  • Mejoras en el rendimiento de la superresolución de audio.
Mejoras en el rendimiento de Eye Contact con NVIDIA Triton (ganancia de rendimiento basada en transmisiones simultáneas).
Mejoras en el rendimiento de la pantalla verde de IA con NVIDIA Triton (aumento de rendimiento basado en transmisiones simultáneas).

Asociarse para el Éxito

Muchos socios y clientes de NVIDIA, como Quicklink y CoPilot AI, ya están experimentando videoconferencias y edición de alta calidad con Maxine.

Quicklink es un proveedor líder mundial de soluciones de producción remota para las industrias de los medios de comunicación, la radiodifusión, la producción y el deporte. La herramienta de producción de video Cre8 de la compañía permite a los usuarios ofrecer eventos profesionales virtuales, presenciales e híbridos.

«Nuestra asociación con NVIDIA ha sido impulsada por los desafíos de la industria de la transmisión, comenzando con la contribución de invitados remotos», dijo Richard Rees, CEO de Quicklink. «Nuestra integración de NVIDIA Maxine en Quicklink Cre8 resuelve estos desafíos con la adición de las funciones de encuadre automático, eliminación de ruido de video, cancelación de ruido y eco y contacto visual de Maxine. Estas características han tenido una recepción increíble en toda la industria».

Imagen cortesía de Quicklink

CoPilot AI, una startup de software como servicio con sede en Vancouver que opera en la sección transversal entre la IA y la habilitación de ventas, incorpora Maxine para proporcionar soluciones confiables para los creadores de contenido.

«Con los microservicios de NVIDIA Maxine, permitimos a los usuarios grabar a su antojo y destacar entre la multitud», dijo Jackson Chao, cofundador de CoPilot AI Video. «La función de contacto visual de Maxine permite a los usuarios grabar un guión sin comprometer la conexión con los espectadores. Incluso los creadores de contenido novatos pueden adoptar el alcance del video con confianza y humanizar la forma en que interactúan con sus contactos».

Maxine ofrece una colección de efectos de IA que mejoran el audio y el vídeo en tiempo real y pueden incorporarse a las infraestructuras existentes de los clientes. Y la solución se puede implementar en la nube, en las instalaciones o en el edge, lo que permite una comunicación de calidad desde casi cualquier lugar.

Disponibilidad

Desde la mejora de las necesidades diarias de videoconferencia hasta la integración de la tecnología de IA, NVIDIA Maxine ofrece comunicaciones de video de alta calidad para todos los profesionales.

La última versión de producción de Maxine se incluye exclusivamente con NVIDIA AI Enterprise 4.1, lo que permite a los usuarios aprovechar funciones listas para la producción, como el Servidor de Inferencia Triton, soporte empresarial y más.

Para los clientes que requieran acceso al programa de acceso anticipado limitado de NVIDIA Maxine, complete la solicitud en línea correspondiente en las páginas del Programa de Acceso Anticipado de Microservicios de Maxine o del Programa de Acceso Anticipado del SDK Maxine.

Para ayudar a mejorar las funciones de las próximas versiones, los participantes pueden proporcionar comentarios contribuyendo a la encuesta de NVIDIA Maxine y Aplicación NVIDIA Broadcast.