Nota del Editor: Este blog forma parte de la serie IA Descodificada, que permite desmitificar la IA haciendo que la tecnología sea más accesible, y presenta nuevo hardware, software, herramientas y aceleraciones para usuarios de PC RTX.
La IA ha cambiado la informática para siempre. Últimamente, la atención se ha centrado en la IA generativa, pero las herramientas aceleradas por IA e impulsadas por NVIDIA RTX también han sido clave para mejorar los juegos, la creación de contenidos y la productividad a lo largo de los años.
Un ejemplo es la aplicación NVIDIA Broadcast, que utiliza núcleos sensores en una GPU RTX local para mejorar la calidad de audio y vídeo. Combinada con el codificador NVIDIA (NVENC) integrado en las GPUs GeForce RTX y NVIDIA RTX, la aplicación facilita los primeros pasos como transmisor en directo o para dar una imagen profesional durante las videoconferencias.
El Stream Soñado
Tradicionalmente, la retransmisión en directo de alta calidad exigía un hardware costoso. Muchos streamers en directo dependían de la codificación por software de la CPU utilizando la biblioteca de software x264, lo que a menudo afectaba a la calidad del juego. Esto llevó a muchos a utilizar una configuración de doble PC, con una PC centrada en el juego y el contenido y la otra en la codificación de la transmisión. Era complicado de configurar, difícil de solucionar y a menudo excesivamente costoso para los que empezaban a retransmitir en directo.
NVENC está aquí para ayudar. Se trata de un codificador de video por hardware dedicado en las GPUs NVIDIA que procesa la codificación, liberando al resto del sistema para que se concentre en el rendimiento del juego y el contenido. Las aplicaciones de streaming más importantes del sector, como Open Broadcaster Software (OBS), están incorporando soporte para NVENC, preparando el camino para una nueva generación de emisoras en plataformas tan populares como Twitch y YouTube.
Por su parte, NVIDIA Maxine ayuda a resolver el problema de los equipos costosos. Incluye funciones gratuitas impulsadas por IA como pantallas verdes virtuales y seguimiento de realidad aumentada basado en webcam que eliminan la necesidad de equipos especiales como pantallas verdes físicas o trajes de captura de movimiento. Las cadenas de televisión pudieron experimentar la tecnología por primera vez en TwitchCon 2019, donde probaron OBS en directo en la sala de exposiciones con una pantalla verde acelerada por IA en una GPU GeForce RTX 2080.
Los efectos de IA de Maxine debutaron para los usuarios de RTX en RTX Voice beta y se trasladaron a la aplicación NVIDIA Broadcast.
NVIDIA Broadcast Ahora en Exhibición
NVIDIA Broadcast ofrece funciones basadas en IA que mejoran la calidad de audio y video para una variedad de usos. Es fácil de usar, funciona en cualquier aplicación y se configura en un abrir y cerrar de ojos.
Incluye:
- Eliminación de Ruidos y Ecos Acústicos: IA elimina el ruido de fondo no deseado tanto del micrófono como del audio entrante con solo pulsar un botón.
- Fondos Virtuales: Funciones como la eliminación de fondos, la sustitución y el desenfoque ayudan a personalizar los fondos sin necesidad de equipos caros ni complejas configuraciones de iluminación.
- Contacto Visual: La IA ayuda a que parezca que un streamer está mirando directamente a la cámara, incluso cuando está mirando fuera de cámara o tomando notas.
- Encuadre Automático: Realiza un seguimiento dinámico de los movimientos en tiempo real, recortando y ampliando automáticamente los objetos en movimiento independientemente de su posición.
- Dibujo: IA aplica un efecto de oscurecimiento a las esquinas de las imágenes de la cámara, proporcionando un contraste visual para atraer la atención hacia el centro del video y añadiendo un toque estilístico
- Eliminación del Ruido de Video: Elimina el ruido visual de las situaciones de poca luz para obtener una imagen más limpia.
NVIDIA Broadcast funciona creando una cámara, un micrófono o un altavoz virtuales en Windows para que los usuarios puedan configurar sus dispositivos una sola vez y utilizarlos en cualquier aplicación de transmisión, videoconferencia o chat de voz, incluidas Discord, Google Meet, Microsoft Teams, OBS Studio, Slack, Webex y Zoom.
Aquellos que dispongan de una GPU NVIDIA GeForce RTX, TITAN RTX, NVIDIA RTX o Quadro RTX podrán utilizar los Núcleos Tensor dedicados de tu GPU para ayudar a las redes de IA de la aplicación a funcionar en tiempo real.
La misma tecnología de IA de NVIDIA Broadcast también está a disposición de los desarrolladores de aplicaciones como kit de desarrollo de software. La compañía de tecnología audiovisual Elgato incluye la tecnología de eliminación de ruido de audio mediante IA de Maxine en su software Wave Link, mientras que VTube Studio -una popular aplicación para conectar un modelo 3D a una webcam y transmitirlo como un personaje animado- ofrece un plug-in de seguimiento de modelos acelerado por RTX como descarga gratuita. El desarrollador independiente Xaymar utiliza NVIDIA Maxine en su plug-in VoiceFX.
Los creadores de contenidos pueden utilizar este plug-in o el filtro de tecnología de estudio virtual (VST) de Elgato para limpiar el ruido y el eco de las grabaciones en el postproceso en suites de edición de video como Adobe Premiere Pro o en estaciones de trabajo de audio digital como Ableton Live y Adobe Audition.
(No) Oír es Creer
Desde su lanzamiento, NVIDIA Broadcast ha sido utilizado por millones de personas.
«Lo que más he utilizado es la eliminación de ruido de video y la sustitución del fondo», dijo Mr_Vudoo, una personalidad de Twitch y locutor. «La función de contacto visual es muy interesante y, sinceramente, me sorprendió lo bien que funcionaba».
Unmesh Dinda, presentador del canal de YouTube PiXimperfect, demostró las funciones de cancelación de ruido y eliminación del eco de la IA de NVIDIA Broadcast en un escenario extremo. Colocó un ventilador eléctrico zumbando directamente en su micrófono y se puso un casco que golpeaba intensamente. Incluso con estos ruidos de fondo, a Dinda se le oía perfectamente con la función de supresión de ruido de Broadcast activada. El video ha acumulado más de 12 millones de visitas.
NVIDIA Broadcast también es una herramienta útil para los profesionales que trabajan a distancia. En un artículo, Avram Piltch, redactor jefe de Tom’s Hardware, detalla sus pruebas de las funciones de reducción de ruido de la aplicación frente a aparatos de aire acondicionado ruidosos, vecinos que cortan el césped e incluso un niño con rabietas y un robot. Los filtros de audio de IA de Broadcast se impusieron en todo momento:
«Conseguí que mi hijo de ocho años fingiera un berrinche justo detrás de mí y una vez que activé la eliminación de ruido, todos los lloriqueos de ‘no me voy a la cama’ se silenciaron (al menos en la grabación)», explica Piltch. «Para doblar el reto, le hicimos montar un berrinche mientras llevaba a cuestas un coche robot con bandas de rodadura zumbando. Una vez más, NVIDIA Broadcast eliminó todo el sonido no deseado».
Incluso situaciones cotidianas como las videollamadas con un profesional de la medicina se benefician de la eliminación en segundo plano mediante IA de NVIDIA Broadcast.
Descarga NVIDIA Broadcast gratis en cualquier desktop o laptop con RTX.
La IA generativa está transformando los juegos, las videoconferencias y las experiencias interactivas de todo tipo. Entérate de las novedades y lo que está por venir suscribiéndote al boletín IA Descodificada.