NVIDIA se asocia con SMI para desarrollar una técnica de renderización innovadora que mejora la realidad virtual

David Luebke y Aaron Lefohn

En la visión periférica, menos es más.

Los investigadores de NVIDIA están usando la tecnología de seguimiento ocular de SMI para desarrollar una técnica nueva que se equipara con la fisiología del ojo humano y así aumentar la fidelidad visual en la realidad virtual.

La demostración, que presentaremos en la conferencia anual de gráficos de computación SIGGRAPH en Anaheim, California, del 24 al 28 de julio, es muy sencilla. Colóquese un casco de realidad virtual con la funcionalidad de seguimiento de ojos integrada. Observe la escena virtual de un salón de clases, con el tablero y las sillas. Se ve bien, ¿cierto?

Ahora, observe la silla del maestro, apague el seguimiento de ojos y vuelva a mirar a su alrededor. Solo la zona alrededor de la silla se renderiza con detalle. En su periferia, la demostración renderizaba una versión menos detallada de la imagen, pero no podía distinguirlo.

Esta nueva técnica de renderización foveal basada en la percepción es mucho más que un buen truco. Esta técnica promete poner a trabajar los recursos de computación donde más rinden, para permitir que los desarrolladores generen entornos virtuales más inmersivos.

Qué hace que la técnica de renderización foveal de NVIDIA se especial

La visión humana se puede pensar en términos de dos componentes: la visión periférica y la foveal. La pequeña región de tu retina llamada la fóvea está repleta de conos, un tipo de célula fotorreceptora, que proporcionan una visión detallada y cristalina. La visión periférica cubre un campo de visión mucho más amplio, pero no cuenta con esa agudeza.

No Foveation

Esta diferencia de precisión inspiró los sistema de renderización foveal, que siguen la mirada del usuario y buscan incrementar el rendimiento de los gráficos al renderizar imágenes de menor calidad en la periferia. Sin embargo la renderización foveal excesiva provoca parpadeos, borroneos o una sensación de “visión de túnel”.

Nuestros investigadores usaron un prototipo de un casco de realidad virtual con seguimiento de ojos de HMD de SMI para llevar a cabo un cuidadoso estudio perceptual de lo que la gente realmente ve en su visión periférica en la realidad virtual. Luego, nuestros investigadores usaron esa información para diseñar un nuevo algoritmo de renderización que permite una foveación, o reducción del esfuerzo de renderización, sin una disminución significativa de la calidad visual.

Foveated image

El equipo de investigación de NVIDIA, liderado por Anjul Patney, Joohwan Kim y Marco Salvi, descubrió que las técnicas de renderización foveal existentes tienden a generar parpadeos o borroneos en la visión periférica. Por lo tanto, el equipo trabajó para comprender los detalles que los humanos detectan, como el color, el contraste, los bordes y el movimiento, en la periferia.

Por ejemplo, descubrieron que el enfoque tradicional de procesar imágenes de menor resolución para nuestra visión periférica provocaba un parpadeo distractivo si la foveación era demasiado agresiva. También descubrieron que las imágenes borrosas que se perciben en la región periférica del ojo, se reduce el contraste, lo que provoca una sensación de “visión de túnel”.

Image with contrast preserving foveation.

Sin embargo, al combinar el borroneo con la preservación del contraste, descubrieron que los usuarios podían tolerar hasta el doble de borroneo antes de notar diferencias entre las imágenes foveales y no foveales.

“Esa es la gran diferencia”, explica Patney, “porque, con la realidad virtual, las resoluciones y las frecuencias de cuadros son más rápidas que nunca”.

El potencial del seguimiento de ojos

La demostración no sería posible sin la colaboración de nuestros socios de SMI, la empresa alemana dedicada a las aplicaciones de visión computarizada. El funcionamiento de esta tecnología se basa en rodear el borde de cada uno de los lentes del casco de realidad virtual con luces infrarrojas. Esto, en combinación con el software de SMI, permite que las computadoras detecten adónde está mirando tu ojo de forma precisa y rápida.

La renderización foveal es solo una aplicación de la tecnología de seguimiento de ojos en la realidad virtual de SMI. También permite la calibración personal del visor, la interacción natural sin obstáculos, la presencia social y nueva información analítica.

Más información

Para conocer todos los detalles, visita la página de nuestro proyecto. Para ver nuestra demostración por tu cuenta, visita nuestro stand en el área Tecnología emergente en SIGGRAPH. Sigue todas las novedades de la conferencia en #SIGGRAPH2016.