La simulación de vehículos autónomos plantea dos desafíos: generar un mundo con suficiente detalle y realismo para que el conductor de IA perciba la simulación como real, así como crear simulaciones a una escala lo suficientemente grande como para cubrir todos los casos en los que el conductor de IA necesita estar completamente capacitado. y probado.
Para abordar estos desafíos, los investigadores de NVIDIA han creado nuevas herramientas basadas en IA para crear simulaciones directamente a partir de datos del mundo real. El fundador y CEO de NVIDIA, Jensen Huang, anticipó el avance durante el discurso de apertura de GTC.
Esta investigación incluye trabajos premiados publicados por primera vez en SIGGRAPH, una conferencia de gráficos por computadora celebrada el mes pasado.
Motor de Reconstrucción Neuronal
El Motor de Reconstrucción Neuronal es un nuevo conjunto de herramientas de IA para la plataforma de simulación NVIDIA DRIVE Sim que utiliza múltiples redes de IA para convertir los datos de video grabados en simulación.
El nuevo pipeline utiliza IA para extraer automáticamente los componentes clave necesarios para la simulación, incluido el entorno, los activos 3D y los escenarios. Luego, estas piezas se reconstruyen en escenas de simulación que tienen el realismo de las grabaciones de datos, pero son completamente reactivas y se pueden manipular según sea necesario. Lograr este nivel de detalle y diversidad a mano es costoso, requiere mucho tiempo y no es escalable.
Entornos y Activos
Una simulación necesita un entorno en el que operar. El pipeline de IA convierte datos de video 2D de una unidad del mundo real a un digital twin 3D del entorno dinámico que se puede cargar en DRIVE Sim.
El pipeline DRIVE Sim AI sigue un proceso similar para reconstruir otros activos 3D. Los ingenieros pueden usar los activos para reconstruir la escena actual o colocarlos en una biblioteca más grande de activos para usar en cualquier simulación.
El uso del pipeline de recolección de activos es clave para hacer crecer la biblioteca DRIVE Sim y garantizar que coincida con la diversidad y distribución del mundo real.
Escenarios
Los escenarios son los eventos que tienen lugar durante una simulación en un entorno combinado con activos.
El Motor de Reconstrucción Neuronal asigna comportamientos basados en IA a los actores de la escena, de modo que, cuando se les presenten los eventos originales, se comporten exactamente como lo hicieron en la conducción real. Sin embargo, dado que tienen un modelo de comportamiento de IA, las figuras en la simulación pueden responder y reaccionar a los cambios del VA u otros elementos de la escena.
Debido a que todos estos escenarios ocurren en la simulación, también se pueden manipular para agregar nuevas situaciones. El tiempo y la ubicación de los eventos se pueden modificar. Los desarrolladores pueden incluso incorporar elementos completamente nuevos, sintéticos o reales, para hacer que un escenario sea más desafiante, como la adición de un niño persiguiendo una pelota a la escena de abajo.
Integración en DRIVE Sim
Una vez que se han extraído el entorno, los recursos y el escenario, se vuelven a ensamblar en DRIVE Sim para crear una simulación 3D de la escena grabada o se mezclan con otros recursos para crear una escena completamente nueva.
DRIVE Sim proporciona las herramientas para que los desarrolladores ajusten objetos dinámicos y estáticos, la ruta del vehículo y la ubicación, orientación y parámetros de los sensores del vehículo.
Las mismas escenas en DRIVE Sim también se utilizan para generar datos sintéticos preetiquetados para entrenar sistemas de percepción. Las aleatorizaciones se aplican sobre las escenas recreadas para agregar diversidad a los datos de entrenamiento. La creación de escenas a partir de datos del mundo real reduce en gran medida la brecha entre la simulación y la realidad.
La capacidad de mezclar y combinar formatos de simulación es una ventaja significativa para probar y validar exhaustivamente los VA a escala. Los ingenieros pueden manipular eventos en un mundo que responde y se ajusta a sus necesidades con precisión.
El Motor de Reconstrucción Neuronal es el resultado del trabajo del equipo de investigación de NVIDIA y se integrará en futuras versiones de DRIVE Sim. Este avance permitirá a los desarrolladores aprovechar tanto la simulación basada en la física como la impulsada por neuronas en la misma plataforma basada en el cloud.