Skycatch, una startup de San Francisco, ha estado ayudando a las empresas a extraer datos y minerales durante casi una década.
El fabricante de software ahora está investigando la creación de digital twins, con un enfoque inicial en la industria de la minería y la construcción, utilizando la plataforma NVIDIA Omniverse para conectar y construir pipelines 3D personalizados.
SkyVerse, que es parte de la plataforma de IA de visión de Skycatch, es una combinación de software de visión de computación y extensiones Omniverse personalizadas que permite a los usuarios enriquecer y animar mundos virtuales de minas y otros sitios con datos geoespaciales casi en tiempo real.
«Con Omniverse, podemos convertir enormes cantidades de datos no visuales en información visual dinámica que es fácil de contextualizar y consumir», dijo Christian Sanz, fundador y CEO de Skycatch. «Realmente podemos recrear el mundo físico».
SkyVerse puede ayudar a los sitios industriales a simular variables como el clima, las máquinas rotas y más hasta cinco años en el futuro, mientras aprenden de eventos hasta cinco años en el pasado, dijo Sanz.
La plataforma automatiza todo el pipeline de visualización para entornos de minería y construcción.
En primer lugar, procesa datos de drones, lidares y otros sensores en todo el entorno, ya sea en el edge utilizando la plataforma NVIDIA Jetson o en el cloud.
Luego, crea mallas 3D a partir de imágenes 2D, utilizando redes neuronales creadas a partir de modelos previamente entrenados de NVIDIA para eliminar objetos innecesarios como camiones de volcado y otros equipos de las visualizaciones.
Luego, SkyVerse lo une en un solo modelo 3D que se convierte al framework de Universal Scene Description (USD). Luego, el modelo maestro se incorpora a Omniverse Enterprise para la creación de un digital twin que está sincronizado en vivo con datos de telemetría del mundo real.
«La simulación de máquinas en el entorno, diferentes condiciones climáticas, atascos de tráfico; ninguna otra plataforma lo ha permitido, pero todo es posible en Omniverse con la física hiperrealista y masa de objetos, lo que es realmente revolucionario», dijo Sanz.
Skycatch es un socio Premier de NVIDIA Inception, un programa gratuito y global que apoya a las startups que revolucionan las industrias con tecnologías de vanguardia. Los socios Premier reciben asistencia adicional para el lanzamiento de productos, exposición a firmas de capital de riesgo y experiencia técnica para ayudarlos a escalar más rápido.
Procesamiento y Visualización de Datos
Las empresas han implementado las tecnologías totalmente automatizadas de Skycatch para recopilar información de datos aéreos en decenas de miles de sitios en varias de las principales compañías mineras.
El equipo de Skycatch primero determina el posicionamiento óptimo de los sensores de recopilación de datos en los vehículos mineros utilizando la plataforma NVIDIA Isaac Sim, una herramienta de simulación robótica y generación de datos sintéticos (SDG) para desarrollar, probar y entrenar robots basados en IA.
«Isaac Sim nos ahorró un año de pruebas: entrar en el campo, colocar un sensor, probar cómo funciona y repetir el proceso», dijo Sanz.
El equipo también planea integrar el kit de desarrollo de software Omniverse Replicator en SkyVerse para generar datos sintéticos 3D físicamente precisos y desarrollar herramientas de SDG para acelerar el entrenamiento de redes de percepción más allá del dominio de la robótica.
Una vez que se recopilan los datos de un sitio, SkyVerse utiliza dispositivos de edge impulsados por los módulos NVIDIA Jetson Nano y Jetson AGX Xavier para procesar automáticamente hasta terabytes por día y convertirlos en análisis del tamaño de kilobytes que se puede transferir fácilmente a los usuarios de la primera línea.
La plataforma de computación en paralelo NVIDIA CUDA aceleró este procesamiento de datos 3 veces, según Sanz. El equipo también está buscando implementar los nuevos módulos Jetson Orin para obtener un rendimiento de siguiente nivel.
«No es humanamente posible analizar decenas de miles de imágenes al día y extraer análisis críticos de ellas», dijo Sanz. «Por lo tanto, estamos ayudando a expandir la visión humana con las redes neuronales».
Mediante modelos previamente entrenados del Kit de Herramientas NVIDIA TAO, Skycatch también creó redes neuronales que pueden eliminar objetos y vehículos extraños de las visualizaciones y texturizar sobre estos puntos en la malla 3D.
El modelo de terreno digital, que tiene una precisión de menos de cinco centímetros, se puede incorporar a Omniverse para la creación de un digital twin utilizando el framework USD fácilmente extensible, las extensiones personalizadas de SkyVerse Omniverse y las GPU NVIDIA RTX.
«Tomó solo tres meses construir las extensiones de Omniverse, a pesar de la complejidad de las capacidades de nuestras extensiones, gracias al acceso a expertos técnicos a través de NVIDIA Inception», dijo Sanz.
Skycatch está trabajando con una de las principales compañías mineras de Canadá, Teck Resources, para implementar el uso de digital twins basados en Omniverse para los sitios de sus proyectos.
«Teck Resources ha estado utilizando el motor de computación de Skycatch en todos nuestros sitios mineros de todo el mundo y ahora está expandiendo las capacidades de visualización y simulación con SkyVerse y nuestra propia estrategia de digital twin», dijo Preston Miller, líder de tecnología e innovación de Teck Resources. «La entrega de datos visuales casi en tiempo real permitirá a los equipos de Teck contextualizar rápidamente los sitios de minas y tomar decisiones operativas más rápidas en proyectos cruciales y con poco tiempo».
Las extensiones de Omniverse creadas por Skycatch estarán disponibles pronto, obtén más información.
Seguridad y Sustentabilidad
Los digital twins y el análisis de datos impulsados por IA pueden hacer que los procesos operativos para las empresas de minería y construcción sean más seguros, sustentables y eficientes.
Por ejemplo, según Sanz, las compañías mineras necesitan la capacidad de ubicar rápidamente el «dedo» y la «cresta» (o parte inferior y superior) de los «bancos», tiras angostas de tierras junto a una mina a cielo abierto. «Cuando se automatiza la entrada y salida de una máquina de una mina, se debe programar para mantenerse a 10 metros de distancia de la cresta en todo momento a fin de evitar el riesgo de deslizamiento», dijo Sanz.
Anteriormente, estudiar y analizar las formas de tierra para determinar los pies y las crestas precisas generalmente tomaba hasta cinco días. Con la ayuda de la IA de NVIDIA, SkyVerse ahora puede generar esta información en cuestión de minutos, dijo Sanz.
Además, SkyVerse elimina 10,000 interacciones a cielo abierto para clientes por año y por sitio, dijo Sanz. Estas son situaciones en las que los humanos y los vehículos pueden intersectar dentro de una mina, lo que plantea una amenaza de seguridad.
«En esencia, el objetivo de Skycatch es proporcionar contexto y conciencia plena sobre lo que está ocurriendo en un sitio de minería o construcción casi en tiempo real, y un mejor contexto ambiental conduce a una mayor seguridad para los trabajadores», dijo Sanz.
Skycatch también tiene como objetivo impulsar los esfuerzos de sustentabilidad para la industria minera.
«Además de las empresas mineras, las organizaciones gubernamentales buscan visibilidad sobre el funcionamiento de las minas, más allá de que los entornos circundantes estén debidamente cuidados, y nuestra plataforma ofrece estos conocimientos», dijo Sanz.
Además, se requieren minerales como el cobalto, el níquel y el litio para la electrificación y la transición energética. Todos estos provienen de sitios mineros, dijo Sanz, que pueden volverse más seguros y eficientes con la ayuda de los digital twins y la IA de visión de SkyVerse.
Explora la tecnología para un futuro sostenible con Skycatch y otros socios de Inception en el webinar a pedido, Impulsar el Éxito de las Startups de Energía con NVIDIA Inception.
Los creadores y desarrolladores de todo el mundo pueden descargar NVIDIA Omniverse de forma gratuita. Los equipos empresariales pueden usar la plataforma para sus proyectos 3D.
Obtén más información y regístrate para unirte a NVIDIA Inception.