En el contexto del calentamiento global, NVIDIA Earth-2 se ha convertido en una plataforma fundamental para la tecnología climática, generando información procesable frente a los impactos climáticos extremos cada vez más desastrosos amplificados por el cambio climático.
Con Earth-2, los conocimientos accesibles sobre el tiempo y el clima ya no se limitan a los expertos en física atmosférica o dinámica oceánica. Ahora puede aprovechar las tecnologías avanzadas para navegar por las complejidades de nuestro clima cambiante con previsión y precisión, guiando a las empresas, organizaciones y naciones para anticipar riesgos climáticos extremos sin precedentes y mitigar sus impactos.
Esta publicación destaca el conjunto integral de herramientas NVIDIA Earth-2 diseñadas para el entrenamiento y la inferencia de modelos de IA, con énfasis en la reducción de escala mediante IA generativa.
La reducción de escala, similar al concepto de superresolución en el procesamiento de imágenes, implica la generación de datos de mayor resolución o predicciones a partir de datos de entrada de menor resolución. Nuestro enfoque se extiende a la IA generativa para predicciones meteorológicas a escala kilométrica (km-scale), abarcando todo, desde el entrenamiento de modelos meteorológicos globales de IA hasta la inferencia y generación de predicciones a escala km.
Por último, este artículo destaca las herramientas de software que impulsan esta revolución de los gemelos digitales de la Tierra, que le ayudan a aprovechar las técnicas de IA generativa para realizar previsiones meteorológicas precisas y rentables utilizando las herramientas de IA de Earth-2.
Resolviendo la Necesidad de Predicciones Meteorológicas Rentables a Escala de Kilómetros
Con el avance impulsado por IA de NVIDIA Earth-2, el panorama de la simulación climática ha cambiado significativamente, democratizando el acceso a la información meteorológica y climática.
Earth-2 catalizará la toma de decisiones proactiva, guiando a las empresas, organizaciones y naciones para que respondan a escenarios hipotéticos, y anticipando un clima sin precedentes para permitir resultados procesables, que abarquen la formulación de políticas, el desarrollo urbano y la planificación de infraestructura.
La predicción precisa de los peligros meteorológicos inminentes requiere costosas simulaciones a escalas kilométricas. Lo mismo ocurre con la predicción de los peligros climáticos futuros.
El uso de métodos de simulación tradicionales para alcanzar la escala de kilómetros hace que los modelos sean demasiado grandes, complejos y costosos desde el punto de vista computacional. Además, el tiempo y el clima son sistemas caóticos que son inherentemente inciertos y requieren un gran conjunto de pronósticos, llamados conjuntos, para predecir las probabilidades de resultados futuros.
La resolución de la simulación se compensa con el tamaño del conjunto. Esto limita la gama de peligros que se pueden muestrear para informar la planificación. Sin embargo, una solución rentable radica en los modelos estocásticos de reducción de escala de IA.
En el corazón de la plataforma Earth-2, NVIDIA ofrece un novedoso enfoque basado en modelos diffusion de IA generativa de dos pasos para reducir la escala de los datos meteorológicos con alta fidelidad llamado CorrDiff.
Predicción de Detalles Meteorológicos a Gran Escala con Corrdiff
Desarrollado por equipos pioneros de investigación y desarrollo de tecnología de NVIDIA, CorrDiff presenta un enfoque de modelo diffusion corrector que promete redefinir la predicción meteorológica a resoluciones a escala de km.
En esencia, CorrDiff aprovecha el poder del aprendizaje generativo para abordar el desafío de predecir detalles a gran escala de fenómenos climáticos extremos con una precisión y eficiencia sin precedentes.
El método CorrDiff aísla eficazmente el aprendizaje generativo en escalas de longitud más cortas, lo que permite predicciones hábiles de detalles a escala fina de fenómenos meteorológicos extremos. Por ejemplo, puede comenzar con pronósticos con una resolución de 25 km y desea generar pronósticos con una resolución de 2 km.
El principal reto es predecir los detalles que faltan en los pronósticos de resolución gruesa para hacerlos más precisos y detallados, que se asemejen a los datos de mayor resolución e incluyan la estructura espacial coherente de los fenómenos meteorológicos extremos.
CorrDiff funciona en dos pasos principales. En primer lugar, un modelo de regresión predice la media del campo de resolución fina. Luego, en el segundo paso, CorrDiff refina esta suposición agregando los detalles faltantes que no se capturaron en la predicción inicial, lo que le permite coincidir mejor con la realidad.
Fundamentalmente, debido a que se trata de un enfoque de IA generativa, CorrDiff puede sintetizar nuevos campos de resolución fina que no están presentes en los datos de entrada de resolución gruesa. El muestreo inherentemente estocástico de los modelos diffusion también permite la generación de muchos posibles estados de resolución fina correspondientes a una sola entrada de resolución gruesa, lo que proporciona una distribución de resultados y una medida de incertidumbre.
La idea detrás de CorrDiff es que es más fácil aprender las correcciones necesarias para mejorar una suposición inicial que aprender directamente los detalles de resolución fina desde cero. Al dividir el problema en los pasos de regresión y difusión, CorrDiff puede aprovechar eficazmente la información disponible en los pronósticos de resolución gruesa para generar predicciones más precisas y detalladas con la resolución más fina.
En general, CorrDiff ofrece un enfoque práctico para mejorar la resolución de los pronósticos meteorológicos, sintetizar nuevas variables y proporcionar un conjunto de estados aprovechando los datos y modelos de resolución gruesa existentes para producir predicciones más detalladas y precisas para regiones específicas, en este caso, Taiwán. Esta practicidad se ve subrayada por su notable eficiencia, ya que es órdenes de magnitud más rápida y más eficiente energéticamente que los métodos convencionales.
CorrDiff también puede sintetizar salidas que pueden no estar disponibles en el vector de entrada, pero que se supone que se correlacionan con las entradas. Esto significa que los usuarios con sus propios conjuntos de datos pueden entrenar equivalentes personalizados de CorrDiff para sus propios casos de uso, ampliando la aplicabilidad y utilidad de CorrDiff en diversos conjuntos de datos y escenarios.
Kits de Herramientas de Software NVIDIA Earth-2 para Modelos Meteorológicos de IA
NVIDIA Earth-2 ofrece un conjunto de potentes herramientas de tecnología climática para el entrenamiento y la inferencia de modelos meteorológicos de IA, incluidos NVIDIA Modulus y Earth2Studio.
Entrenamiento de Modelos Meteorológicos de IA en NVIDIA Modulus
Para entrenar modelos meteorológicos de IA, puedes usar NVIDIA Modulus, una plataforma de machine learning de código abierto basada en la física (physics-ML).
NVIDIA Modulus permite a los ingenieros construir modelos sustitutos de IA que hacen predicciones realistas que rivalizan y pueden superar las de los modelos de predicción basados en la física. Modulus proporciona arquitecturas entrenables de los principales modelos mundiales de predicción meteorológica de IA, modelos de diagnóstico para derivar más variables a partir de un pronóstico y CorrDiff para reducir la escala.
Modulus también incluye funcionalidad para crear pipelines de entrenamiento, como cargadores de datos para los tipos de datos más comunes. Estas características se combinan en workflows de ejemplo para entrenar modelos de IA para la atmósfera. Los componentes de Modulus están diseñados desde cero para aprovechar de forma óptima las GPU y escalar a grandes entornos de entrenamiento.
Para cada modelo de IA atmosférica, Modulus incluye un ejemplo de un workflow para entrenar el modelo respectivo en un conjunto de datos adecuado. Actualmente, Modulus implementa varios modelos de predicción:
- FourCastNet (FCN), nuestro modelo meteorológico global interno basado en IA basado en la arquitectura Spherical Fourier Neural Operator.
- Una red neuronal de grafos icosaédricos jerárquica (GNN) análoga a GraphCast.
- DLWP-HEALPix, un método de predicción de IA inspirado físicamente con una cuadrícula de áreas equivalentes, basado en DLWP, que fue el primer modelo de pronóstico global en demostrar una capacidad de predicción competitiva de subestacional a estacional.
- Le seguirán otros modelos como Pangu-Weather, FengWu y SwinVRNN, construidos sobre arquitecturas de transformers de visión.
Para obtener más información y acceso, consulte el repositorio de GitHub /NVIDIA/modulus.
Estos modelos de predicción meteorológica global predicen un conjunto de variables sobre la superficie y los niveles de presión que se requieren para progresar el estado atmosférico en el tiempo.
A menudo, es posible que le interesen variables que no se incluyen en el modelo global, como la precipitación u otras variables de los flujos de datos personalizados que se hipotetizan como predecibles a partir de la red troncal del modelo meteorológico global.
Los modelos de diagnóstico no adelantan el estado atmosférico en el tiempo, sino que derivan las cantidades deseadas en función de las existentes al mismo tiempo. Al combinar un modelo de diagnóstico y un modelo de previsión, puede pronosticar variables adicionales sin volver a entrenar este último.
Modulus también incluye métodos para entrenar modelos de diagnóstico en el conjunto de variables necesarias para su caso de uso. Para probar los modelos de diagnóstico, consulte el punto de control de un modelo que predice la precipitación.
Inferencia de Modelos Meteorológicos de IA A Través de Earth2Studio
Para permitir que los desarrolladores e investigadores experimenten, construyan y personalicen los workflows de inferencia meteorológica y climática de la IA, NVIDIA Earth-2 ha desarrollado un paquete de Python de código abierto Earth2Studio. Este paquete estará disponible en la versión NVIDIA Modulus 24.04.
Earth2Studio tiene como objetivo servir a modelos de uso común, fuentes de datos, métodos de perturbación, módulos de E/S y más que se requieren para una amplia variedad de workflows de inferencia, al tiempo que facilita la extensión y la personalización.
Tendrá acceso a la API de fuente de datos pública en línea común lista para usar, incluidas las siguientes:
Se puede acceder a una colección de modelos preentrenados en Earth2Studio, y se pueden encontrar más, como punto de partida para la integración de modelos meteorológicos de IA para su caso de uso:
- FourCastNet (Red de Castre)
- Modulus GraphCast
- Stock-Weather
- LWP
Los puntos de control están disponibles en el Catálogo de NGC, como FCN, y Earth2Studio incluye rutinas para descargarlos automáticamente y almacenarlos en caché en su dispositivo. En cambio, algunos modelos se cargan desde fuentes externas, como los puntos de control de PanguWeather alojados en ECMWF.
Earth2Studio tiene como objetivo permitirle crear sus propios workflows personalizados para inferencia, pronóstico y modelos de diagnóstico con poco esfuerzo. Incluye un conjunto de workflows comunes para la predicción y validación determinista y basada en conjuntos listos para usar con solo unas pocas líneas de código.
El siguiente ejemplo de código muestra cómo producir un pronóstico determinista con solo ocho líneas de código que utilizan el modelo FourCastNet a través de Earth2Studio.
from earth2studio.models.px import FCNfrom earth2studio.data import GFSfrom earth2studio.io import ZarrBackendimport earth2studio.wf_simple as wf # Load FourCastNet pretrained modelmodel = FCN.load_model(FCN.load_default_package())# Create the data sourcedata = GFS ()# Create the Zarr IOio = ZarrBackend()# Run 20 steps of inferenceoutput_datastore = wf.run([ “2024-01-01” ], 20, model, data, io)La Figura 1 muestra el campo total de vapor de agua de la columna producido en el último período de tiempo del pronóstico.
Entrenamiento de CorrDiff en NVIDIA Modulus
En este ejemplo se muestra la superresolución y la síntesis de nuevos canales, entrenando a CorrDiff para convertir datos de ERA5 a 25 km en datos de 2 km alrededor de Taiwán.
Los datos fueron generados por la Administración Meteorológica Central (CWA) de Taiwán utilizando un modelo de predicción meteorológica numérica regional de alta resolución. El conjunto de datos está disponible para uso no comercial bajo la licencia CC BY-NC-ND 4.0 y se puede descargar de NGC. Para obtener más información sobre las instrucciones específicas para entrenar el modelo, consulte la sección Introducción en el repositorio de GitHub /NVIDIA/modulus.
Un beneficio clave de NVIDIA Modulus, además de la facilidad de uso, es la optimización del rendimiento. Actualmente, CorrDiff requiere entre 2 y 3 mil horas de GPU en las GPU NVIDIA A100 o NVIDIA H100, y el equipo de CorrDiff está trabajando para optimizar aún más el procedimiento de entrenamiento. Se puede generar una muestra de superresolución en hardware similar en cuestión de segundos.
Inferencia de Corrdiff A Través de Modulus
El mismo ejemplo de CorrDiff también contiene scripts de inferencia para generar muestras condicionales de clima de alta resolución basadas en el acondicionamiento ERA5 de baja resolución (entradas a 25 km).
Para obtener más información sobre las instrucciones para generar muestras y guardarlas en un archivo NetCDF, consulte el repositorio de GitHub /NVIDIA/modulus. La ejecución de la inferencia requiere tener puntos de control de módulo tanto para el modelo de regresión como para el de difusión. Estos puntos de control se guardan como parte de la canalización de entrenamiento.
Para obtener más información y acceso, consulte el paquete de inferencia CorrDiff en el catálogo de NGC.
Seguimiento de Tormentas Sobre Taiwán
Como ejemplo de los casos de uso de CorrDiff para problemas climáticos extremos, presentamos los desafíos del seguimiento de tormentas sobre Taiwán.
Aunque los modelos de predicción globales de IA sobresalen en la predicción de las trayectorias de las tormentas, su eficacia se ve obstaculizada por su resolución limitada de 25 km, que no puede capturar los detalles a escala fina que a menudo contienen los vientos y las precipitaciones más fuertes críticos para los daños relacionados con las tormentas.
Con una resolución de 25 km, la estructura de los tifones en los datos de entrada de ERA5 a menudo está mal resuelta, lo que da lugar a representaciones inexactas de su tamaño e intensidad. También le faltan detalles espaciales clave en la pared del ojo y bandas de lluvia relacionadas con los peligros físicos.
Taiwán, reconocido como uno de los lugares más húmedos del mundo, con una precipitación anual de 2.600 mm, aproximadamente 3 veces el promedio mundial, enfrenta un costo anual promedio por desastre de $ 650 millones. Esta carga financiera es causada por los tifones estacionales que depositan lluvias sustanciales en la isla, lo que resulta en extensas inundaciones que dañan vidas y propiedades y requieren esfuerzos de evacuación a gran escala.
El riesgo de desastres se considera como la combinación de la gravedad y frecuencia de un peligro, el número de personas y bienes expuestos al peligro y su vulnerabilidad a los daños. La Figura 3 muestra un esquema del IPCC en su sexto informe de evaluación de 2022 sobre impactos, adaptación y vulnerabilidad.
El Centro Nacional de Ciencia y Tecnología para la Reducción de Desastres (NCDR) de Taiwán describe un enfoque de cuatro fases para la respuesta a los tifones (Figura 4).
Las dos primeras fases, Iniciación y Preparación, se concentran en el análisis de riesgos y la emisión de alertas de desastres. Las fases 3 y 4, Respuesta y Recuperación, están dedicadas al monitoreo del desastre y a la implementación de medidas de respuesta.
La tecnología de NVIDIA puede hacer frente a estos desafíos.
Las mejoras de la predicción meteorológica de IA tienen el potencial de mejorar el análisis de riesgos durante las fases 1 y 2. Al mejorar la tecnología de predicción meteorológica, específicamente a través de una resolución más alta y conjuntos más grandes, podemos evaluar de manera más integral los riesgos de exposición.
CorrDiff, el innovador modelo de difusión de IA generativa de NVIDIA, se entrena con datos WRF de alta resolución incorporados en el radar proporcionados por la CWA de Taiwán y los datos de reanálisis de ERA5 procedentes del Centro Europeo de Previsiones Meteorológicas a Medio Plazo.
A través de CorrDiff, las predicciones de fenómenos meteorológicos extremos, como los tifones, pueden mejorarse significativamente de una resolución de 25 km a una resolución de 2 km.
En esta publicación, hemos demostrado que, al reducir la escala de ERA5 25 km a 2 km, podemos explorar muchos más escenarios de pronóstico local con el objetivo de proporcionar una imagen clara de los impactos en el mejor, peor y más probable caso de una tormenta.
Evaluar la incertidumbre es crucial. Sin embargo, existe un compromiso entre el número de miembros de pronóstico de conjunto y su resolución, dados los recursos computacionales finitos. El NCDR produce pronósticos que comprenden aproximadamente 200 miembros del conjunto con diferentes resoluciones.
La introducción de tecnologías de IA de vanguardia, como CorrDiff, marca una transformación significativa. Ofrece la capacidad de escalar hasta miles de miembros para la previsión de conjuntos casi en tiempo real en un solo nodo de GPU.
Citando el potencial transformador del modelo CorrDiff de IA generativa de NVIDIA, Chia-Ping Cheng, administrador de la CWA de Taiwán, enfatiza su capacidad para revolucionar la predicción meteorológica. Cheng destacó cómo CorrDiff permite la generación de pronósticos meteorológicos a escala kilométrica, lo que permite a la sociedad anticipar características detalladas de eventos climáticos extremos con una precisión sin precedentes, ayudando así en los esfuerzos de mitigación de desastres.
Haciéndose eco de esto, Hongey Chen, director del Centro Nacional de Ciencia y Tecnología para la Reducción de Desastres en Taiwán, subraya la importancia de CorrDiff para abordar los impactos diversos y sin precedentes de los desastres naturales. Chen destaca a CorrDiff como una solución creativa para garantizar la seguridad pública.
Democratización de la IA y Tecnología Climática
En resumen, NVIDIA Earth-2 democratiza el acceso a la información meteorológica y encarna una iniciativa moderna para ampliar el alcance de la ciencia climática más allá del mundo académico, haciéndola fácilmente accesible para los responsables políticos, las empresas, los periodistas y el público en general.
CorrDiff, el modelo de reducción de escala basado en IA generativa de vanguardia de NVIDIA, es prometedor para varios sectores:
- En los servicios financieros, CorrDiff puede capacitar a los usuarios para que tomen decisiones informadas con respecto a la evaluación de riesgos y la gestión de activos.
- En el sector energético, las capacidades precisas de reducción de escala de CorrDiff pueden permitir una mejor asignación de recursos y planificación de la infraestructura, crucial para optimizar la producción y distribución de energía.
- Las agencias gubernamentales pueden beneficiarse de CorrDiff para mejorar los esfuerzos de preparación y respuesta ante desastres.
- Los usuarios individuales pueden sentir el impacto de CorrDiff a través de pronósticos meteorológicos más precisos y localizados para la planificación diaria y la seguridad.
Con su notable adaptabilidad y eficiencia, CorrDiff puede ayudar a obtener información procesable y pronósticos precisos para empoderarnos a todos en la construcción de un mundo más resiliente.