Fuente: publicación del 20 de junio en la web del Centro Europeo de Predicción a Plazo Medio (CEPPM) The rise of machine learning in weather forecasting | ECMWF

Autores: Matthew Chantry
Zied Ben Bouallegue
Linus Magnusson
Michael Maier-Gerber
Jesper Dramsch

El aprendizaje automático (ML) ha sido uno de los temas globales de discusión este año. Todo el mundo parece estar disfrutando de la exploración de la inteligencia artificial generativa (IA), en forma de lenguaje y modelos de imagen, para escribir sus tediosos correos electrónicos, hacer sus trabajos o incluso retocar fotos.  

En el CEPPM, las técnicas de ML (machine learning) para la modelización del sistema terrestre se han explorado durante los últimos años, por ejemplo, utilizando redes neuronales para incorporar mejor las observaciones satelitales. En 2021 publicamos una hoja de ruta, tratando de hacer lo imposible: predecir hacia dónde iría el campo en la próxima década. Este año hemos marcado un hito clave en esa hoja de ruta: el primer uso operativo de ML moderno en el CEPPM, utilizando redes neuronales para monitorear observaciones.

Mientras que los grandes modelos de lenguaje como ChatGPT han estado dominando los titulares, una revolución más silenciosa ha estado ocurriendo en segundo plano. Los modelos de ML se están volviendo competitivos con los modelos numéricos de predicción meteorológica.  

Exploración temprana del pronóstico de ML en el CEPPM 

Nuestra exploración sobre el tema de hacer pronósticos meteorológicos basados en ML comenzó en 2018, con Peter Dueben y Peter Bauer del ECMWF publicando un artículo sobre el uso del último reanálisis del CEPPM (ERA5) con una resolución de alrededor de 500 km para predecir la altura de geopotencial futura a 500 hPa.

Después de esto vino WeatherBench, creando una referencia de rendimiento (benchmark) para el pronóstico meteorológico de alcance medio basado en ML. Los test de rendimiento han sido clave para los desarrollos de ML en muchas áreas de investigación, proporcionando conjuntos de datos e índices de verificación. Esto hizo que el problema fuera muy accesible para investigadores de una amplia variedad de campos.  

Durante los siguientes años, el tema fue explorado por muchos autores, pero con modelos basados en ML que tienen la pericia equivalente de una simulación de no muy alta resolución del Sistema de Predicción Integrado (IFS) del CEPPM (por ejemplo, con cuadrículas de alrededor de 200 km de lado).

La conclusión preliminar fue que este era un problema de investigación interesante para abordar, pero con una baja posibilidad de entrar en funcionamiento, por lo que no era una inversión inteligente de los recursos del CEPPM. 

Una revolución en los modelos de ML para la predicción meteorológica 

La situación cambió rápidamente, entre febrero de 2022 y abril de 2023. 

En una serie de artículos, principalmente de grandes empresas tecnológicas como NVIDIA, Huawei y Google DeepMind, se avanzó rápidamente en la calidad de las predicciones meteorológicas basadas en ML. Actualmente, cada pocos meses se realizan nuevas contribuciones en este terreno.

Estas predicciones meteorológicas basadas en ML primero se acercaron a la pericia del IFS (utilizado como referencia para la predicción de alta calidad), igualaron la pericia del IFS y luego superaron nuestras verificaciones. Además, hacer un pronóstico con estos modelos requiere solo una GPU, toma menos que un minuto, y consume una pequeña fracción de la energía requerida para un pronóstico IFS. Pero, ¿es esa toda la historia?

Estos enfoques totalmente basados en ML todavía dependen en gran medida del IFS. El IFS se utiliza para crear los datos de entrenamiento y validación (ERA5), que es esencial para cualquier modelo de ML. Además, después del entrenamiento, estos modelos se basan en las condiciones iniciales del IFS.

Además, la calidad de las predicciones del tiempo supone algo más que índices de verificación, por lo que surge la pregunta: ¿estos modelos basados en ML producen predicciones físicamente consistentes y con sentido meteorológico?

Varios de estos modelos se han hecho públicos, como Pangu-Weather de Huawei y NVIDIA FourCastNet. En los últimos meses, el personal del CEPPM ha construido infraestructura para ejecutar estos modelos con un procedimiento (pipeline) fácil de utilizar. Los modelos ahora se pueden correr a partir de nuestros datos archivados, la salida guardarse en formatos estandarizados y pueden conectarse a nuestras herramientas de verificación. Una herramienta de este trabajo ha sido lanzada en https://github.com/ecmwf-lab/ai-models para que cualquier usuario explore la pericia de estas predicciones.

¿Qué precisión o bondad tienen los últimos pronósticos meteorológicos basados en ML? 

En primer lugar, los índices de verificación principales de los modelos basados en ML publicadas se mantienen tras una evaluación independiente. Cuando se evalúan con ínidices deterministas, como el error cuadrático medio (RMSE) o el coeficiente de correlación de anomalías (ACC), Pangu-Weather es un rival legítimo para el IFS. (ver Figura 1 por ejemplo). Esto es válido no sólo cuando se evalúa contra los análisis, sino también contra las observaciones, y cuando se utilizan las mismas condiciones iniciales que el IFS (a diferencia de inicializar desde ERA5, como se hace en las publicaciones públicas).

Sin embargo, las índices de verificación se pueden optimizar y los modelos de ML están entrenados para hacer exactamente esto. Pangu-Weather y FourCastNet fueron entrenados para minimizar el RMSE. El entrenamiento hacia este tipo de objetivo puede suavizar las predicciones y penalizar los pronósticos de extremos. Pero, por supuesto, las predicciones son más útiles en el caso de los eventos extremos donde hay vidas en juego

Figura 2: Errores promedio de seguimiento de ciclones tropicales durante 2018 para pronósticos de alta resolución (HRES) de IFS y Pangu-Weather, medidos contra IBTrACS. La estadística se basa en eventos que tienen una intensidad de tormenta tropical de al menos 17 m / s, y las barras resaltan el intervalo de confianza del 95%.

Al examinar la precisión de la trayectoria de los ciclones tropicales de Pangu-Weather, vemos que este modelo de ML funciona tan bien como el modelo IFS en general dentro de los primeros cinco días de pronóstico (Figura 2). La ligera ventaja para Pangu-Weather después de dos días se debe principalmente a la reducción de errores a lo largo de la trayectoria.

Al observar el caso de estudio del ciclón tropical Freddy en 2023 (Figura 3), también vemos que, aunque la localización está bien capturada por Pangu-Weather (y con un poco menos de precisión por FourCastNet), los vientos relacionados con el ciclón son considerablemente menos extremos y simétricos en comparación con el análisis y el IFS. Este es otro efecto que se puede atribuir a la metodología de entrenamiento utilizada en la generación actual de modelos de ML, mediante el entrenamiento para optimizar los RMSE.

Además, la evaluación de una serie de casos de estudio produce una imagen bastante coherente. Los modelos de ML basados en datos muestran pericia para predecir eventos extremos (por ejemplo, la reciente ola de calor primaveral en la Península Ibérica), pero pueden carecer de la intensidad predicha por el IFS. Este no es un problema fundamental con los modelos de ML, sino que se deriva de la metodología de entrenamiento. Esto puede abordarse mediante una variedad de enfoques. Por ejemplo, adoptar un enfoque de modelización generativo fomentaría predicciones más extremas, aunque a menudo hace que el entrenamiento de estos modelos sea un arte más sutil.

¿Qué sigue para el pronóstico del tiempo basado en ML?

En nuestra opinión, actualmente nos encontramos en un momento emocionante en la historia de la predicción del tiempo. El coste minúsculo de producir pronósticos con estos modelos basados en ML significa que uno puede imaginar la construcción de conjuntos de alta resolución con 500 miembros en lugar de 50. La difusión podría proporcionarse pasando una condición inicial y un modelo, permitiendo a los usuarios ejecutar rápidamente el modelo y extraer solo los datos que les interesan.

Esto no es de ninguna manera la muerte de la modelización convencional. Los modelos basados en la física, como el IFS, han sido el ingrediente clave para generar el conjunto de datos ERA5 y las condiciones iniciales necesarias para ejecutar estos modelos de ML. Si ML puede aprender a predecir el tiempo, entonces podría implementarse en un sentido híbrido con modelos físicos para verificar, aumentar y mejorar el sistema. Estos recientes desarrollos de ML nos motivan aún más a continuar nuestros proyectos híbridos como parte de la hoja de ruta.

El CEPPM y los centros meteorológicos tienen un acceso inigualable a los datos del sistema terrestre y a la experiencia en el dominio, dos ingredientes cruciales para mejorar aún más los modelos de ML. Ahora es el momento de adoptar la tecnología y establecer cuál es el equilibrio óptimo entre la modelización física y la modelización ML (o basada en datos) para continuar mejorando las predicciones.

¡Tenemos rutas adicionales para agregar a nuestra hoja de ruta!

Lecturas adicionales

Puede leer más sobre el trabajo en ECMWF sobre aprendizaje automático en pronóstico del tiempo en nuestro Informe Anual 2022.