Calibration and combination of seasonal climate predictions in tropical and extratropical regionals

Abstract

Current technology allows the proliferation of multiple forecast systems developed by different research institutions from all over the world. However, most decision makers need a reliable probabilistic prediction instead of a set of predictions to take an action given the probability of an event to occur. Several studies have shown that the merging of predictions derived from several forecast systems with equal weights yields on average better predictions than the best single forecast system. This approach has been referred to as the simple multimodel (SMM). Nevertheless, none of these studies has shown the existence of a combination method that systematically produces the best predictions. Therefore, this thesis aims at applying different statistical techniques to combine predictions derived from different statistical and dynamical forecast systems to assess whether the performance of the SMM can be improved. These techniques combine the predictions assigning unequal weights to the different forecast systems based on their past performance. A unique feature of this study is the broad nature of the forecast quality assessment, performed using multiple deterministic and probabilistic verification measures and the same verifying observations. This allows comparing the predictions produced by the different combination methods and forecast systems in a coherent way. Besides, most of the forecast systems used in this study are either publicly available or could be easily implemented by the user. This thesis focuses on seasonal prediction of sea surface temperature (SST), near-surface temperature and precipitation in tropical and extratropical regions. It is shown that the predictions of the SMM are often better than the combination methods that assign unequal weights. The difficulty in the robust estimation of the weights due to the small samples available is one of the reasons that limit the potential benefit of the combination methods that assign unequal weights. However, some of the results illustrate under which conditions combination methods that assign unequal weights improve with respect to the SMM predictions. For instance, the combination methods that assign unequal weights improve over the SMM predictions when only a fraction of all single forecast systems have skill as shown for some of the predictions of SST. On the other hand, it is shown that there are cases when combining many forecast systems does not lead to improved forecasts when compared to the best single forecast system. This suggests that a multimodel approach is not necessarily better than a highly skillful forecast system, which highlights the importance of continuously assessing the forecast quality for the specific application of the user.

La tecnología existente permite la proliferación de varios sistemas de predicción, desarrollados por diferentes instituciones de investigación de todo el mundo. Sin embargo, la mayoría de los tomadores de decisión generalmente necesitan una única predicción probabilística fiable para tomar una acción dada la probabilidad de ocurrencia de un evento. En este sentido, varios estudios han demostrado que la combinación de predicciones derivadas de varios sistemas de predicción resulta, en promedio, en una mejor predicción cuando se compara con la predicción del mejor sistema de predicción. No obstante, ninguno de estos estudios ha demostrado la existencia de un método de combinación que produzca las mejores predicciones. Por lo tanto, esta tesis tiene el objetivo de aplicar diferentes técnicas estadísticas para combinar predicciones climáticas estacionales derivadas de diferentes sistemas de predicción. Algunas de estas técnicas ponen pesos desiguales a los diferentes sistemas de predicción teniendo en cuenta su calidad en un período pasado y una de ellas combina todos los sistemas de predicción sin poner pesos. Esta última será referenciada como "simple multimodel" (SMM). Un punto importante de este estudio es el amplio carácter de la verificación de la calidad de las predicciones, ya que se usan varias métricas deterministas y probabi I ísti cas y las mismas observaciones. Esta tesis se centra en la predicción estacional de la temperatura de la superficie del mar (TSM), la temperatura atmosférica próxima a la superficie y la precipitación, en regiones tropicales y extratropicales. Pudimos comprobar que las predicciones de la SMM son frecuentemente mejores que las que derivan de métodos de combinación con coeficientes desiguales a los sistemas de predicción. La dificultad a la hora de estimar pesos robustos, debido sobre todo a las pequeñas muestras disponibles, es una de las razones que limita la robustez de las medidas que estiman el beneficio relativo de los métodos de combinación. Sin embargo, hay algunas situaciones en las que los métodos de combinación con coeficientes desiguales son mejores. Se encontró también situaciones específicas en las que la combinación de predicciones de varios sistemas de predicción no mejora la predicción del mejor sistema.