AI wordt aangeprezen als de toekomst van weersvoorspellingen – sneller en nauwkeuriger. Maar nieuw onderzoek laat een grote blinde vlek zien: het slaagt er vaak niet in om extreem weer te voorspellen. Traditionele, op natuurkunde gebaseerde modellen doen het nog steeds beter.
“Ze presteren goed bij veel taken, maar bij zeer extreme gebeurtenissen – die het belangrijkst zijn voor de samenleving – hebben ze het nog steeds moeilijk”, zegt Sebastian Engelke, hoogleraar statistiek aan de Universiteit van Genève en een van de auteurs van een nieuwe studie in Wetenschap waarin enkele van de toonaangevende AI-weermodellen zijn opgenomen, waaronder GrafiekCast En Pangu-Weertegen een database van recente extreme gebeurtenissen.
Voor recordbrekende hitte, zoals een hittegolf in Siberië begin 2020 die tot bosbranden en smeltende permafrost leidde, hebben AI-voorspellingen de neiging de hoge temperaturen te onderschatten. (De hittegolf zou vrijwel onmogelijk zijn geweest zonder klimaatverandering; uit een ander onderzoek bleek dat de opwarming van de aarde dit veroorzaakte 600 keer waarschijnlijker is.) Ze zijn ook minder nauwkeurig dan oudere modellen bij het voorspellen van extreme wind of recordbrekende kou.
Dat komt omdat ze zijn getraind met behulp van tientallen jaren aan gegevens uit het verleden. “Ze proberen empirisch te begrijpen: als ik vandaag een bepaald soort weer zie, wat is dan het weer morgen?” zegt Engelke. “In wezen reproduceren ze wat er in het verleden is gebeurd. Als we naar extreem weer kijken, en vooral naar recordbrekende gebeurtenissen, dan is dit in het verleden niet waargenomen. Het is eigenlijk het gebrek aan informatie in hun trainingsgegevens dat het voor hen bijna onmogelijk maakt om dit te voorspellen.”
In het onderzoek werd een jaar geleden naar modellen gekeken, dus die zijn al verbeterd; sommigen hebben probabilistische modellen toegevoegd die meerdere uitkomsten voorspellen om te proberen nauwkeuriger te worden. Maar het fundamentele probleem bestaat nog steeds, omdat ze nog steeds gebaseerd zijn op trainingsgegevens uit het verleden. Traditionele, op natuurkunde gebaseerde voorspellingen maken gebruik van complexe wiskundige modellen om de fysieke wereld weer te geven en kunnen zich gemakkelijker aanpassen aan nieuwe omstandigheden. (Traditionele modellen zijn ook niet perfect in het voorspellen van extreem weer, maar doen het nog steeds beter.)
Voor meer typische weersvoorspellingen, of extreem weer dat niet buiten het bereik van gebeurtenissen uit het verleden ligt, kan AI beter presteren dan traditionele modellen. Toen Nvidia eerder dit jaar zijn AI-voorspellingsmodel Atlas uitbracht, voerde het een onderzoek uit waaruit bleek hoe goed het presteerde bij een extreme gebeurtenis waarop het niet was getraind: Storm Dennis, een snel intensiverende cycloon die Groot-Brittannië trof.
“Door de omvang van de wind en de omvang van de drukgradiënt te visualiseren, kun je heel duidelijk zien dat het model realistisch intense windgebeurtenissen en echt intense cyclonen kon vastleggen die schade veroorzaken”, zegt Mike Pritchard, directeur klimaatsimulatieonderzoek bij Nvidia. De modellen kunnen ook nauwkeurig het verloop van orkanen voorspellen. Ze worden al naast traditionele modellen gebruikt door weerbureaus, weergegevensbedrijven zoals de Weather Company en verzekeringsmaatschappijen.
Onderzoekers onderzoeken manieren om de nauwkeurigheid van het voorspellen van de meest extreme extreme weersomstandigheden te verbeteren. Eén optie is bijvoorbeeld om gegevens toe te voegen aan trainingssets die laten zien hoe recordbrekende evenementen eruit zouden kunnen zien. “Er zijn manieren om natuurkundige weermodellen te dwingen om bijzonder extreme gebeurtenissen te produceren, en je kunt deze naast de realiteit in de trainingsgegevens strooien om de weermodellen voor te bereiden op extrapolatie”, zegt Pritchard.
De technologie verbetert snel. Engelke stelt dat naarmate nieuwe modellen op de markt komen, ze allemaal het soort tests moeten ondergaan die in het nieuwe onderzoek zijn beschreven. “De meeste van deze modellen zijn afkomstig van technologiebedrijven, en benchmarking en onafhankelijke evaluatie zijn belangrijk omdat ze een cruciale impact op ons leven zullen hebben”, zegt hij.
Voorlopig is het waarschijnlijk dat traditionele prognoses niet snel zullen verdwijnen.
