Introductie (X-45)
voorspellen verandert fundamenteel wanneer we een zeer zeldzame gebeurtenis proberen te voorspellen. We moeten fundamenteel veranderen wat we modelleren om ons te concentreren op staartgebeurtenissen. Van modelprestatiestatistieken en doeldefinitie tot het staartmodel en de uitgangskoppen van de transformator: het voorspellen van zeldzame gebeurtenissen is moeilijk. Moeilijk en toch de moeite waard.
De Halloween-stormen van 2003 begonnen als een verstoring van de zon, een enkele donkere vlek die een van de sterkste ruimteweergebeurtenissen uit het satelliettijdperk veroorzaakte. Van eind oktober tot begin november raasde een reeks enorme actieve gebieden over de zonneschijf. Hierdoor kwamen krachtige uitbarstingen en wolken van gemagnetiseerd plasma naar de aarde vrij. Dit evenement presenteerde een unieke esthetische flair met implicaties voor radiogolven.
Satellieten werkten niet goed, GPS en radio waren verstoord en luchtvaartmaatschappijen hebben poolvluchten omgeleid. Volgens NOAA werden elektriciteitsnetten over de hele wereld getroffen, waarbij sommige stromen meer dan 100 ampère bedroegen, wat leidde tot de Malmö Blackout in Zweden. Om 20:07 UT trof een stroomstoring de regio, waardoor ongeveer 50.000 klanten 20 tot 50 minuten zonder elektriciteit zaten.
Afbeelding tegoed: NASA / Solar Dynamics Observatory (SDO) / AIA. Publiek domein
Een internationale schok; de gebeurtenis verzadigde GOES-röntgensensoren, zodat de ware omvang van de uitbarsting alleen door middel van reconstructie kon worden berekend. Vaak X-45 genoemd, naar zijn magnitude, 450 keer groter dan M-1, een middelgrote flare. De onderstaande tabel toont de Flare Schaal van Richter.
Het voorspellingsprobleem
Een paradoxaal probleem met catastrofes is dat hoe catastrofaler ze zijn, hoe zeldzamer ze zijn. Denk aan overstromingen, sneeuwstormen en lawines. Elk 50-jarig verhaal komt eens in de vijftig jaar voor. Dit is meestal een goede zaak, maar vanwege hun zeldzaamheid worden ze ongelooflijk moeilijk te voorspellen.
Er zijn verschillende dingen die het voorspellen van zeldzame gebeurtenissen tot een bijzonder interessante uitdaging bij machinaal leren maken:
- Onze maatstaven voor modelevaluatie moeten veranderen
- Functies moeten worden ontwikkeld op basis van magnetismegegevens
- Maak een staartmodel om zeldzame gebeurtenissen specifiek vast te leggen
- Combineer het staartmodel met het volledige distributiemodel met behulp van een transformator
Een opmerking over de nauwkeurigheid, wat doorgaans een goede maatstaf is voor binaire classificatie. We zouden een nauwkeurigheid van 99% kunnen bereiken door elke afzonderlijke zonnevlam in 10.000 voorspellingen te missen als we maar 100 grote uitbarstingen zouden hebben. We konden het gewoon raden. Het zal niet elke keer gebeuren.
Nauwkeurigheid = (10.000-100)/10.000 = 9900/10.000 = 0,99 = 99%
Echte positieven = 0
De gegevens
Als je geïnteresseerd bent in waar deze gegevens vandaan komen: alle gegevens die we hebben over zonnevlammen komen van een heel andere laag van de zon dan waar de zonnevlam plaatsvindt. De gegevens die we hebben over zonnevlammen zijn afkomstig van de fotosfeer, de eerste zichtbare laag van de zon.
Flares komen voor in de corona- en chromosfeer. De gegevens worden verzameld door het Solar Dynamics Observatory (SDO), een NASA-ruimtevaartuig dat voortdurend de zon observeert om zijn activiteit te volgen. Met behulp van de helioseismische en magnetische imager (HMI).
Modelinvoer
Gelukkig zijn dankzij NASA de constructie, de inzet en de reis naar de zon van onze satelliet al voltooid en kunnen we ons nu concentreren op onze modelinvoer. Een vectormagnetogram schat de magnetische veldvector B. De eerste observaties zijn er in twee smaken:
Vanuit dit uitgangspunt doet de Space Weather HMI Active Region Patch twee dingen:
- Lokalisatie
- Functietechniek
betekent het selecteren van actieve gebieden op de zon (lokalisatie) en het berekenen van magnetische parameters die de zonne- en magnetische structuur beter beschrijven (feature engineering).
De belangrijke les hier is dat we, om aan te geven hoe zeldzaam de gebeurtenis is die we proberen te voorspellen, ons concentreren op het verzamelen van gegevens van locaties waar de kans het grootst is dat deze zal plaatsvinden. We nemen onze startmeetgegevens over de magnetische velden en berekenen verschillende functies, zoals:
Onze invoergegevens worden een functie van tijd en technische kenmerken:
Als ons model de afgelopen 24 uur en 9 technische functies gebruikt, zou onze input dat zijn
Modeldoel
We kunnen ons doel nu net zo goed nauwkeuriger maken. We definiëren dit als de waarschijnlijkheid dat er in de komende 24 uur een M-1-klasse gebeurtenis wordt waargenomen, gegeven de magnetische geschiedenis. Hier zou de magnetische geschiedenis onze volledige invoergegevens zijn.
Maar er zijn veel impliciete ontwerpbeslissingen die we hebben genomen en die in de volgende tabel expliciet worden gemaakt.
Merk op dat er veel opties zijn bij het construeren van ons doelwit. Dit is een groot probleem bij het vergelijken van verschillende modellen. Het is de moeite waard om op te merken dat simpelweg meer gegevens verzamelen niet beter is, omdat gebeurtenissen die verder in het verleden hebben plaatsgevonden doorgaans minder krachtige voorspellers zijn van toekomstige gebeurtenissen. Dit introduceert een ruis-naar-signaalprobleem met betrekking tot uw trainingsvenster.
De metrische TSS
Om het eerder gepresenteerde probleem van het hebben van een model met een nauwkeurigheid van 99% en nulherinnering op te lossen, introduceren we een nieuwe statistiek genaamd de True Skill Statistic (TSS), gedefinieerd als het verschil tussen het echt positieve percentage en het fout positieve percentage. TSS beloont echte positieven en bestraft ook valse positieven.
Een staartmodel maken
Vanwege de zeldzaamheid van zonnevlammen zullen we, als we de volgende risicodoelstelling gebruiken, ontdekken dat gewone gebeurtenissen, waarbij geen zonnevlam aanwezig was, de verliestermijn domineren. Zeldzame gebeurtenissen dragen nauwelijks bij, omdat ze zo weinig voorkomen, ook al zijn ze het meest relevant voor wat we proberen te voorspellen. Het model kan heel goed worden in het grootste deel van de distributie, terwijl het heel weinig leert over de extreme gebeurtenissen waarin we geïnteresseerd zijn. Daarom is het zinvol om maatwerk te overwegen.
We kunnen het probleem nauwkeuriger beschrijven door te zeggen dat onze doelstelling frequentiegewogen is, wat betekent dat frequente gebeurtenissen de verliesterm domineren, terwijl minder frequente (zeldzame) gebeurtenissen het minst bijdragen, ook al is dat wat ons model moet leren.
Ons model kan dus leren van veelal zeldzame gebeurtenissen. We kiezen een constante drempel voor een continue variabele, zoals zachte röntgenstraling; alles dat de ernst van overstraling meet, zou kunnen werken. We stellen ons doel op het verschil tussen de drempelwaarde en onze waargenomen variabele voor de ernst van de opflakkering, en gebruiken alleen gegevens uit de staart van de verdeling.
De gegevens die we modelleren zijn dan:
Transformers gebruiken
We kunnen nu ons oorspronkelijke model en staartmodel combineren met behulp van een transformator om een robuustere oplossing te bereiken, die idealiter leert wat er zowel onder de drempel voor een zeldzame gebeurtenis als daarboven gebeurt. Met andere woorden, we zouden graag willen dat het model de oorsprong van de discrete functie leert, evenals de vorm van het overtollige risico dat door het staartmodel wordt gedefinieerd. Hiervoor kunnen we transformatoren met verschillende koppen gebruiken. Een model kan beginnen met magnetische historische gegevens en deze in een representatie coderen H; afzonderlijke hoofden kunnen verschillende grootheden schatten, zoals de waarschijnlijkheid van een uitbarsting, de overschrijding van de onzekerheidsstaart en het voorlopersignaal.
Het classificatiehoofd, dat de waarschijnlijkheid schat dat ons doelwit er één is, gegeven onze gegevens, wordt vaak getraind met de binaire kruis-entropie, misschien gewogen om rekening te houden met het onevenwicht in de klassen.
We kunnen de Generalized Pareto Distribution (GPD) gebruiken, die een compact model biedt voor de excessen (onze staartverdeling). Hier regelt σ de schaal en regelt ξ de staartzwaarte. De transformator produceert een weergave van de recente zonnetoestanden H brengt die weergave in GPD-parameters in kaart, dus verschillende magnetische geschiedenissen impliceren verschillende staartverdelingen voor één actief gebied (zonnevlek).
De volledige doelstelling combineert twee prognosetaken. De classificatieterm leert het model in te schatten of een uitbarsting de gekozen drempel overschrijdt, terwijl de staartterm leert hoe de overmatige ernst eruit ziet nadat die drempel is overschreden. Dit is van belang omdat het model niet alleen ‘flare of geen flare’ moet leren. Het moet ook leren hoe groot de gebeurtenis kan zijn als deze eenmaal in het gevaarlijke deel van de distributie terechtkomt.
NASA, Zonnevlekken 1302 september 2011 door NASA.jpg24 september 2011, via Wikimedia Commons. Publiek domein
Conclusie
Als het gaat om het verkrijgen van een goede voorspelling voor een zeer zeldzame gebeurtenis met behulp van een transformator, is het niet voldoende om alleen maar de gegevens in te pluggen en de verliesfunctie te minimaliseren. Als het gaat om het voorspellen van zonnevlammen, moeten eerst lokalisatie- en feature-engineeringtechnieken op onze gegevens worden toegepast. Vervolgens moeten we een modeldoel specificeren dat onderscheid kan maken tussen positieve en negatieve gebeurtenissen. We moeten een geschikte maatstaf kiezen die zowel echte positieve resultaten beloont als valse positieve resultaten bestraft. Vanwege de enorme onevenwichtigheid tussen klassen is het bovendien zinvol om een staartmodel te maken dat de gegeneraliseerde Pareto-verdeling gebruikt om overschrijdingen boven een bepaalde drempel te modelleren. Deze technieken en verliesfuncties kunnen worden gebruikt als verschillende hoofden van een transformator die zowel kan voorspellen als schatten, en ook leert hoe groot een gebeurtenis kan zijn zodra deze een gevaarlijk deel van een distributie binnengaat. Wat we hieruit halen, zijn verbeterde voorspellende prestaties en een beter gespecificeerd model.
Website | LinkedIn | GitHub
