De Machine Learning “Adventskalender” Dag 12: Logistieke regressie in Excel

Het huidige model is logistieke regressie.

Als u dit model al kent, is hier een vraag voor u:

Is logistieke regressie a regressor of een classificator?

Nou, deze vraag is precies als: is een tomaat a fruit of een groente?

Vanuit het standpunt van een botanicus is een tomaat een vrucht, omdat ze naar de structuur kijken: zaden, bloemen, plantbiologie.

Vanuit het oogpunt van een kok is een tomaat een groente, omdat hij kijkt naar de smaak, hoe hij in een recept wordt gebruikt, of hij nu in een salade of in een dessert past.

Hetzelfde object, twee geldige antwoorden, omdat de oogpunt is anders.

Logistieke regressie is precies zo.

• In de Statistisch / GLM perspectief is het een achteruitgang. En er bestaat in dit raamwerk sowieso niet het concept van ‘classificatie’. Er zijn gamma-regressie, logistische regressie, Poisson-regressie…
• In de machinaal leren perspectief, het wordt gebruikt voor classificatie. Het is dus een classificatie.

Wij komen hier later op terug.

Eén ding is voorlopig zeker:

Logistieke regressie is zeer goed aangepast wanneer de doelvariabele is binairen meestal y is gecodeerd als 0 of 1.

Maar…

Wat is een classificator voor een op gewicht gebaseerd model?

Y kan dus 0 of 1 zijn.

0 of 1, het zijn cijfers, toch?

We kunnen y dus gewoon als continu beschouwen!

Ja, y = ax + b, waarbij y = 0 of 1.

Waarom niet?

Nu vraag je je misschien af: waarom nu deze vraag? Waarom is dit niet eerder gevraagd.

Welnu, voor op afstand gebaseerde en op bomen gebaseerde modellen is een categorische y echt categorisch.

Als y categorisch is, zoals rood, blauw, groenteof gewoon 0 En 1:

• In K-NNclassificeer je door naar te kijken buren van elke klas.
• In centroid-modellenje vergelijkt met de zwaartepunt van elke klasse.
• In een beslisboomjij rekent uit klasse proporties bij elk knooppunt.

In al deze modellen:

Klasselabels zijn geen cijfers.
Het zijn categorieën.
De algoritmen behandelen ze nooit als waarden.

Classificatie is dus natuurlijk en onmiddellijk.

Maar voor op gewicht gebaseerde modellen werken de zaken anders.

In een op gewicht gebaseerd model berekenen we altijd zoiets als:

y = bijl + b

of, later, een complexere functie met coëfficiënten.

Dit betekent:

Het model werkt overal met cijfers.

Dus hier is het belangrijkste idee:

Als het model regressie uitvoert, kan hetzelfde model worden gebruikt voor binaire classificatie.

Ja, we kunnen lineaire regressie gebruiken voor binaire classificatie!

Omdat binaire labels dat wel zijn 0 En 1ze zijn al numeriek.

En in dit bijzondere geval: wij kan Ordinary Least Squares (OLS) rechtstreeks toepassen op y = 0 en y = 1.

Het model past op een lijn en we kunnen dezelfde formule in gesloten vorm gebruiken, zoals we hieronder kunnen zien.

We kunnen dezelfde gradiëntafdaling doen, en het zal perfect werken:

En om vervolgens de uiteindelijke klassevoorspelling te verkrijgen, kiezen we eenvoudigweg a drempelwaarde.
Meestal is dit 0,5 (of 50 procent), maar afhankelijk van hoe streng u wilt zijn, kunt u een andere waarde kiezen.

• Als de voorspelde y≥0,5, voorspel dan klasse 1
• Anders klasse 0

Dit is een classificatie.

En omdat het model een numerieke uitvoer produceert, kunnen we zelfs het punt identificeren waar: y=0,5.

Deze waarde van x definieert de beslissingsgrens.

In het vorige voorbeeld gebeurt dit bij x=9.
Op deze drempel zagen we het al één misclassificatie.

Maar er ontstaat een probleem zodra we een punt met a introduceren groot waarde van x.

Stel dat we bijvoorbeeld een punt toevoegen met: x= 50 en y = 1.

Omdat lineaire regressie probeert te passen bij a rechte lijn door alle gegevens heen trekt deze enkele grote waarde van x de lijn omhoog.
De beslissingsgrens verschuift van x= naar ongeveer x=12.

En nu eindigen we met deze nieuwe grens twee misclassificaties.

Dit illustreert het belangrijkste probleem:

Een lineaire regressie die als classificator wordt gebruikt, is extreem gevoelig voor extreme waarden van x. De beslissingsgrens beweegt dramatisch en de classificatie wordt onstabiel.

Dit is een van de redenen waarom we een model nodig hebben dat zich niet eeuwig lineair gedraagt. Een model dat tussen 0 en 1 blijft, zelfs als x erg groot wordt.

En dit is precies wat de logistieke functie ons gaat opleveren.

Hoe logistieke regressie werkt

We beginnen met: ax + b, net als de lineaire regressie.

Vervolgens passen we een functie toe die sigmoïde of logistieke functie wordt genoemd.

Zoals we in de onderstaande schermafbeelding kunnen zien, ligt de waarde van p dan tussen 0 en 1, dus dit is perfect.

• p(x) is de voorspelde waarschijnlijkheid Dat y = 1
• 1 − p(x) is de voorspelde waarschijnlijkheid dat y = 0

Voor classificatie kunnen we eenvoudigweg zeggen:

• Als p(x) ≥ 0.5klasse voorspellen 1
• Voorspel anders klasse 0

Van waarschijnlijkheid tot logverlies

Nu probeert de OLS Lineaire Regressie de MSE (Mean Squared Error) te minimaliseren.

Logistieke regressie voor een binair doel maakt gebruik van de Waarschijnlijkheid Bernoulli. Voor elke waarneming i:

• Als yᵢ = 1de waarschijnlijkheid van het datapunt is pᵢ
• Als yᵢ = 0de waarschijnlijkheid van het datapunt is 1 − pᵢ

Voor de hele dataset is de waarschijnlijkheid het product over het geheel genomen i. In de praktijk nemen we de logaritme, waardoor het product een som wordt.

In de GLM-perspectiefwij proberen het maximaliseren deze logwaarschijnlijkheid.

In de machinaal leren perspectiefdefiniëren wij de verlies als de negatief log waarschijnlijkheid en wij minimaliseren Het. Dit geeft het gebruikelijke log-verlies.

En het is gelijkwaardig. Wij zullen de demonstratie hier niet doen

Gradiëntdaling voor logistieke regressie

Beginsel

Net zoals we deden voor lineaire regressie, kunnen we ook gebruiken Gradiënt afdaling hier. Het idee is altijd hetzelfde:

1. Begin met enkele initiële waarden van a En b.
2. Bereken het verlies en zijn gradiënt (derivaten) met betrekking tot a En b.
3. Beweging a En b een beetje in die richting vermindert het verlies.
4. Herhalen.

Niets mysterieus.
Gewoon hetzelfde mechanische proces als voorheen.

Stap 1. Gradiëntberekening

Voor logistieke regressie zijn de gradiënten van de gemiddeld logverlies volgen een zeer eenvoudige structuur.

Dit is gewoon de gemiddeld residu.

We geven hieronder alleen het resultaat, voor de formule die we in Excel kunnen implementeren. Zoals u kunt zien, is het uiteindelijk vrij eenvoudig, ook al kan de formule voor logverlies op het eerste gezicht complex zijn.

Excel kan deze twee grootheden eenvoudig berekenen SUMPRODUCT formules.

Stap 2. Parameterupdate

Zodra de gradiënten bekend zijn, werken we de parameters bij.

Deze updatestap wordt bij elke iteratie herhaald.
En iteratie na iteratie neemt het verlies af en convergeren de parameters naar de optimale waarden.

We hebben nu het hele plaatje.
Je hebt het model, het verlies, de gradiënten en de parameterupdates gezien.
En met de gedetailleerde weergave van elke iteratie in Excel kunt u dat ook daadwerkelijk doen spelen met het model: verander een waarde, kijk hoe de curve beweegt en zie hoe het verlies stap voor stap afneemt.

Het geeft verrassend veel voldoening om te zien hoe alles zo duidelijk in elkaar past.

Hoe zit het met multiklasse-classificatie?

Voor op afstand gebaseerde en boomgebaseerde modellen:

Helemaal geen probleem.
Ze verwerken uiteraard meerdere klassen omdat ze de labels nooit als getallen interpreteren.

Maar voor op gewicht gebaseerde modellen?

Hier stuitten we op een probleem.

Als we getallen voor de klas schrijven: 1, 2, 3, etc.

Vervolgens interpreteert het model deze cijfers als echte numerieke waarden.
Wat tot problemen leidt:

• het model denkt dat klasse 3 ‘groter’ is dan klasse 1
• het middelpunt tussen klasse 1 en klasse 3 is klasse 2
• afstanden tussen klassen betekenisvol worden

Maar niets van dit alles geldt voor classificatie.

Dus:

Voor op gewicht gebaseerde modellen kunnen we niet zomaar y = 1, 2, 3 gebruiken voor classificatie in meerdere klassen.

Deze codering is onjuist.

We zullen later zien hoe we dit kunnen oplossen.

Conclusie

Vertrekkend van een eenvoudige binaire dataset zagen we hoe een op gewichten gebaseerd model als classificator kan fungeren, waarom lineaire regressie snel zijn grenzen bereikt, en hoe de logistieke functie deze problemen oplost door voorspellingen tussen 0 en 1 te houden.

Vervolgens hebben we, door het model uit te drukken via waarschijnlijkheid en logverlies, een formulering verkregen die zowel wiskundig verantwoord is als gemakkelijk te implementeren.
En zodra alles in Excel staat, wordt het hele leerproces zichtbaar: de kansen, het verlies, de gradiënten, de updates en uiteindelijk de convergentie van de parameters.

Met de gedetailleerde iteratietabel kunt u dat ook daadwerkelijk doen zien hoe het model stap voor stap verbetert.
U kunt een waarde wijzigen, de leersnelheid aanpassen of een punt toevoegen en direct zien hoe de curve en het verlies reageren.
Dit is de echte waarde van machinaal leren in een spreadsheet: niets is verborgen en elke berekening is transparant.

Door op deze manier logistieke regressie op te bouwen, begrijp je niet alleen het model, je begrijpt het ook Waarom het is getraind.
En deze intuïtie zal je bijblijven als we later in de adventskalender naar meer geavanceerde modellen gaan.