Vergeef mij Ik begin met een cliché, een stukje financieel jargon dat onlangs in het technische lexicon is terechtgekomen, maar ik ben bang dat ik het over ‘grachten’ moet hebben. Het woord werd tientallen jaren geleden gepopulariseerd door Warren Buffett om te verwijzen naar het concurrentievoordeel van een bedrijf en vond zijn weg naar de pitchdecks van Silicon Valley toen een memo zogenaamd gelekt van Googlegetiteld “We Have No Moat, and Noch Does OpenAI”, maakte zich zorgen dat open-source AI het kasteel van Big Tech zou plunderen.
Een paar jaar later zijn de kasteelmuren nog steeds veilig. Afgezien van een korte paniekaanval toen Diepzoeken voor het eerst verschenen, hebben open-source AI-modellen niet veel beter gepresteerd dan propriëtaire modellen. Toch heeft geen van de grenslaboratoria – OpenAI, Anthropic, Google – een noemenswaardige slotgracht.
Het bedrijf dat wel een slotgracht heeft, is Nvidia. CEO Jensen Huang noemt het zijn kostbaarste ‘schat’. Dat is niet het geval, zoals je zou kunnen veronderstellen voor a chip bedrijfeen stuk hardware. Het is iets dat CUDA heet. Wat klinkt als een chemische verbinding die door de FDA is verboden, kan wel eens de enige echte gracht in AI zijn.
CUDA staat technisch gezien voor Compute Unified Device Architecture, maar net zoals laser of duikenniemand neemt de moeite om het acroniem uit te breiden; we zeggen gewoon “KOO-duh.” Waar is deze uiterst belangrijke schat goed voor? Als je gedwongen wordt een antwoord van één woord te geven: parallellisatie.
Hier is een eenvoudig voorbeeld. Laten we zeggen dat we een machine de opdracht geven een tafel van vermenigvuldiging van 9×9 in te vullen. Met behulp van een computer met één kern worden alle 81 handelingen plichtsgetrouw één voor één uitgevoerd. Maar een GPU met negen kernen kan taken zo toewijzen dat elke kern een andere kolom inneemt (een van 1×1 tot 1×9, een andere van 2×1 tot 2×9, enzovoort) voor een negenvoudige snelheidswinst. Moderne GPU’s kunnen nog slimmer zijn. Als ze bijvoorbeeld zijn geprogrammeerd om commutativiteit te herkennen – 7×9 = 9×7 – kunnen ze dubbel werk vermijden, waardoor 81 bewerkingen worden teruggebracht tot 45, waardoor de werklast bijna wordt gehalveerd. Wanneer een enkele trainingsrun honderd miljoen dollar kost, telt elke optimalisatie.
De GPU’s van Nvidia zijn oorspronkelijk gebouwd om grafische afbeeldingen voor videogames weer te geven. Aan het begin van de jaren 2000 realiseerde een Stanford-promovendus genaamd Ian Buck, die als gamer voor het eerst met GPU’s in aanraking kwam, dat hun architectuur opnieuw kon worden gebruikt voor algemeen krachtig computergebruik. Hij creëerde een programmeertaal genaamd Brook, werd ingehuurd door Nvidia en leidde samen met John Nickolls de ontwikkeling van CUDA. Als AI het tijdperk van een permanente witteboorden-onderklasse en autonome wapens inluidt, weet dan dat dit allemaal komt omdat iemand ergens een spelletje speelt. Noodlot dacht dat het scrotum van een demon met 60 frames per seconde zou moeten bewegen.
CUDA is op zichzelf geen programmeertaal, maar een ‘platform’. Ik gebruik dat wezelwoord omdat CUDA, net zoals The New York Times een krant is die ook een gamingbedrijf is, in de loop der jaren een geneste bundel softwarebibliotheken voor AI is geworden. Elke functie scheert nanoseconden af van afzonderlijke wiskundige bewerkingen. Bij elkaar opgeteld zorgen ze ervoor dat GPU’s, in het vakjargon, gaan werken. brrr.
Een moderne grafische weergave kaart is niet zomaar een printplaat vol met chips, geheugen en ventilatoren. Het is een uitgebreide confectie van cachehiërarchieën en gespecialiseerde eenheden die ’tensorkernen’ en ‘streaming multiprocessors’ worden genoemd. In die zin is wat chipbedrijven verkopen als een professionele keuken, en meer kernen lijken op meer grillstations. Maar zelfs een keuken met 30 grillstations zal niet sneller draaien zonder een bekwame chef-kok die handig taken toewijst, zoals CUDA doet voor GPU-kernen.
Om de metafoor uit te breiden: met de hand afgestelde CUDA-bibliotheken die zijn geoptimaliseerd voor één matrixbewerking zijn het equivalent van keukengereedschap dat is ontworpen voor één enkele klus en niets meer – een kersenontpitter, een garnalenontstopper – wat een verwennerij is voor thuiskoks, maar niet als je 10.000 garnalenlef hebt om eruit te trekken. Dat brengt ons terug bij DeepSeek. De ingenieurs gingen onder deze toch al diepe laag van abstractie door om rechtstreeks in PTX te werken, een soort assembleertaal voor Nvidia GPU’s. Laten we zeggen dat de taak het pellen van knoflook is. Een niet-geoptimaliseerde GPU zou zeggen: “Pel de huid met je vingernagels.” CUDA kan instrueren: “Plaats het kruidnagel met de platte kant van een mes.” Met PTX kunt u elke sub-instructie dicteren: “Hef het mes 6,5 cm boven de snijplank, plaats het evenwijdig aan de evenaar van het kruidnagel en sla met uw handpalm naar beneden met een kracht van 36,2 Newton.”
