Vraag iemand wat Nvidia maakten ze zullen waarschijnlijk eerst ‘GPU’s’ zeggen. Decennia lang werd de chipmaker gedefinieerd door geavanceerde parallelle computing, en de opkomst van generatieve AI en de daaruit voortvloeiende stijging van de vraag naar GPU’s was een zegen voor het bedrijf.
Maar de recente stappen van Nvidia geven aan dat het meer klanten wil aantrekken aan de minder rekenintensieve kant van de AI-markt: klanten die niet noodzakelijkerwijs de krachtigste, meest krachtige krachtige GPU’s om AI-modellen te trainen, maar in plaats daarvan zoeken ze naar de meest efficiënte manieren om agentische AI-software uit te voeren. Nvidia heeft onlangs miljarden uitgegeven aan licentietechnologie van een chip-startup die zich richt op AI-computing met lage latentie, en is ook begonnen met het verkopen van stand-alone CPU’s als onderdeel van zijn nieuwste superchipsysteem.
Gisteren Nvidia en Meta aangekondigd dat de socialemediagigant ermee had ingestemd om voor miljarden dollars aan Nvidia-chips te kopen om rekenkracht te leveren voor zijn enorme infrastructuurprojecten – met Nvidia’s CPU’s als onderdeel van de deal.
De meerjarige deal is een uitbreiding van een gezellige, lopende samenwerking tussen de twee bedrijven. Meta schatte eerder dat het tegen eind 2024 zou hebben gekocht 350.000 H100-chips van Nvidia, en waar het bedrijf eind 2025 toegang toe zou hebben In totaal 1,3 miljoen GPU’s (hoewel het niet duidelijk was of dit allemaal Nvidia-chips zouden zijn).
Als onderdeel van de laatste aankondiging zei Nvidia dat Meta “hyperscale datacenters zou bouwen die geoptimaliseerd zijn voor zowel training als gevolgtrekking ter ondersteuning van de lange termijn routekaart voor de AI-infrastructuur van het bedrijf.” Dit omvat een “grootschalige inzet” van Nvidia’s CPU’s en “miljoenen Nvidia Blackwell en Rubin GPU’s.”
Meta is met name de eerste technologiegigant die aankondigt dat het een grootschalige aankoop doet van Nvidia’s Grace CPU als een zelfstandige chip, iets waarvan Nvidia zei dat het een optie zou zijn toen het in januari de volledige specificaties van zijn nieuwe Vera Rubin-superchip onthulde. Nvidia heeft ook benadrukt dat het technologie aanbiedt die verschillende chips met elkaar verbindt, als onderdeel van zijn ‘soup-to-nuts-benadering’ van rekenkracht, zoals een analist het stelt.
Ben Bajarin, CEO en hoofdanalist bij het technologiemarktonderzoeksbureau Creative Strategies, zegt dat de stap aangeeft dat Nvidia erkent dat een groeiend aantal AI-software nu op CPU’s moet draaien, ongeveer op dezelfde manier als conventionele cloudapplicaties dat doen. “De reden waarom de industrie momenteel zo optimistisch is over CPU’s in datacenters is agentische AI, die nieuwe eisen stelt aan CPU-architecturen voor algemene doeleinden”, zegt hij.
A recent rapport uit de chipnieuwsbrief Semianalysis onderstreepte dit punt. Analisten merkten op dat het CPU-gebruik versnelt om AI-training en gevolgtrekkingen te ondersteunen, waarbij ze een van de datacentra van Microsoft voor OpenAI als voorbeeld noemden, waar “tienduizenden CPU’s nu nodig zijn om de petabytes aan gegevens die door de GPU’s worden gegenereerd, te verwerken en te beheren, een gebruiksscenario dat anders zonder AI niet nodig zou zijn geweest.”
Bajarin merkt echter op dat CPU’s nog steeds slechts een onderdeel zijn van de meest geavanceerde AI-hardwaresystemen. Het aantal GPU’s dat Meta bij Nvidia koopt, is nog steeds groter dan het aantal CPU’s.
“Als je een van de hyperscalers bent, ga je niet rennen alle van je inference computing op CPU’s”, zegt Bajarin. “Je hebt gewoon de software nodig die je gebruikt om snel genoeg te zijn op de CPU om te kunnen communiceren met de GPU-architectuur die feitelijk de drijvende kracht is achter dat computergebruik. Anders wordt de CPU een bottleneck.”
Meta weigerde commentaar te geven op de uitgebreide deal met Nvidia. Tijdens een recente winstoproep zei de socialemediagigant dat het van plan is zijn uitgaven aan AI-infrastructuur dit jaar dramatisch te verhogen tot tussen de $115 miljard en $135 miljard, vergeleken met $72,2 miljard vorig jaar.
