Nvidia heeft zijn naam gezet achter een prille poging om mini-datacenters naast de huizen van mensen te plaatsen in dozen die op HVAC-units lijken. Het is een machtsspel, als je bedenkt dat het belangrijkste knelpunt bij het opbouwen van meer datacentercapaciteit niet geld of chips is, maar eerder het aanpassen van het elektriciteitsnet om de stroom te leveren.
De ideenaar voren gebracht door een Californisch bedrijf voor slimme elektriciteitskasten genaamd Span, is om de GPU’s daar te plaatsen waar de stroom al is toegewezen: bij u thuis. Span zegt dat het gemiddelde huishouden slechts ongeveer 42% van de elektriciteit verbruikt en zelden een piekverbruik bereikt. De slimme elektriciteitskasten van Span detecteren dat en sturen het extra beschikbare vermogen naar de GPU’s, die zich in een ‘knooppunt’ bevinden dat naast het huis staat en ongeveer op een HVAC-eenheid lijkt. De dozen bevatten 16 Nvidia GPU’s, 4 AMD CPU’s, 4 terabytes geheugen en een koelsysteem. Als een groot aantal huizen hierover beschikt, kunnen de servers in een netwerk met elkaar worden verbonden en samenwerken aan gedistribueerde computertaken (workloads), zegt Span.
In ruil voor het hosten van een knooppunt betaalt Span een groot deel van de elektriciteits- en breedbandinternetrekeningen van de huiseigenaar.
En er kunnen zelfs voordelen zijn als u de rekenkracht dichter bij de eindgebruikers brengt die de chatbots gebruiken AI diensten, zegt Span.
Op papier is het een cool idee, maar in de praktijk is het bijna volledig onbewezen. Span is bezig met het prototypen van de units, maar moet ze nog naast echte huizen installeren. Ik vroeg Chris Lander, vice-president van Span, of zijn bedrijf technische onderzoeken heeft gedaan waaruit blijkt dat zijn merk van gedistribueerd computergebruik snel en robuust genoeg zal zijn om echte AI-workloads aan te kunnen. “We hebben intern een heleboel technische onderzoeken gedaan (en) een heleboel modellering voor verschillende soorten werklasten, zowel vanuit zakelijk (en) productoogpunt als vanuit technisch architectuuroogpunt”, antwoordt hij.
Het bedrijf werkt samen met een huizenbouwer, het in Atlanta gevestigde Pulte Homes, om de knooppunten bij nieuwe huizen te bouwen, maar Pulte vertelde CNBC dat tot nu toe een Span-unit naast precies één woning is geplaatst. “Ik zal zeggen dat we onder andere met Pulte hebben samengewerkt om het nieuwste proof of concept-ontwerp te testen, het nieuwste prototype dat we hebben”, zegt Lander. Span zegt dat het “later dit jaar” in een proefproject “meer dan 100” knooppunten van een geavanceerde versie van zijn prototype zal hebben, maar zegt niet wanneer of waar de proef zal worden gebouwd.
Het belangrijkste punt van weerstand tegen nieuw datacentra in het hele land bestaat het risico dat de faciliteiten zullen resulteren in hogere elektriciteitsrekeningen voor iedereen in het gebied. Of het nu gaat om een nieuw centraal datacenter of een gedistribueerd datacenter, zoals Span voorstelt, dat meer stroom uit het elektriciteitsnet haalt, het risico van hogere kosten – misschien omdat transformatoren en andere infrastructuur sneller heter worden en sneller verslechteren – zou aantoonbaar hetzelfde kunnen zijn.
Lander is het daar niet mee eens. “Wij denken dat het juist het tegenovergestelde zal zijn: dat het klanten daadwerkelijk verlichting gaat bieden, niet alleen voor de directe klanten die hosten, waarvoor we voor hun energie betalen, maar door een deel van de extra CapEx-uitgaven te verminderen die nutsbedrijven zouden moeten betalen om (meer) datacenters uit te bouwen”, zegt hij.
Het bestaan van het idee van Span, dat veel aandacht heeft gekregen in de pers en op sociale media, is een van de eerste tekenen dat de markt manieren vindt om het ernstige tekort aan datacentercapaciteit aan te pakken dat nodig is om de verwachte vraag naar kunstmatige intelligentiediensten te ondersteunen. Het bouwen van datacenters heeft tijd nodig en wordt vaak geconfronteerd met politiek verzet, en de vraag naar AI-computing groeit nu.
Aan de politieke kant kan het crowdsourcen van reeds geleverde stroom van huishoudens in een gemeenschap gemakkelijker zijn dan een gemeenteraad ertoe te bewegen een vergunning voor een datacenter af te geven. Als Reddit-gebruiker unicist verwoordde het: “Het is net als Uber, maar dan om van je huis het niet-geautoriseerde datacenter van iemand anders te maken.”
Toch zegt het wel iets Nvidia stond Span toe zijn merk in het persbericht op te nemen, maar de betrokkenheid van de GPU-maker daarbuiten bestond vooral uit overleg. “Nvidia is een gedachtepartner geweest en ze hebben ons vanuit zakelijk oogpunt geholpen om ons in contact te brengen met de juiste mensen.” Maar Nvidia is geen investeerder en heeft tot nu toe geen GPU’s gedoneerd aan het initiatief van Span.
En de chips zijn niet goedkoop. In feite bevat de Span-box zeer dure hardware. De chips en andere technologie kunnen $500.000 of meer waard zijn, gebaseerd op de beschikbare prijsinformatie voor de specifieke componenten. Het risico op diefstal wordt dan een probleem.
Als het home-side serverbox-concept zijn vruchten afwerpt en een zinvolle hoeveelheid computerbronnen oplevert, kan Nvidia Span helpen potentiële kopers te vinden. In feite is die inspanning al aan de gang. “We hebben gesprekken gehad met een breed scala aan potentiële computerafnemers, of het nu gaat om hyperscalers, neoclouds, neoscalers en AI-serviceproviders”, zegt Lander.
