Vanwege de explosieve groei van kunstmatige intelligentie wordt geschat dat datacenters in 2028 tot 12 procent van de totale Amerikaanse elektriciteit zullen verbruiken, aldus het Lawrence Berkeley National Laboratory. Het verbeteren van de energie-efficiëntie van datacenters is één van de manieren waarop wetenschappers ernaar streven AI duurzamer te maken.
Om dat doel te bereiken hebben onderzoekers van MIT en het MIT-IBM Watson AI Lab een snelle voorspellingstool ontwikkeld die operators van datacenters vertelt hoeveel stroom er zal worden verbruikt door een bepaalde AI-werklast op een bepaalde processor of AI-acceleratorchip uit te voeren.
Hun methode levert binnen enkele seconden betrouwbare vermogensschattingen op, in tegenstelling tot traditionele modelleringstechnieken waarbij het uren of zelfs dagen kan duren voordat resultaten worden opgeleverd. Bovendien kan hun voorspellingstool worden toegepast op een breed scala aan hardwareconfiguraties, zelfs op nieuwe ontwerpen die nog niet zijn geïmplementeerd.
Exploitanten van datacenters zouden deze schattingen kunnen gebruiken om beperkte middelen effectief te verdelen over meerdere AI-modellen en processors, waardoor de energie-efficiëntie wordt verbeterd. Bovendien zou deze tool algoritmeontwikkelaars en modelaanbieders in staat kunnen stellen het potentiële energieverbruik van een nieuw model te beoordelen voordat ze het inzetten.
“De AI-duurzaamheidsuitdaging is een prangende vraag die we moeten beantwoorden. Omdat onze schattingsmethode snel en gemakkelijk is en directe feedback geeft, hopen we dat algoritme-ontwikkelaars en datacenterexploitanten hierdoor eerder zullen nadenken over het verminderen van het energieverbruik”, zegt Kyungmi Lee, een MIT-postdoc en hoofdauteur van een artikel over deze techniek.
Ze wordt op het papier vergezeld door Zhiye Song, een afgestudeerde student elektrotechniek en computerwetenschappen (EECS); Eun Kyung Lee en Xin Zhang, onderzoeksmanagers bij IBM Research en het MIT-IBM Watson AI Lab; Tamar Eilam, IBM Fellow, hoofdwetenschapper duurzaam computergebruik bij IBM Research, en lid van het MIT-IBM Watson AI Lab; en senior auteur Anantha P. Chandrakasan, MIT-provoost, Vannevar Bush hoogleraar elektrotechniek en computerwetenschappen, en lid van het MIT-IBM Watson AI Lab. Het onderzoek wordt deze week gepresenteerd op het IEEE International Symposium on Performance Analysis of Systems and Software.
Energieschatting versnellen
In een datacenter voeren duizenden krachtige grafische verwerkingseenheden (GPU’s) bewerkingen uit om AI-modellen te trainen en in te zetten. Het stroomverbruik van een bepaalde GPU zal variëren, afhankelijk van de configuratie en de werklast die deze verwerkt.
Veel traditionele methoden die worden gebruikt om het energieverbruik te voorspellen, omvatten het opsplitsen van een werklast in afzonderlijke stappen en het stap voor stap emuleren van hoe elke module binnen de GPU wordt gebruikt. Maar AI-workloads zoals modeltraining en gegevensvoorverwerking zijn extreem groot en het kan uren of zelfs dagen duren om op deze manier te simuleren.
“Als ik als operator verschillende algoritmen of configuraties wil vergelijken om de meest energie-efficiënte manier te vinden om te werk te gaan, wordt dat erg onpraktisch als een enkele emulatie dagen gaat duren”, zegt Lee.
Om het voorspellingsproces te versnellen, probeerden de MIT-onderzoekers minder gedetailleerde informatie te gebruiken die sneller kon worden geschat. Ze ontdekten dat AI-workloads vaak veel herhaalbare patronen hebben. Ze zouden deze patronen kunnen gebruiken om de informatie te genereren die nodig is voor een betrouwbare maar snelle vermogensschatting.
In veel gevallen schrijven algoritmeontwikkelaars programma’s die zo efficiënt mogelijk op een GPU draaien. Ze gebruiken bijvoorbeeld goed gestructureerde optimalisaties om het werk over parallelle verwerkingskernen te verdelen en stukjes gegevens op de meest efficiënte manier te verplaatsen.
“Deze optimalisaties die softwareontwikkelaars gebruiken creëren een regelmatige structuur, en dat is wat wij proberen te benutten”, legt Lee uit.
De onderzoekers ontwikkelden een lichtgewicht schattingsmodel, EnergAIzer genaamd, dat het energieverbruikspatroon van een GPU op basis van die optimalisaties vastlegt.
Een nauwkeurige beoordeling
Maar hoewel hun schatting snel was, ontdekten de onderzoekers dat niet alle energiekosten in aanmerking waren genomen. Elke keer dat een GPU een programma uitvoert, zijn er bijvoorbeeld vaste energiekosten nodig voor het opzetten en configureren van dat programma. Elke keer dat de GPU een bewerking uitvoert op een stuk data, moeten er extra energiekosten worden betaald.
Als gevolg van schommelingen in de hardware of conflicten bij de toegang tot of het verplaatsen van gegevens kan een GPU mogelijk niet alle beschikbare bandbreedte gebruiken, waardoor de werking wordt vertraagd en er in de loop van de tijd meer energie wordt verbruikt.
Om deze extra kosten en varianties mee te nemen, verzamelden de onderzoekers echte metingen van GPU’s om correctietermen te genereren die ze op hun schattingsmodel toepasten.
“Op deze manier kunnen we snel een schatting krijgen die ook nog eens heel nauwkeurig is”, zegt ze.
Uiteindelijk kan een gebruiker informatie over zijn werklast opgeven, zoals het AI-model dat hij wil gebruiken en het aantal en de lengte van de gebruikersinvoer die moet worden verwerkt, en EnergAIzer zal binnen enkele seconden een schatting van het energieverbruik maken.
De gebruiker kan ook de GPU-configuratie wijzigen of de werksnelheid aanpassen om te zien hoe dergelijke ontwerpkeuzes het totale energieverbruik beïnvloeden.
Toen de onderzoekers EnergAIzer testten met behulp van echte AI-werklastinformatie van daadwerkelijke GPU’s, kon het het stroomverbruik schatten met een fout van slechts ongeveer 8 procent, wat vergelijkbaar is met traditionele methoden waarbij het uren kan duren om resultaten te produceren.
Hun methode zou ook kunnen worden gebruikt om het stroomverbruik van toekomstige GPU’s en nieuwe apparaatconfiguraties te voorspellen, zolang de hardware in korte tijd niet drastisch verandert.
In de toekomst willen de onderzoekers EnergAIzer testen op de nieuwste GPU-configuraties en het model opschalen, zodat het kan worden toegepast op veel GPU’s die samenwerken om een werklast uit te voeren.
“Om echt impact te hebben op duurzaamheid hebben we een tool nodig die een snelle energieschattingsoplossing voor de hele stapel kan bieden, voor hardwareontwerpers, datacenteroperators en algoritmeontwikkelaars, zodat ze zich allemaal bewuster kunnen maken van het energieverbruik. Met deze tool hebben we een stap in de richting van dat doel gezet”, zegt Lee.
Dit onderzoek werd gedeeltelijk gefinancierd door het MIT-IBM Watson AI Lab.
