Gepresenteerd door Solidigm
Vloeistofkoeling herschrijft de regels van de AI-infrastructuur, maar de meeste implementaties hebben de grens nog niet volledig overschreden. GPU’s en CPU’s zijn overgestapt op vloeistofkoeling, terwijl opslag afhankelijk is geworden van de luchtstroom, waardoor een operationeel inefficiënte hybride architectuur is ontstaan.
Wat een pragmatische transitiestrategie lijkt, is in de praktijk een structureel probleem.
“Een hybride koelingsaanpak is een operationeel inefficiënte situatie”, legt Hardeep Singh uit, teammanager thermisch-mechanische hardware bij Solidigm. “Je betaalt voor en onderhoudt twee volledig gescheiden, dure koelinfrastructuren, en je zou kunnen worden blootgesteld aan de ergste problemen van beide werelden.”
Terwijl voor vloeistofkoeling pompen, vloeistofspruitstukken en koelmiddeldistributie-eenheden (CDU’s) nodig zijn, vereisen luchtgekoelde componenten CRAC-eenheden, koude gangpaden en verdampingskoeltorens. Organisaties die overstappen op een hybride oplossing door slechts wat vloeistofkoeling toe te voegen, absorberen de kostenpremie zonder het volledige TCO-voordeel te benutten.
De thermische fysica maakt de zaken nog erger. Grote vloeistofgekoelde koude platen, dikke slangen en spruitstukken belemmeren fysiek de luchtstroom in het GPU-serverchassis. Dit concentreert de thermische belasting op de resterende luchtgekoelde componenten, waaronder opslagschijven, geheugen en netwerkkaarten, omdat serverventilatoren niet voldoende luchtstroom rond de vloeistofleidingen kunnen duwen. De componenten die het meest afhankelijk zijn van ventilatoren komen terecht in de slechtst mogelijke thermische omgeving.
Het waterverbruik is een vrijwel genegeerd, even ernstig probleem. Traditionele luchtgekoelde componenten zijn afhankelijk van serverventilatoren om warmte naar de omgevingslucht te transporteren, die vervolgens wordt geabsorbeerd door een watercircuit en naar verdampingskoeltorens wordt gepompt. Deze systemen kunnen in de loop van de tijd miljoenen liters water verbruiken. Terwijl de stroomdichtheid in racks blijft stijgen om moderne AI-workloads te ondersteunen, wordt de verdampingswaterstraf, zoals Singh het stelt, “ecologisch en economisch onverdedigbaar.”
Terwijl de AI-infrastructuur evolueert naar vloeistofgekoelde en ventilatorloze GPU-systemen, verschuiven de echte beperkingen op schaal van computerprestaties naar thermisch ontwerp op systeemniveau. Moderne AI-platforms worden niet langer server voor server gebouwd; ze zijn ontworpen als nauw geïntegreerde systemen op rack- en pod-niveau waarbij stroomvoorziening, koelingsdistributie en plaatsing van componenten onafscheidelijk zijn.
In deze omgeving worden opslagarchitecturen ontworpen voor luchtstroomafhankelijke datacenters een beperkende factor. Terwijl GPU-platforms zich volledig verplaatsen naar gedeelde vloeistofkoelingsdomeinen, verankerd door CDU’s op rackniveau, moet elk onderdeel in het systeem native werken binnen hetzelfde thermische en mechanische ontwerp. Opslag kan niet langer vertrouwen op geïsoleerde koelpaden of op maat gemaakte thermische aannames zonder dat er op systeemniveau inefficiëntie, complexiteit of dichtheidsafwegingen worden geïntroduceerd.
Waarom opslag niet langer een passief subsysteem is
Voor leiders op het gebied van infrastructuur markeert dit een fundamentele transitie. Opslag is niet langer een passief subsysteem dat is gekoppeld aan computergebruik, maar in plaats daarvan een actieve deelnemer aan koeling, onderhoudsgemak en GPU-gebruik op systeemniveau. Het vermogen om AI te schalen hangt nu af van de vraag of opslag netjes kan worden geïntegreerd in vloeistofgekoelde GPU-systemen, zonder de koelarchitectuur te fragmenteren of het ontwerp op rackniveau te beperken.
En de race om AI op te schalen gaat niet langer alleen over wie de meeste GPU’s heeft, maar over wie ze koel kan houden, zegt Scott Shadley, directeur leiderschapsverhaal en evangelist bij Solidigm.
“Het vinden van een manier om vloeistofgekoelde opslag mogelijk te maken en deze toch door de gebruiker te kunnen onderhouden, is een van de grootste uitdagingen geweest bij het ontwerpen van ventilatorloze systeemoplossingen”, zegt Shadley. “Naarmate de AI-workloads evolueren, zal de druk op opslag alleen maar toenemen.”
Technieken zoals KV cache offload, waarbij gegevens tijdens inferentie tussen GPU-geheugen en hogesnelheidsopslag worden verplaatst, maken opslaglatentie en thermische prestaties direct relevant voor de efficiëntie van modelbediening. In deze architecturen vertraagt een opslagsubsysteem dat vastloopt als gevolg van een slechte traditionele luchtstroom onder thermische belasting, zowel het lezen als het model zelf.
Op weg naar geïntegreerde vloeistofkoeling
De overstap van traditionele luchtgekoelde GPU-servers naar geïntegreerde vloeistofgekoelde racks verbetert de energiegebruiksefficiëntie (PUE) en verlaagt de operationele kosten voor het datacenter. Het vervangt ook de luidruchtige computerruimte-luchtbehandelingsunit (CRAH) en introduceert een moderne, efficiënte vloeistof-CDU met potentiële mogelijkheden om koelmachines te elimineren als rekken kunnen worden gekoeld tot een vloeistoftemperatuur van 45° Celsius.
Wanneer de opslag door middel van vloeistof wordt gekoeld zonder dat er ventilatoren aanwezig zijn, moet deze ook onderhoudsvriendelijk zijn zonder vloeistoflekkage. Het creëert ook een nieuwe vereiste waar veel infrastructuurteams nog maar net mee beginnen te worstelen: elk onderdeel in het rack moet native binnen dezelfde koelarchitectuur werken.
Opslag als actieve deelnemer aan het systeemontwerp
Het ontwerp van opslag is niet langer een geïsoleerd technisch probleem. Het is een directe variabele in het GPU-gebruik, de systeembetrouwbaarheid en de operationele efficiëntie. De oplossing is om de opslag van de grond af aan opnieuw te ontwerpen voor vloeistofgekoelde, ventilatorloze omgevingen. Dit is moeilijker dan het klinkt. Traditioneel SSD-ontwerp gaat uit van een luchtstroom voor thermisch beheer en plaatst componenten aan beide zijden van een thermisch geïsoleerde PCB. Geen van beide aannames gaat op in een CDU-verankerde architectuur.
“SSD’s moeten worden ontworpen met de beste thermische oplossing in zijn klasse om de warmte van interne componenten specifiek efficiënt te geleiden en over te dragen naar vloeistof”, zegt Singh. “Het ontwerp moet een pad met lage weerstand bevatten zodat de warmte kan worden overgebracht naar een enkele koude plaat die aan één kant is bevestigd.”
Tegelijkertijd moeten schijven onderhoudsvriendelijk zijn zonder vloeistoflekkage tijdens het inbrengen en verwijderen, en zonder de thermische interface tussen de schijf en de koude plaat te verslechteren.
Solidigm heeft mee gewerkt NVIDIA om uitdagingen op het gebied van vloeistofkoeling van SSD’s aan te pakken, zoals hot-swap-mogelijkheden en enkelzijdige koeling, waardoor de thermische voetafdruk van opslag binnen de gedeelde vloeistoflus wordt verkleind en ervoor wordt gezorgd dat GPU’s hun proportionele aandeel koelvloeistof ontvangen.
“Als opslag niet efficiënt is ontworpen voor een vloeistofgekoelde omgeving, zal de prestatie afnemen of zal er meer vloeistofvolume nodig zijn”, zegt hij. “Wat direct en indirect leidt tot onderbenutting van GPU-mogelijkheden.”
Afstemming op standaarden en de weg naar interoperabiliteit
Solidigm werkt hier niet geïsoleerd aan. De bredere industrie bundelt zich rond standaarden om ervoor te zorgen dat vloeistofgekoelde AI-systemen interoperabel zijn in plaats van een lappendeken van op maat gemaakte oplossingen. De SNIA en het Open Compute Project (OCP) zijn de belangrijkste instanties die dit werk aansturen.
Solidigm leidde de industriestandaard voor vloeistofkoeling in SFF-TA-1006 voor de E1.S-vormfactor en is een actieve deelnemer in OCP-werkstromen op het gebied van rackontwerp, thermisch beheer en duurzaamheid. Op maat gemaakte koeloplossingen voor opslag maken plaats voor op standaarden afgestemde, productieklare ontwerpen die naadloos kunnen worden geïntegreerd in vloeistofgekoelde GPU-platforms.
“Er zijn verschillende organisaties bij dit werk betrokken”, zegt Shadley, die ook bestuurslid is van SNIA. “Ze begonnen met oplossingen op componentniveau, sterk aangestuurd door SNIA en de SFF TA TWG. Het volgende niveau is het werk op oplossingsniveau, dat momenteel sterk wordt aangestuurd door OCP.”
De roadmap van Solidigm wijst de weg
De ontwerpregels voor architecturen op systeemniveau zijn veranderd als gevolg van de komst van vloeistof- en immersiekoelingtechnologieën die meer unieke ontwerpregels mogelijk maken en enkele barrières wegnemen. De mogelijkheid voor systemen om NVMe SSD-platforms aan te sturen maakt het ook mogelijk om de op schotels gebaseerde boxbeperking te verwijderen die bestaat bij HDD-oplossingen, zegt Shadley.
“Klanten van Solidigm spelen een actieve en leidende rol bij routekaartbeslissingen voor onze producten vanwege hun diepgaande technische afstemming op het ecosysteem”, zegt hij. “We maken en verkopen niet simpelweg producten, we integreren, co-designen, co-ontwikkelen en innoveren met en naast onze partners, klanten en hun klanten.”
Voegt Singh toe: “De belangrijkste kracht van Solidigm is innovatie en klantgeïnspireerde engineering op systeemniveau. Dit zal op agressieve wijze het voortouw blijven nemen bij de adoptie van vloeistofkoeling voor opslag.”
Gesponsorde artikelen zijn inhoud die is geproduceerd door een bedrijf dat voor de post betaalt of een zakelijke relatie heeft met VentureBeat, en deze is altijd duidelijk gemarkeerd. Voor meer informatie kunt u contact opnemen met sales@venturebeat.com.
