- Thunderbolt 5-bandbreedte brengt externe GPU-hardware dichter bij het werkstationgebied
- Lokale AI-gevolgtrekking krijgt aandacht naarmate de cloudkosten blijven stijgen
- Ontwikkelaars verkennen steeds vaker lopende taalmodellen rechtstreeks op persoonlijke hardware
Externe GPU-behuizingen bestaan al een tijdje, meestal geassocieerd met gaming-laptops en grafische versnellingstaken die de mogelijkheden van mobiele processors te boven gaan.
De onlangs uitgebrachte TBT5-AI van Plugable behoort tot deze categorie, maar introduceert een ontwerp dat is gericht op het verbinden van grafische hardware op desktops met laptops voor lokale AI-workloads.
De behuizing biedt een PCIe x16-slot over de volledige lengte waarmee gebruikers een grafische kaart van desktopklasse in het externe chassis kunnen installeren.
Artikel gaat hieronder verder
Hardware van desktopklasse in een externe behuizing
Een geïntegreerde voeding van 850 watt levert de energie die nodig is om krachtige GPU’s te laten draaien die normaal gesproken alleen in desktopwerkstations zouden werken.
Voor connectiviteit wordt dit apparaat geleverd met een enkele Thunderbolt 5-kabel, die een directe verbinding met een laptop mogelijk maakt, en tot 80 Gbps bidirectionele bandbreedte ondersteunt, terwijl een boost-modus de doorvoer kan verhogen tot 120 Gbps voor bepaalde werklasten.
Binnen de behuizing verbindt deze bandbreedte de geïnstalleerde GPU via PCIe 4.0 x4-lanes, waardoor de overdrachtsknelpunten worden verminderd die eerdere externe GPU-ontwerpen beperkten.
Naast het huisvesten van de grafische kaart, functioneert het systeem ook als een hub die de connectiviteit voor de aangesloten laptop uitbreidt.
Hij levert tot 96 watt laadvermogen en biedt tevens 2,5-gigabit Ethernet-netwerken en verschillende snelle USB-poorten.
Volgens Plugable willen veel ingenieurs steeds vaker de modelverwerking en gegevensverwerking binnen hun eigen systemen houden, en de TBT5-AI biedt precies dat, omdat het is ontworpen voor ontwikkelaars die experimenteren met lokale AI-inferentieomgevingen.
Met het apparaat kunnen ontwikkelaars grote taalmodellen rechtstreeks op lokale hardware uitvoeren in plaats van werklasten naar de cloudinfrastructuur te sturen.
Het ondersteunt algemene lokale AI-frameworks, waaronder llama.cpp, Hugging Face-modellen en Nvidia’s NIM-inferentieplatform.
Plugable Chief Technology Officer Bernie Thompson zei dat de hardware zich richt op industrieën waar het beschermen van gevoelige informatie een strikte operationele vereiste blijft.
“Gegevensprivacy is geen kenmerk, maar een mandaat”, zei Thompson, verwijzend naar sectoren als de gezondheidszorg, financiële dienstverlening en juridische organisaties.
Plugable bereidt ook bedrijfsversies voor genaamd TBT5-AI16, TBT5-AI32 en TBT5-AI96, die gebundelde grafische processors zullen bevatten.
Deze configuraties zullen een softwareomgeving integreren genaamd Plugable Chat, beschreven als een air-gapped AI-orkestratieplatform voor gereguleerde organisaties.
Het bedrijf beweert dat deze systemen de AI-verwerking zullen verschuiven van op abonnementen gebaseerde clouddiensten naar lokaal gecontroleerde computerinfrastructuur.
De Plugable TBT5-AI-behuizing, die als zelfstandige eenheid $ 599,95 kost, werd een paar dagen geleden officieel uitgebracht en is nu verkrijgbaar via Amazon en Plugable.com.
Via Macbronnen
Volg TechRadar op Google Nieuws En voeg ons toe als voorkeursbron om ons deskundig nieuws, recensies en meningen in uw feeds te krijgen. Klik dan zeker op de knop Volgen!
En dat kan natuurlijk ook Volg TechRadar op TikTok voor nieuws, recensies, unboxings in videovorm en ontvang regelmatig updates van ons WhatsAppen te.
