Enterprise AI gaat een nieuwe fase in – een fase waarin de centrale vraag niet langer is wat er kan worden gebouwd, maar hoe we het meeste uit onze AI-investeringen kunnen halen.
Tijdens de laatste AI Impact Tour-sessie van VentureBeat beschreef Brian Gracely, directeur portfoliostrategie bij Red Hat, de operationele realiteit binnen grote organisaties: AI-wildgroei, stijgende inferentiekosten en beperkt inzicht in wat die investeringen daadwerkelijk opleveren.
Het is het “Dag 2”-moment – wanneer piloten plaats maken voor productie, en kosten, bestuur en duurzaamheid moeilijker worden dan het bouwen van het systeem.
“We hebben klanten gezien die zeiden: ‘Ik heb 50.000 Copilot-licenties. Ik weet niet echt wat mensen daar uit halen. Maar ik weet wel dat ik betaal voor de duurste computers ter wereld, omdat het GPU’s zijn'”, zei Gracely. “Hoe krijg ik dat onder controle?”
Waarom de AI-kosten van ondernemingen nu een probleem op bestuursniveau zijn
Een groot deel van de afgelopen twee jaar waren de kosten niet de voornaamste zorg voor organisaties die generatieve AI evalueerden. De experimentele fase gaf teams de mogelijkheid om vrijelijk geld uit te geven, en de belofte van productiviteitswinst rechtvaardigde agressieve investeringen, maar die dynamiek verschuift naarmate bedrijven hun tweede en derde budgetcyclus met AI ingaan. De focus is verschoven van “kunnen we iets bouwen?” tot “krijgen we waar we voor betaald hebben?”
Bedrijven die al vroeg grote inzetten hebben gezet op beheerde AI-diensten, voeren harde beoordelingen uit om te beoordelen of deze investeringen meetbare waarde opleveren. Het probleem is niet alleen dat GPU-computing duur is. Het komt doordat veel organisaties niet over de instrumenten beschikken om uitgaven aan resultaten te koppelen, waardoor het bijna onmogelijk wordt om vernieuwingen te rechtvaardigen of op verantwoorde wijze te schalen.
De strategische verschuiving van tokenconsument naar tokenproducent
Het dominante AI-inkoopmodel van de afgelopen jaren was eenvoudig: betaal een leverancier per token, per stoel of per API-oproep, en laat iemand anders de infrastructuur beheren. Dat model was logisch als uitgangspunt, maar wordt steeds vaker in twijfel getrokken door organisaties met voldoende ervaring om alternatieven te vergelijken.
Bedrijven die één AI-cyclus hebben meegemaakt, beginnen dat model te heroverwegen.
“Hoe kan ik, in plaats van puur een tokenconsument te zijn, een tokengenerator worden?” Gracieus gezegd. “Zijn er gebruiksscenario’s en workloads die voor mij zinvol zijn om meer te bezitten? Het kan betekenen dat ik GPU’s moet gebruiken. Het kan betekenen dat ik GPU’s moet huren. En dan de vraag stellen: ‘Heeft die workload het beste state-of-the-art model nodig? Zijn er capabelere open modellen of kleinere modellen die passen?'”
De beslissing is niet binair. Het juiste antwoord hangt af van de werklast, de organisatie en de risicotolerantie die daarmee gepaard gaat, maar de wiskunde wordt ingewikkelder naarmate het aantal capabele open modellen, van DeepSeek tot modellen die nu beschikbaar zijn via cloudmarktplaatsen, groeit. Nu hebben bedrijven daadwerkelijk echte alternatieven voor het handjevol aanbieders dat twee jaar geleden het landschap domineerde.
Dalende AI-kosten en stijgend gebruik creëren een paradox voor bedrijfsbudgetten
Sommige bedrijfsleiders beweren dat het nu al vastleggen van investeringen in infrastructuur op de lange termijn aanzienlijk te veel zou kunnen betekenen, daarbij verwijzend naar de verklaring van Anthropic CEO Dario Amodei dat de kosten voor AI-inferentie met ongeveer 60% per jaar dalen.
De opkomst van open-sourcemodellen zoals DeepSeek en anderen heeft de afgelopen drie jaar de strategische opties die beschikbaar zijn voor ondernemingen die bereid zijn te investeren in de onderliggende infrastructuur aanzienlijk uitgebreid.
Maar terwijl de kosten per token dalen, versnelt het gebruik in een tempo dat de efficiëntiewinst ruimschoots compenseert. Het is een versie van Jevons Paradox, het economische principe dat verbeteringen in de hulpbronnenefficiëntie de neiging hebben om de totale consumptie te vergroten in plaats van te verminderen, omdat lagere kosten een bredere acceptatie mogelijk maken.
Voor bedrijfsbudgetplanners betekent dit dat dalende eenheidskosten zich niet vertalen in dalende totale rekeningen. Een organisatie die haar AI-gebruik verdrievoudigt terwijl de kosten met de helft dalen, geeft uiteindelijk nog steeds meer uit dan voorheen. De afweging wordt welke workloads echt de meest capabele en duurste modellen vereisen, en die prima kunnen worden afgehandeld door kleinere, goedkopere alternatieven.
De business case voor het investeren in de flexibiliteit van de AI-infrastructuur
Het recept is niet om AI-investeringen te vertragen, maar om te bouwen waarbij flexibiliteit voorop staat. De organisaties die zullen winnen zijn niet noodzakelijkerwijs de organisaties die het snelst bewegen of de meeste uitgaven doen; zij zijn degenen die infrastructuur en operationele modellen bouwen die in staat zijn de volgende onverwachte ontwikkeling op te vangen.
“Hoe meer je abstracties kunt bouwen en jezelf wat flexibiliteit kunt geven, hoe meer je kunt experimenteren zonder de kosten te verhogen, maar ook zonder je bedrijf in gevaar te brengen. Die zijn net zo belangrijk als de vraag of je op dit moment alles op de beste manier doet”, legt Gracely uit.
Maar ondanks hoe diepgeworteld de discussies over AI zijn geworden in de planningscycli van ondernemingen, wordt de praktische ervaring van de meeste organisaties nog steeds gemeten in jaren en niet in decennia.
“Het voelt alsof we dit al een eeuwigheid doen. We doen dit al drie jaar”, voegde Gracely eraan toe. “Het is vroeg en het gaat heel snel. Je weet niet wat er gaat gebeuren. Maar de kenmerken van wat er gaat gebeuren: je zou een idee moeten hebben van hoe dat eruit ziet.”
Voor bedrijfsleiders die hun AI-investeringsstrategieën nog steeds aan het kalibreren zijn, kan dit de meest bruikbare conclusie zijn: het doel is niet om te optimaliseren voor de huidige kostenstructuur, maar om de organisatorische en technische flexibiliteit op te bouwen om zich aan te passen wanneer, en niet als, deze opnieuw verandert.
