Noot van de redactie: Bill Hilf is de voormalige CEO van Vulcan/Vale Group, huidig bestuursvoorzitter van Ai2 en American Prairie, en de auteur van de nieuwe sciencefictionroman ‘The Disruption’, waarin de onderwerpen AI en natuurlijke ecosystemen worden onderzocht. Hij sprak over het boek over de GeekWire-podcasten gaat dieper in op de thema’s in dit begeleidende essay.
We bouwen AI op beschavingsniveau, terwijl we er nog steeds over praten alsof het een softwarerelease is.
Welk model bovenaan welke benchmark staat. Welke chatbot klinkt het meest menselijk. Die vragen zijn belangrijk, maar ze zijn op de verkeerde hoogte. AI-systemen beantwoorden niet langer alleen vragen. Ze bemiddelen in de werving, diagnostiek, logistiek, financiën en steeds grotere delen van de publieke besluitvorming. Wij verzenden geen producten meer. Wij geven omgevingen een nieuwe vorm.
Op deze schaal is AI sterk met elkaar verbonden. Het heeft gekoppelde faalmodi. Opkomend gedrag. Invasieve soorten. Omslagpunten.
Het behandelen van een omgeving als een product is een categoriefout, en deze wordt al groter.
Ik heb dertig jaar besteed aan het bouwen van de systemen die nu centraal staan in dit gesprek, van wetenschappelijk computergebruik bij IBM tot het vroege Azure en grootschalige bedrijfssystemen bij HP. Het werkmodel was deterministisch: specificeer het systeem, bouw het, stem het af, controleer het. Als er iets kapot gaat, diagnosticeer en herstel dan. Dat model werkt tot het niet meer werkt.
Op voldoende schaal gedragen gedistribueerde systemen zich niet meer als machines, maar gaan ze zich meer als ecosystemen gedragen. Ze passen zich aan. Ze omzeilen mislukkingen. Ze ontwikkelen afhankelijkheden die niemand heeft ontworpen en interacties die niemand volledig begrijpt. Je kunt ze nog steeds ontwerpen en engineeren. Maar zodra ze overal zijn ingebed, met alles verbonden en over te veel lagen zijn geoptimaliseerd die door één persoon in gedachten kunnen worden gehouden, zijn het niet langer alleen maar hulpmiddelen.
En de curve wordt steiler. McKinsey’s nieuwste Staat van AI zegt dat 88% van de ondervraagde organisaties nu AI in ten minste één zakelijke functie gebruikt, tegen 55% twee jaar eerder. Gartner voorspelt dat de wereldwijde software-uitgaven in 2026 ruim 1,4 biljoen dollar zullen bedragen. In het commentaar van beleggers dat dit jaar circuleert, Thomas Bravo stelt dat agentische AI een kans van grofweg $3 biljoen aan extra applicatie-inkomsten zou kunnen creëren door arbeidsuitgaven om te zetten in software-uitgaven. Dat is geen functie-upgrade. Het is het systeem dat zichzelf halverwege de vlucht opnieuw bedraadt, sneller dan de meeste bedrijven kunnen besturen, controleren of zelfs classificeren wat ze al hebben gebouwd.
Dat besef kwam niet alleen voort uit de technologie. Het kwam ook voort uit natuurbehoud.
Ecologie heeft een naam voor wat er gebeurt als je een dragende laag te snel lostrekt: trofische cascade. De Aleoeten-pelshandel heeft in de 18e eeuw de zeeotters bijna uitgeroeid. Otters eten zee-egels. Zeeëgels eten kelp. Verwijder de otters en je krijgt geen ottervormig gat. Je krijgt een explosie van een egel, ingestorte kelpbossen en het verlies van elke viskwekerij die de kelp stilletjes overeind hield.
Dat is het patroon waar we naar moeten kijken in AI-afhankelijke infrastructuur. De AI zal waarschijnlijk beter zijn dan uw mensen in het screenen, scoren en voorspellen. Het echte probleem is de snelheid. We vervangen de mensen die oordeelden, corrigeerden en in toom hielden, het bindweefsel dat nooit in een workflowdiagram verscheen. De stem in de grijze gebieden, de niet-berekenbare beslissingen. Verwijder die laag sneller dan de organisatie kan ontdekken wat ze in petto heeft, en je krijgt dezelfde cascade.
Als we serieus bezig zijn met het bouwen van duurzame AI-infrastructuur, zijn deze patronen de moeite waard om te bestuderen, en sommige lessen zijn ongemakkelijk.
Efficiëntie wordt overschat. In de technologie, net als in de ecologie, wordt een te strak geoptimaliseerd systeem broos. Slack en redundantie zijn belangrijk. Dat geldt ook voor brandgangen, en dat geldt ook voor de lokale autonomie.
In juli 2024 crashte één enkele CrowdStrike-configuratie-update 8,5 miljoen machines wereldwijd. Luchtvaartmaatschappijen, ziekenhuizen, 911-centra, banken. $ 5,4 miljard aan verliezen. Ze hebben de slechte update binnen 78 minuten teruggedraaid. Het herstel duurde dagen. Southwest Airlines bleef grotendeels onaangetast. Er draaide simpelweg niet de software van CrowdStrike. Soms is de afwezigheid van een afhankelijkheid zijn eigen brandgang. Als elke belangrijke functie in je stack afhankelijk is van één model, één provider of één trainingspijplijn, heb je geen intelligent wonder gebouwd. Je hebt een toekomstige storing opgebouwd.
Ecosystemen falen niet alleen door cascade. Ze falen ook door aangroei. AI komt workflows binnen op de manier waarop invasieve soorten ecosystemen binnendringen: via slecht zichtbare vectoren, één inzet per keer. Een copiloot hier, een samenvattingslaag daar, een autonome planner ergens waar niemand hem volgt. Elke inzet is op zichzelf verdedigbaar. Het cumulatieve effect is iets waar niemand voor heeft gekozen. De herziening en wrijving die eerdere processen eerlijk hielden, waren gebouwd voor menselijke snelheid. Niets heeft ze op machinesnelheid vervangen.
Een model blijft niet wat het was in het laboratorium als het eenmaal begint met het vormgeven van de omgeving die het later vormgeeft. AI-systemen doen hetzelfde wanneer ze worden ingezet in markten, media, instellingen en menselijk gedrag. Je reguleert een ecosysteem niet door individuele organismen te inspecteren. Jij regelt de omstandigheden die bepalen of het hele systeem herstelt of instort. Deze voorwaarden omvatten waarneembaarheid.
Systemen die niet kunnen worden geïnspecteerd, bestudeerd of onafhankelijk geëvalueerd, zijn systemen die niemand echt kan begrijpen of goed kan besturen. Openheid is hier van belang, niet als slogan, maar als vereiste voor analyse en verdiend vertrouwen. Dezelfde logica is van toepassing op fouttolerantie. Voordat een model in kritieke systemen wordt toegelaten, moet de exploitant ervan bewijzen dat de volledige omgeving nog steeds zonder dit model kan functioneren. Dat betekent verplichte degradatietests, zoals we banken en bruggen aan stresstests onderwerpen.
Bouwers hoeven niet te wachten op toezichthouders. Als een AI-laag een productieworkflow betreedt, moeten bouwers weten wat er gebeurt als het model verkeerd is, de leverancier niet werkt of het gedrag verandert na de implementatie. Als het eerlijke antwoord ‘dat weten we niet’ is, is de laag nog niet klaar om draagkrachtig te zijn. Dat geldt voor een ziekenhuistriagesysteem en voor een klantenondersteuningsbot. Dit geldt vooral voor agenten met een onbeperkt bereik: software die kan plannen, tools kan oproepen en kan handelen in omgevingen die niemand volledig controleert. Voor die systemen is de modelkwaliteit de makkelijke vraag. De moeilijkste is wie verantwoordelijk is als het mislukt.
Multi-agent architecturen en ensemblebenaderingen kunnen de veerkracht verbeteren, maar alleen als de diversiteit reëel is. Drie agenten die naar hetzelfde basismodel routeren kunnen de redenering verbeteren, maar het zijn geen drie onafhankelijke waarborgen. Ze zijn één afhankelijkheid met drie hoeden.
Er is hier een breder strategisch gevolg. In stabiele ecosystemen versterken dominante soorten hun voordeel langzaam. Verkort de verstoringscyclus en veel van deze voordelen eroderen voordat ze volwassen worden. Dat gebeurt nu met de zakengrachten. Wanneer disruptie radicaal goedkoper wordt, is de winnende vraag niet meer wat je aan het opbouwen bent, maar wordt het wat nog steeds samenkomt als niets om je heen blijvend is. Bij implementaties in de echte wereld verliest het ‘beste’ model van het meest adaptieve systeem.
Herstel is net zo belangrijk als preventie. In het natuurbehoudswerk dat ik doe, is de vraag nooit hoe je verandering kunt tegenhouden. Verstoring is onvermijdelijk. De vraag is wat overleeft, hoe snel een systeem herstelt en welke verborgen capaciteiten er na de schok overblijven. Hetzelfde zouden we moeten vragen van AI-afhankelijke infrastructuur. Niet alleen “Is het veilig?” maar “Hoe mislukt het? Wie kan het ongedaan maken? Hoe ver verspreidt het falen zich? Wat groeit er terug na de fout?”
Wat naar mijn ervaring kapot gaat, is de veronderstelling van controle. Echte systemen storten niet netjes in en herstellen niet netjes. Sommige onderdelen mislukken. Sommigen passen zich aan. Sommige muteren in dingen die niemand bedoelde.
De natuur voert al honderden miljoenen jaren gedistribueerde detectie, lokale respons en herstel uit. Het beheert het soort netwerk dat we steeds proberen uit te vinden. Niet omdat bossen bewust zijn of omdat de planeet een AI is, maar omdat de technische problemen structureel vergelijkbaar zijn: hoe kan een systeem zonder centrale controle de samenhang behouden, zich aanpassen aan schade en in de loop van de tijd blijven bestaan?
De vraag is niet langer alleen wat AI-systemen kunnen doen. Het gaat erom wat voor wereld ze om zich heen creëren, wat voor wereld ze van ons erven, en of we wijs genoeg zijn om systemen te bouwen die we nog steeds kunnen sturen.
Als we dit serieus nemen, volgen er een paar principes. Ontwerp voor diversiteit vóór efficiëntie. Bouw voor herstel vóór prestaties. Houd mensen op de hoogte, niet als maatstaf voor naleving, maar als beheerders van het systeem, als bron van oordeel en als herinnering aan waarom het bestaat. Dring aan op openheid, op alle niveaus, als voorwaarde voor vertrouwen op grote schaal. Niets van dit alles vertraagt AI. Het is wat ervoor zorgt dat AI blijft werken op de dag dat er iets mislukt.
U kunt een machine uitschakelen.
Je moet binnen een ecosysteem leven.
