Contextverval, orkestratiedrift en de opkomst van stille mislukkingen in AI-systemen

De duurste AI-fout Ik heb gezien dat implementaties in ondernemingen geen fout opleverden. Er is geen waarschuwing afgegeven. Geen enkel dashboard werd rood. Het systeem was volledig operationeel, het was gewoon consequent en vol vertrouwen verkeerd. Dat is de betrouwbaarheidskloof. En het is het probleem waar de meeste AI-programma’s voor ondernemingen niet op zijn gebouwd.

We zijn de afgelopen twee jaar erg goed geworden in het evalueren van modellen: benchmarks, nauwkeurigheidsscores, red-team-oefeningen, kwaliteitstests voor het ophalen. Maar in de productie is het model zelden de plek waar het systeem kapot gaat. Het doorbreekt de infrastructuurlaag, de datapijplijnen die deze voeden, de orkestratielogica die deze omhult, de ophaalsystemen die deze aarden, de stroomafwaartse workflows die vertrouwen op de output ervan. Die laag wordt nog steeds bewaakt met tools die zijn ontworpen voor een ander soort software.

De kloof die niemand meet

Dit is wat dit probleem moeilijk te zien maakt: operationeel gezond en gedragsmatig betrouwbaar zijn niet hetzelfde, en de meeste monitoringstacks kunnen het verschil niet zien.

Een systeem kan groen laten zien voor elke infrastructuurmetriek, latentie binnen SLA, doorvoer normaal, foutpercentage vlak, terwijl het tegelijkertijd kan redeneren over ophaalresultaten die al zes maanden oud zijn, stilletjes terug kan vallen op de cachecontext nadat een toolaanroep is verslechterd, of een verkeerde interpretatie kan propageren via vijf stappen van een agentische workflow. Niets daarvan komt terug in Prometheus. Niets ervan activeert een Datadog-waarschuwing.

De reden is eenvoudig: Traditionele waarneembaarheid is gebouwd om de vraag te beantwoorden: is de service up-to-date? Enterprise AI vereist het beantwoorden van een moeilijkere vraag: “Gedraagt ​​de service zich correct?” Dat zijn verschillende instrumenten.

Om deze kloof te dichten is het nodig om naast de infrastructuurlaag een gedragstelemetrielaag toe te voegen – niet ter vervanging van wat al bestaat, maar om deze uit te breiden om vast te leggen wat het model feitelijk deed met de context die het ontving, en niet alleen of de dienst reageerde.

Vier foutpatronen die standaardmonitoring niet kan onderkennen

Bij AI-implementaties van ondernemingen in netwerkoperaties, logistiek en observatieplatforms zie ik vier foutpatronen zich herhalen met voldoende consistentie om ze te benoemen.

De eerste is contextdegradatie. Het model redeneert over onvolledige of verouderde gegevens op een manier die onzichtbaar is voor de eindgebruiker. Het antwoord ziet er gepolijst uit. De aarding is weg. Detectie vindt meestal weken later plaats, via stroomafwaartse gevolgen in plaats van systeemwaarschuwingen.

De tweede is orkestratiedrift. Agentische pijpleidingen falen zelden omdat één onderdeel kapot gaat. Ze mislukken omdat de volgorde van interacties tussen ophalen, gevolgtrekking, gereedschapsgebruik en stroomafwaartse actie begint te divergeren onder reële belasting. Een systeem dat er tijdens het testen stabiel uitzag, gedraagt ​​zich heel anders wanneer de latentie zich over stappen heen verspreidt en edge-cases stapelen.

De derde is een stille gedeeltelijke mislukking. Eén component presteert ondermaats zonder een waarschuwingsdrempel te overschrijden. Het systeem degradeert gedragsmatig voordat het operationeel degradeert. Deze fouten stapelen zich stilletjes op en komen eerst aan de oppervlakte als wantrouwen van de gebruiker, en niet als incidentticket. Tegen de tijd dat het signaal postmortem bereikt, is de erosie al weken aan de gang.

De vierde is de straal van de automatiseringsexplosie. In traditionele software blijft een gelokaliseerd defect lokaal. In AI-gestuurde workflows kan een misinterpretatie vroeg in de keten zich verspreiden over stappen, systemen en zakelijke beslissingen. De kosten zijn niet alleen technisch. Het wordt organisatorisch en het is heel moeilijk om het terug te draaien.

Statistieken vertellen u wat er is gebeurd. Ze vertellen je zelden wat er bijna is gebeurd.

Waarom klassieke chaos-engineering niet genoeg is en wat er moet veranderen

Traditionele chaos-engineering stelt de juiste soort vraag: wat gebeurt er als dingen kapot gaan? Dood een knooppunt. Laat een partitie vallen. Spike-CPU. Observeer. Deze tests zijn noodzakelijk en bedrijven moeten ze uitvoeren.

Maar voor AI-systemen worden de gevaarlijkste storingen niet veroorzaakt door fouten in de harde infrastructuur. Ze komen naar voren op de interactielaag tussen datakwaliteit, contextassemblage, modelredenering, orkestratielogica en stroomafwaartse actie. U kunt de infrastructuur de hele dag onder druk zetten en nooit de storingsmodus aan het licht brengen die u het meeste kost.

Wat AI-betrouwbaarheidstests nodig hebben is een op intentie gebaseerde laag: definieer wat het systeem moet doen onder slechte omstandigheden, en niet alleen wat het moet doen als alles werkt. Test vervolgens de specifieke omstandigheden die deze intentie in twijfel trekken. Wat gebeurt er als de ophaallaag inhoud retourneert die technisch geldig is, maar zes maanden verouderd? Wat gebeurt er als een samenvattingsagent 30% van zijn contextvenster verliest door onverwachte tokeninflatie stroomopwaarts? Wat gebeurt er als een toolaanroep syntactisch slaagt, maar semantisch onvolledige gegevens retourneert? Wat gebeurt er als een agent een verslechterde workflow opnieuw probeert te doorlopen en bij elke stap zijn eigen fout verergert?

Deze scenario’s zijn geen randgevallen. Zo ziet de productie eruit. Dit is het raamwerk dat ik heb toegepast bij het bouwen van betrouwbaarheidssystemen voor bedrijfsinfrastructuur: het op opzet gebaseerde creëren van chaosniveau voor gedistribueerde computeromgevingen. Het belangrijkste inzicht: Intentie definieert de test, niet alleen de fout.

Wat de infrastructuurlaag eigenlijk nodig heeft

Niets van dit alles vereist het opnieuw uitvinden van de stapel. Het vereist uitbreiding van vier dingen.

Voeg gedragstelemetrie toe naast infrastructuurtelemetrie. Houd bij of de reacties gegrond waren, of er terugvalgedrag werd geactiveerd, of het vertrouwen onder een betekenisvolle drempel daalde, of de output geschikt was voor de stroomafwaartse context waarin deze terechtkwam. Dit is de waarneembare laag die al het andere interpreteerbaar maakt.

Introduceer semantische foutinjectie in pre-productieomgevingen. Simuleer opzettelijk verouderde ophaalacties, onvolledige context-assemblage, degradatie van toolcalls en token-grensdruk. Het doel is niet theatrale chaos. Het doel is om erachter te komen hoe het systeem zich gedraagt ​​als de omstandigheden iets slechter zijn dan die van uw stagingomgeving – wat altijd het geval is bij productie.

Definieer veilige stopvoorwaarden vóór de inzet, niet na het eerste incident. AI-systemen hebben het equivalent van stroomonderbrekers op de redeneringslaag nodig. Als een systeem de basis niet kan behouden, de contextintegriteit kan valideren of een workflow met voldoende vertrouwen kan voltooien om te worden vertrouwd, moet het netjes stoppen, de fout labelen en de controle overlaten aan een mens of een deterministische terugval. Een sierlijke stop is bijna altijd veiliger dan een vloeiende fout. Te veel systemen zijn ontworpen om door te gaan, omdat zelfverzekerde output de illusie van correctheid creëert.

Wijs gedeeld eigendom toe voor end-to-end betrouwbaarheid. Het meest voorkomende falen van organisaties is een duidelijke scheiding tussen modelteams, platformteams, datateams en applicatieteams. Wanneer het systeem operationeel functioneert, maar gedragsmatig verkeerd is, is niemand duidelijk de eigenaar ervan. Semantisch falen heeft een eigenaar nodig. Zonder één stapelt het zich op.

De volwassenheidscurve verschuift

De afgelopen twee jaar is de AI-differentiator voor ondernemingen adoptie geweest: wie het snelst tot productie komt. Die fase loopt ten einde. Naarmate modellen steeds populairder worden en basiscapaciteiten convergeren, zal het concurrentievoordeel voortkomen uit iets dat moeilijker te kopiëren is: het vermogen om AI betrouwbaar op schaal te gebruiken, onder reële omstandigheden, met reële gevolgen.

De onderscheidende factor van gisteren was de adoptie van modellen. Vandaag de dag is dat systeemintegratie. De toekomst zal betrouwbaarheid zijn onder productiestress.

De ondernemingen die daar als eerste aankomen, zullen niet over de meest geavanceerde modellen beschikken. Ze zullen de meest gedisciplineerde infrastructuur om zich heen hebben – infrastructuur die is getest aan de hand van de omstandigheden waarmee ze daadwerkelijk te maken zouden krijgen, niet de omstandigheden waardoor de piloot er goed uitzag.

Het model is niet het hele risico. Het ongeteste systeem eromheen wel.

Sayali Patil is een AI-infrastructuur- en productleider.

Welkom bij de VentureBeat-community!

In ons gastpostprogramma delen technische experts inzichten en bieden ze neutrale, niet-gevestigde diepgaande inzichten over AI, data-infrastructuur, cyberbeveiliging en andere geavanceerde technologieën die de toekomst van het bedrijfsleven vormgeven.

Lees meer uit ons gastpostprogramma — en bekijk ons richtlijnen als u geïnteresseerd bent om een ​​eigen artikel bij te dragen!