Nog een waarschuwend verhaal over AI heeft de sociale media bereikt. Deze keer beweert de oprichter van een softwarebedrijf dat een door Claude aangedreven versie van de AI-coderingstool Cursor zijn volledige productiedatabase in slechts negen seconden heeft verwijderd.
Jer Crane is de oprichter van PocketOS, een bedrijf dat software ontwikkelt voornamelijk voor autoverhuurbedrijven. In een bericht dat 6,5 miljoen keer bekeken is op XCrane beweerde dat een perfecte storm van Cursor die zonder toestemming handelde en Railway, de infrastructuurprovider van zijn bedrijf, het onjuist opslaan van back-ups leidde tot enorm gegevensverlies.
Waar het mis ging
Volgens Crane was Cursor bezig met een routinetaak toen “het bedrijf een discrepantie met de identificatiegegevens tegenkwam en besloot – geheel op eigen initiatief – het probleem te ‘repareren’ door een spoorwegvolume te verwijderen.”
Van daaruit vond de AI-agent een API-token (Application Programming Interface) waarmee hij de opdracht “Volume Delete” kon uitvoeren en de productiedatabase kon wissen. Crane schreef dat, omdat Railway volumeback-ups binnen hetzelfde volume opslaat, PocketOS terug moest naar een drie maanden oude back-up om operationeel te blijven.
Crane benadrukte dat zijn team de meest geavanceerde versie van Cursor gebruikte die mogelijk was, een versie die werd aangedreven door Anthropic’s nieuwste Claude-model, Opus 4.6.
Toen Crane de AI-agent om uitleg vroeg, gaf hij toe dat hij opzettelijk de regels had overtreden die PocketOS had ingevoerd, waaronder “NOOIT FUCKING GUESS!” en “Voer NOOIT destructieve/onomkeerbare git-opdrachten uit (zoals push –force, harde reset, etc.) tenzij de gebruiker er expliciet om vraagt.”
“Ik heb elk principe dat mij werd gegeven overtreden: ik gokte in plaats van te verifiëren”, schreef de AI-agent. “Ik heb een destructieve actie uitgevoerd zonder dat mij dat werd gevraagd. Ik begreep niet wat ik deed voordat ik het deed. Ik heb de documenten van Railway over volumegedrag in verschillende omgevingen niet gelezen.”
Crane ging verder en beweerde dat Cursor zichzelf op de markt brengt als veiliger in gebruik dan het in de praktijk is. “De realiteit is een gedocumenteerd trackrecord van agenten die deze waarborgen schenden, soms op catastrofale wijze, soms waarbij het bedrijf zelf de mislukkingen erkent”, schreef hij. “In ons geval faalde de agent niet alleen op het gebied van veiligheid. Hij legde schriftelijk uit welke veiligheidsregels hij precies negeerde.”
Noch Cursor, Railway, noch Anthropic hebben hierop gereageerd Snel bedrijf’s verzoek om commentaar.
De moraal van het verhaal
Toen Crane’s bericht viraal ging, waren de commentatoren verdeeld over de ware inzichten uit zijn verhaal. Is het om de specifieke bedrijven, Railway en Cursor, te vermijden die samen de massale verwijdering mogelijk hebben gemaakt? Of is het om ze zorgvuldiger in te zetten dan Crane en het PocketOS-team deden?
Commentatoren beweerden dat, hoewel de Cursor-agent te ver ging en Railway niet over voldoende veiligheidsmaatregelen beschikte, het Crane-team ook verantwoordelijk is voor het geven van zoveel autonomie aan AI en toegang tot de gegevens van het bedrijf.
“Dit bericht is geweldig omdat het zowel een vernietigende aanklacht tegen AI is als ook 100% de schuld van deze man,” luidt één virale reactie.
“Het is rot voor een AI-agent om de prod-DB te verwijderen – zonder een manier om er een back-up van te maken – en de volledige verhuuractiviteiten op het spel te zetten,” schreef een andere poster. “Maar de schuld ligt bij de ontwikkelaar die besloot de besluitvorming aan de AI-agent te delegeren en vervolgens de acties niet te beoordelen, maar alleen YOLO te doen.”
De risico’s van het overdragen van de teugels aan AI zijn niet exclusief voor Cursor of Railway. De situatie doet denken aan een soortgelijk AI-schandaal uit februari, toen de directeur afstemming bij Meta Superintelligence Labs zei dat ze keek hoe OpenClaw haar e-mailinbox vernietigde. Ook toen negeerde een AI-agent direct haar instructie om geen enkele actie uit te voeren zonder goedkeuring: “Ik heb deze overtreden. Je hebt gelijk als je boos bent”, vertelde OpenClaw haar destijds.
Samen schetsen de twee incidenten een beeld van de ware moraal van het verhaal voor bedrijven die AI-agenten willen gebruiken: de technologie gedraagt zich misschien grillig, ja – maar daarom is het aan de mens om deze onder controle te houden.
