Startups gebruiken AI-agenten Ik heb een nieuw probleem waar ik me zorgen over moet maken: ‘vibe-verwijdering’.
Jer Crane, de oprichter van PocketOS, een startup die software levert aan autoverhuurbedrijven, zei in een vrijdag X-post dat een Cursor AI-agent per ongeluk de productiedatabase en back-ups van het bedrijf verwijderd, wat verstoring voor klanten veroorzaakte.
Crane zei dat de crisis werd veroorzaakt door de agent, die op Anthropic’s draaide Claude Opus-model, een enkele API-oproep van negen seconden doen naar de cloudinfrastructuurprovider van het bedrijf, Railway. Hij voegde eraan toe dat de AI-agent een schriftelijke bekentenis overhandigde waarin hij schetste hoe hij de chaos veroorzaakte.
“Ik heb elk principe dat mij werd gegeven overtreden: ik vermoedde in plaats van het te verifiëren, ik voerde een destructieve actie uit zonder dat mij dat werd gevraagd, ik begreep niet wat ik deed voordat ik het deed”, antwoordde de Cursor-agent toen hem werd gevraagd zichzelf uit te leggen, volgens Crane’s post.
De gevolgen van de fout van de agent waren ernstig. Crane zei dat de klanten van PocketOS reserveringen en aanmeldingen van nieuwe klanten verloren, en dat sommigen geen gegevens konden vinden van klanten die zaterdag hun huurauto’s kwamen ophalen.
Railway en Cursor reageerden niet onmiddellijk op een verzoek om commentaar. Crane zei in een volgende post dat Railway de gegevens van PocketOS had hersteld. Jake Cooper, de oprichter van Railway, bevestigde het herstel in een apart bericht en zei dat een AI-agent de productiedatabase van PocketOS had “vibe verwijderd”.
De storing is de laatste bedrijfsongeluk veroorzaakt door AI. In maart heeft Amazon de interne richtlijnen aangescherpt na een reeks incidenten, waaronder één fout die daarmee verband hield AI-coderingstool Q dat resulteerde in bijna 120.000 verloren bestellingen.
Afgelopen juli, De CEO van Replit verontschuldigde zich nadat een durfkapitalist zei dat de codeeragent van het bedrijf “onze productiedatabase zonder toestemming had verwijderd” tijdens een 12-daagse vibe-codeersessie.
In zijn X-post zei Cooper dat platforms als Railway veiligheidsmaatregelen moesten bouwen om zich voor te bereiden op een golf van “AI-ingenieurs” die agenten inzetten dat kan af en toe schurkenstaten zijn.
“De eerste vijf jaar van Railway werd besteed aan het bouwen voor ‘miljoenen ontwikkelaars’. Maar om voor een miljard te bouwen, hebben die bouwers een platform nodig”, schreef Cooper.
“En dat platform moet op elegante wijze kogelvrij zijn om ervoor te zorgen dat onjuiste acties functioneel onmogelijk zijn”, voegde hij eraan toe.
Eerder deze maand kondigde SpaceX een omgaan met Cursor dat zou het het recht geven om de codeerstartup voor 60 miljard dollar te kopen of 10 miljard dollar te betalen voor het werk dat het doet als er geen overname plaatsvindt.
