AI-agents draaien op bestandssystemen en gebruiken standaardtools om door mappen te navigeren en bestandspaden te lezen.
De uitdaging is echter dat er veel bedrijfsgegevens in objectopslagsystemen zitten, met name in Amazon S3. Objectopslag levert gegevens via API-aanroepen, niet via bestandspaden. Om die kloof te overbruggen was er naast S3 een aparte bestandssysteemlaag nodig, gedupliceerde gegevens en synchronisatiepijplijnen om beide op één lijn te houden.
TDe opkomst van agent-AI maakt die uitdaging nog moeilijker, en het heeft gevolgen gehad voor Amazons eigen vermogen om dingen voor elkaar te krijgen. Technische teams bij AWS die tools als Kiro en Claude Code gebruikten, kwamen steeds hetzelfde probleem tegen: agenten gebruikten standaard lokale bestandstools, maar de gegevens stonden in S3. Lokaal downloaden werkte totdat het contextvenster van de agent werd gecomprimeerd en de sessiestatus verloren ging.
Het antwoord van Amazon is S3 Files, waarmee elke S3-bucket met één enkele opdracht rechtstreeks in de lokale omgeving van een agent wordt aangekoppeld. De gegevens blijven in S3, er is geen migratie vereist. Onder de motorkap verbindt AWS zijn Elastic File System (EFS)-technologie met S3 om volledige bestandssysteemsemantiek te leveren, en geen oplossing. S3 Files is nu beschikbaar in de meeste AWS-regio’s.
“Door data in S3 onmiddellijk beschikbaar te maken, alsof het deel uitmaakt van het lokale bestandssysteem, ontdekten we dat we een hele grote versnelling hadden met het vermogen van zaken als Kiro en Claude Code om met die data te kunnen werken”, vertelde Andy Warfield, VP en vooraanstaande ingenieur bij AWS, aan VentureBeat.
Het verschil tussen bestands- en objectopslag en waarom dit ertoe doet
S3 is gebouwd voor duurzaamheid, schaal en API-gebaseerde toegang op objectniveau. Deze eigenschappen maakten het tot de standaardopslaglaag voor bedrijfsgegevens. Maar ze creëerden ook een fundamentele incompatibiliteit met de op bestanden gebaseerde tools waarvan ontwikkelaars en agenten afhankelijk zijn. “S3 is geen bestandssysteem en het heeft op een heleboel fronten geen bestandssemantiek”, aldus Warfield. “Je kunt geen beweging uitvoeren, een atomaire beweging van een object, en er zijn eigenlijk geen mappen in S3.”
Eerdere pogingen om die kloof te overbruggen waren gebaseerd op FUSE (Filesystems in USErspace), een softwarelaag waarmee ontwikkelaars een aangepast bestandssysteem in de gebruikersruimte kunnen mounten zonder de onderliggende opslag te wijzigen. Tools zoals AWS’s eigen Mount Point, Google’s gcsfuse en Microsoft’s blobfuse2 gebruikten allemaal op FUSE gebaseerde stuurprogramma’s om hun respectievelijke objectstores op een bestandssysteem te laten lijken.
Warfield merkte op dat het probleem is dat die objectarchieven nog steeds geen bestandssystemen waren. Deze stuurprogramma’s hebben óf het bestandsgedrag nagebootst door extra metagegevens in buckets te stoppen, waardoor de object-API-weergave werd verbroken, óf ze weigerden bestandsbewerkingen die de objectopslag niet kon ondersteunen.
S3 Files heeft een geheel andere architectuur. AWS verbindt zijn EFS-technologie (Elastic File System) rechtstreeks met S3, waarbij een volledige native bestandssysteemlaag wordt gepresenteerd, terwijl S3 als registratiesysteem behouden blijft. Zowel de bestandssysteem-API als de S3-object-API blijven gelijktijdig toegankelijk op basis van dezelfde gegevens.
Hoe S3 Files agent-AI versnelt
Vóór S3 Files moest een agent die met objectgegevens werkte expliciet de opdracht krijgen om bestanden te downloaden voordat hij tools kon gebruiken. Dat creëerde een sessiestatusprobleem. Terwijl agenten hun contextvensters comprimeerden, ging de registratie van wat lokaal was gedownload vaak verloren.
“Ik zou merken dat ik de agent eraan moest herinneren dat de gegevens lokaal beschikbaar waren”, zei Warfield.
Warfield doorliep de voor en na voor een veel voorkomende agenttaak met loganalyse. Hij legde uit dat een ontwikkelaar Kiro of Claude Code gebruikte om met loggegevens te werken. In het object-only geval zouden ze de agent moeten vertellen waar de logbestanden zich bevinden en deze moeten gaan downloaden. Terwijl als de logs onmiddellijk op het lokale bestandssysteem kunnen worden gemonteerd, de ontwikkelaar eenvoudigweg kan vaststellen dat de logs zich op een specifiek pad bevinden, en de agent onmiddellijk toegang heeft om ze te doorlopen.
Bij pijplijnen met meerdere agenten kunnen meerdere agenten tegelijkertijd toegang krijgen tot dezelfde gekoppelde bucket. AWS zegt dat duizenden computerbronnen tegelijkertijd verbinding kunnen maken met een enkel S3-bestandssysteem, waarbij de totale leesdoorvoer meerdere terabytes per seconde bereikt – cijfers die VentureBeat niet onafhankelijk kon verifiëren.
De gedeelde status tussen agenten werkt via standaard bestandssysteemconventies: submappen, notitiebestanden en gedeelde projectmappen die elke agent in de pijplijn kan lezen en schrijven. Warfield beschreef dat de technische teams van AWS dit patroon intern gebruikten, waarbij agenten onderzoeksnotities en taaksamenvattingen in gedeelde projectdirectory’s registreerden.
Voor teams die RAG-pijplijnen bouwen bovenop gedeelde agentinhoud, S3-vectoren – gelanceerd op AWS re:Invent in december 2024 – lagen erbovenop voor het zoeken naar overeenkomsten en het genereren van ophaalmogelijkheden op basis van diezelfde gegevens.
Wat analisten zeggen: dit is niet alleen een betere FUSE
AWS positioneert S3-bestanden tegen op FUSE gebaseerde bestandstoegang vanuit Azure Blob NFS en Google Cloud Storage FUSE. Voor AI-workloads is het betekenisvolle onderscheid niet in de eerste plaats de prestaties.
“S3 Files elimineert de gegevenswisseling tussen object- en bestandsopslag, waardoor S3 een gedeelde werkruimte met lage latentie wordt, zonder gegevens te kopiëren”, vertelde Jeff Vogel, analist bij Gartner, aan VentureBeat. “Het bestandssysteem wordt een weergave, niet een andere dataset.”
Met op FUSE gebaseerde benaderingen behoudt elke agent zijn eigen lokale weergave van de gegevens. Wanneer meerdere agenten tegelijkertijd werken, kunnen deze weergaven mogelijk niet meer synchroon lopen.
“Het elimineert een hele klasse van faalmodi, inclusief onverklaarbare trainings-/inferentiefouten veroorzaakt door verouderde metadata, die notoir moeilijk te debuggen zijn”, aldus Vogel. “Op FUSE gebaseerde oplossingen externaliseren complexiteit en problemen naar de gebruiker.”
De implicaties op agentniveau gaan nog verder. Het architecturale argument doet er minder toe dan wat het in de praktijk ontsluit.
“Voor agentische AI, die denkt in termen van bestanden, paden en lokale scripts, is dit de ontbrekende schakel”, vertelde Dave McCarthy, analist bij IDC, aan VentureBeat. “Het stelt een AI-agent in staat een bucket op exabyte-schaal te behandelen als zijn eigen lokale harde schijf, waardoor een niveau van autonome operationele snelheid mogelijk wordt gemaakt dat voorheen werd gebotteld door API-overhead geassocieerd met benaderingen als FUSE.”
Naast de workflow van agenten ziet McCarthy S3 Files als een breder keerpunt voor de manier waarop bedrijven hun gegevens gebruiken.
“De lancering van S3 Files is niet alleen S3 met een nieuwe interface; het is het wegnemen van het laatste wrijvingspunt tussen enorme datameren en autonome AI”, zei hij. “Door de toegang tot bestanden en objecten te convergeren met S3, openen ze de deur naar meer gebruiksscenario’s met minder herbewerking.”
Wat dit betekent voor bedrijven
Voor bedrijfsteams die naast S3 een apart bestandssysteem onderhouden ter ondersteuning van op bestanden gebaseerde applicaties of agentworkloads, is die architectuur nu niet meer nodig.
Voor bedrijfsteams die de AI-infrastructuur op S3 consolideren, is de praktische verschuiving concreet: S3 is niet langer de bestemming voor de output van agenten, maar wordt de omgeving waar het werk van agenten plaatsvindt.
“Al deze API-wijzigingen die je bij de opslagteams ziet, komen voort uit werk uit de eerste hand en klantervaring met het gebruik van agenten om met gegevens te werken”, aldus Warfield. “We zijn er echt op gericht om eventuele wrijving weg te nemen en die interacties zo goed mogelijk te laten verlopen.”
