Vectordatabases zijn aan het begin van het moderne AI-tijdperk uitgegroeid tot een onmisbare technologische basis.
Wat het afgelopen jaar echter is veranderd, is dat vectoren, de numerieke representaties van gegevens die door LLM’s worden gebruikt, steeds meer gewoon een ander gegevenstype zijn geworden in allerlei verschillende databases. Nu maakt Amazon Web Services (AWS) de volgende sprong voorwaarts in de alomtegenwoordigheid van vectoren met de algemene beschikbaarheid van Amazon S3 Vectors.
Amazon S3 is de AWS-cloudobjectopslagservice die veel wordt gebruikt door organisaties van elke omvang om alle soorten gegevens op te slaan. Vaker wel dan niet wordt S3 ook gebruikt als fundamenteel onderdeel voor data lake- en lakehouse-implementaties. Amazon S3 Vectors voegt nu native vectoropslag en zoekmogelijkheden voor gelijkenissen rechtstreeks toe aan S3-objectopslag. In plaats van een aparte vectordatabase nodig te hebben, kunnen organisaties vectorinsluitingen opslaan in S3 en deze bevragen voor semantische zoek-, retrieval-augmentedgeneration (RAG)-toepassingen en AI-agentworkflows zonder gegevens naar een gespecialiseerde infrastructuur te verplaatsen
De service werd voor het eerst bekeken in juli met een initiële capaciteit van 50 miljoen vectoren in één index. Met de GA-release heeft AWS dat dramatisch opgeschaald naar 2 miljard vectoren in één enkele index en tot 20 biljoen vectoren per S3-opslagbucket.
Volgens AWS hebben klanten in de vier maanden sinds de lancering van de preview meer dan 250.000 vectorindexen gemaakt en meer dan 40 miljard vectoren opgenomen. Dankzij de schaalvergroting met de lancering van GA kunnen organisaties nu volledige vectordatasets consolideren in afzonderlijke indexen in plaats van ze te fragmenteren over de infrastructuur. De GA-lancering schudt ook het bedrijfsdatalandschap wakker door een nieuwe, productieklare aanpak voor vectoren te bieden die mogelijk de markt voor speciaal gebouwde vectordatabases zou kunnen ontwrichten.
Brandstof toevoegen aan de concurrentiebranden, AWS beweringen dat de S3 Vector-service organisaties kan helpen “de totale kosten voor het opslaan en opvragen van vectoren met maximaal 90% te verlagen in vergelijking met gespecialiseerde vectordatabaseoplossingen.”
AWS positioneert S3 Vectors als complementair en niet concurrerend met vectordatabases
Hoewel Amazon S3-vectoren een krachtige reeks vectormogelijkheden bieden, is het antwoord op de vraag of deze de behoefte aan een speciale vectordatabase al dan niet vervangt enigszins genuanceerd – en hangt af van wie je het vraagt.
Ondanks de agressieve kostenclaims en dramatische schaalverbeteringen positioneert AWS S3 Vectors als een aanvullende opslaglaag in plaats van als een directe vervanging voor gespecialiseerde vectordatabases.
“Klanten kiezen of ze S3 Vectors of een vectordatabase gebruiken op basis van wat de applicatie nodig heeft voor latentie”, vertelde Mai-Lan Tomsen Bukovec, VP technologie bij AWS, aan VentureBeat.
Bukovec merkte op dat je dit onder meer kunt zien als ‘performance tiering’, gebaseerd op de applicatiebehoeften van een organisatie. Ze merkte op dat als de applicatie supersnelle responstijden met lage latentie vereist, een vectordatabase zoals Amazon OpenSearch een goede optie is.
“Maar voor veel soorten bewerkingen, zoals het creëren van een semantische laag van begrip op uw bestaande gegevens of het uitbreiden van het geheugen van agenten met veel meer context, is S3 Vectors uitstekend geschikt.”
De vraag of S3 en zijn goedkope objectopslag in de cloud een databasetype zullen vervangen, is ook niet nieuw voor dataprofessionals. Bukovec trok een analogie met de manier waarop bedrijven tegenwoordig datameren gebruiken.
“Ik verwacht dat we vectoropslag op dezelfde manier zullen zien evolueren als tabelgegevens in datalakes, waar klanten transactionele databases zoals Amazon Aurora blijven gebruiken voor bepaalde soorten werklasten en parallel S3 gebruiken voor applicatieopslag en -analyse, omdat het prestatieprofiel werkt en ze de S3-kenmerken van duurzaamheid, schaalbaarheid, beschikbaarheid en kostenbesparingen nodig hebben vanwege de datagroei.”
Hoe de vraag en eisen van klanten de Amazon S3 Vector-services vormden
Tijdens de eerste paar maanden van de preview leerde AWS wat echte zakelijke klanten echt willen en nodig hebben van een vectorgegevensopslag.
“We hadden veel zeer positieve feedback van de preview en klanten vertelden ons dat ze de mogelijkheden wilden, maar op een veel grotere schaal en met een lagere latentie, zodat ze S3 konden gebruiken als primaire vectoropslag voor een groot deel van hun snel groeiende vectoropslag”, aldus Bukovec.
Naast de verbeterde schaal is de latentie van zoekopdrachten verbeterd tot ongeveer 100 milliseconden of minder voor frequente zoekopdrachten, waarbij niet-frequente zoekopdrachten in minder dan één seconde worden voltooid. AWS verhoogde het maximale aantal zoekresultaten per zoekopdracht van 30 naar 100, en de schrijfprestaties ondersteunen nu tot 1.000 PUT-transacties per seconde voor updates met één vector.
Gebruiksscenario’s die steeds meer terrein winnen, zijn onder meer hybride zoeken, geheugenuitbreiding van agenten en het creëren van semantische lagen over bestaande gegevens.
Bukovec merkte op dat een preview-klant, March Networks, S3 Vectors gebruikt voor grootschalige video- en foto-intelligentie.
“De economische aspecten van vectoropslag en het latentieprofiel betekenen dat March Networks miljarden vectorinbeddingen economisch kan opslaan”, zei ze. “Onze ingebouwde integratie met Amazon Bedrock betekent dat het eenvoudig is om vectoropslag te integreren in generatieve AI- en videoworkflows.”
Verkopers van vectordatabases benadrukken prestatieverschillen
Gespecialiseerde aanbieders van vectordatabases benadrukken aanzienlijke prestatieverschillen tussen hun aanbod en de opslaggerichte aanpak van AWS.
Speciaal gebouwde vectordatabaseproviders, inclusief DennenappelOnder andere Weaviate, Qdrant en Chroma hebben productie-implementaties opgezet met geavanceerde indexeringsalgoritmen, realtime updates en speciaal gebouwde query-optimalisatie voor latentiegevoelige workloads.
Pinecone ziet Amazon S3 Vectors bijvoorbeeld niet als een competitieve uitdaging voor zijn vectordatabase.
“Voordat Amazon S3 Vectors voor het eerst werd gelanceerd, werden we feitelijk op de hoogte gebracht van het project en beschouwden we de kosten-prestatie niet als direct concurrerend op grote schaal”, vertelde Jeff Zhu, VP Product bij Pinecone, aan VentureBeat. “Dit geldt vooral nu voor onze Dedicated Read Nodes, waar bijvoorbeeld een grote e-commerce marktplaatsklant van ons onlangs een aanbevolen gebruiksscenario heeft gebenchmarkt met 1,4 miljard vectoren en 5,7k QPS heeft bereikt bij 26 ms p50 en 60 ms p99.”
Analisten zijn verdeeld over de toekomst van vectordatabases
De lancering doet het debat herleven over de vraag of vectorsearch een op zichzelf staande productcategorie blijft of een functie wordt die grote cloudplatforms commoditiseren via opslagintegratie.
“Het is al een tijdje duidelijk dat vector een kenmerk is, en geen product”, schreef Corey Quinn, hoofdwolkeneconoom bij The Duckbill Group, in een bericht op X (voorheen Twitter) als antwoord op een vraag van VentureBeat. ‘Alles spreekt het nu; de rest zal het binnenkort doen.’
Constellation Research-analist Holger Mueller ziet Amazon S3 Vectors ook als een concurrentiebedreiging voor onafhankelijke vectordatabaseverkopers.
“Het is nu terug aan de vectorleveranciers om ervoor te zorgen dat ze voorop lopen en beter worden”, vertelde Mueller aan VentureBeat. “Suites winnen altijd in bedrijfssoftware.”
Mueller benadrukte ook het voordeel van de aanpak van AWS voor het elimineren van gegevensbewegingen. Hij merkte op dat vectoren het middel zijn om LLM’s bedrijfsgegevens te laten begrijpen. De echte uitdaging is het creëren van vectoren, wat inhoudt hoe gegevens worden verplaatst en hoe vaak. Door vectorondersteuning toe te voegen aan S3, waar al grote hoeveelheden bedrijfsgegevens zijn opgeslagen, kan het probleem van gegevensverplaatsing worden opgelost.
“CxO’s houden van deze aanpak, omdat er geen gegevensverplaatsing nodig is om de vectoren te maken”, aldus Mueller.
Gartner-onderscheiden VP-analist Ed Anderson ziet groei voor AWS met de nieuwe diensten, maar verwacht niet dat dit het einde zal betekenen van vectordatabases. Hij merkte op dat organisaties die S3 gebruiken voor objectopslag hun gebruik van S3 kunnen vergroten en mogelijk de behoefte aan speciale leveranciersdatabases kunnen elimineren. Dit zal de waarde voor S3-klanten vergroten en tegelijkertijd hun afhankelijkheid van S3-opslag vergroten.
Zelfs met dat groeipotentieel voor AWS zijn vectordatabases nog steeds noodzakelijk, althans voorlopig.
“Amazon S3 Vectors zullen waardevol zijn voor klanten, maar zullen de behoefte aan vectordatabases niet wegnemen, vooral wanneer gebruiksscenario’s vragen om datadiensten met lage latentie en hoge prestaties”, vertelde Anderson aan VentureBeat.
AWS zelf lijkt deze complementaire visie te omarmen en tegelijkertijd voortdurende prestatieverbeteringen te signaleren.
“We zijn nog maar net begonnen met zowel de schaal als de prestaties voor S3 Vectors”, aldus Bukovec. “Net zoals we de prestaties van het lezen en schrijven van gegevens in S3 hebben verbeterd voor alles, van video tot Parquet-bestanden, zullen we hetzelfde doen voor vectoren.”
Wat dit betekent voor bedrijven
Naast het debat over de vraag of vectordatabases als zelfstandige producten kunnen overleven, worden ondernemingsarchitecten geconfronteerd met onmiddellijke beslissingen over de manier waarop ze vectoropslag moeten inzetten voor productie-AI-workloads.
Het performance tiering-framework biedt een duidelijker beslissingspad voor ondernemingsarchitecten die opties voor vectoropslag evalueren.
S3 Vectors werkt voor workloads die een latentie van 100 ms tolereren: semantisch zoeken in grote documentcollecties, agentgeheugensystemen, batchanalyses van vectorinbedding en het ophalen van RAG-context op de achtergrond. De economische aspecten worden op grote schaal aantrekkelijk voor organisaties die al in AWS-infrastructuur hebben geïnvesteerd.
Gespecialiseerde vectordatabases blijven nodig voor latentiegevoelige gebruiksscenario’s: real-time aanbevelingsengines, zoeken met hoge doorvoer die duizenden gelijktijdige zoekopdrachten bedienen, interactieve toepassingen waarbij gebruikers synchroon wachten op resultaten en werklasten waarbij prestatieconsistentie de kosten overtreft.
Voor organisaties die beide soorten workloads uitvoeren, weerspiegelt een hybride aanpak de manier waarop bedrijven al datalakes gebruiken, waarbij gespecialiseerde vectordatabases worden ingezet voor prestatiekritieke queries, terwijl S3 Vectors worden gebruikt voor grootschalige opslag en minder tijdgevoelige bewerkingen.
De belangrijkste vraag is niet of de bestaande infrastructuur moet worden vervangen, maar hoe vectoropslag over prestatieniveaus heen moet worden ontworpen op basis van de werklastvereisten.
