Bij het bouwen van Retrieval-Augmented Generation (RAG)-systemen voor AI-agenten worden vaak meerdere lagen en technologieën gebruikt voor gestructureerde gegevens, vectoren en grafische informatie. De afgelopen maanden is het ook steeds duidelijker geworden dat agentische AI-systemen geheugen nodig hebben, ook wel contextueel geheugen genoemd, om effectief te kunnen functioneren.
De complexiteit en synchronisatie van het hebben van verschillende datalagen om context mogelijk te maken, kan leiden tot prestatie- en nauwkeurigheidsproblemen. Het is een uitdaging die SurrealDB wil oplossen.
SurrealDB heeft dinsdag versie 3.0 van zijn gelijknamige database gelanceerd, samen met een Series A-extensie van $23 miljoen, wat de totale financiering op $44 miljoen brengt. Het bedrijf had een andere architectonische benadering gekozen dan relationele databases zoals PostgreSQL, native vectordatabases zoals Pinecone of een grafische database zoals Neo4j. Het OpenAI-engineeringteam heeft onlangs gedetailleerd beschreven hoe het Postgres heeft opgeschaald naar 800 miljoen gebruikers het gebruik van leesreplica’s: een aanpak die werkt voor leesintensieve werklasten. SurrealDB hanteert een andere aanpak: sla agentgeheugen, bedrijfslogica en multimodale gegevens rechtstreeks in de database op. In plaats van te synchroniseren tussen meerdere systemen, worden vectorzoekopdrachten, grafiekdoorloop en relationele zoekopdrachten allemaal transactioneel uitgevoerd in één Rust-native engine die consistentie handhaaft.
“Mensen gebruiken DuckDB, Postgres, Snowflake, Neo4j, Quadrant of Pinecone allemaal samen, en dan vragen ze zich af waarom ze geen goede nauwkeurigheid in hun agenten kunnen krijgen”, vertelde CEO en mede-oprichter Tobie Morgan Hitchcock aan VentureBeat. “Het komt omdat ze vijf verschillende vragen naar vijf verschillende databases moeten sturen die alleen de kennis of de context hebben waarmee ze te maken hebben.”
De architectuur heeft weerklank gevonden bij ontwikkelaars, met tot nu toe 2,3 miljoen downloads en 31.000 GitHub-sterren voor de database. Bestaande implementaties omvatten volgens Hitchcock edge-apparaten in auto’s en verdedigingssystemen, productaanbevelingsmotoren voor grote New Yorkse retailers en Android-advertentietechnologieën.
Agentisch AI-geheugen ingebakken in de database
SurrealDB slaat agentgeheugen op als grafiekrelaties en semantische metagegevens rechtstreeks in de database, niet in applicatiecode of externe caching-lagen.
Met het plug-insysteem Surrealism in SurrealDB 3.0 kunnen ontwikkelaars definiëren hoe agenten dit geheugen bouwen en opvragen; de logica draait binnen de database met transactionele garanties in plaats van in middleware.
Dit is wat dat in de praktijk betekent: wanneer een agent interactie heeft met gegevens, creëert hij contextgrafieken die entiteiten, beslissingen en domeinkennis als databaserecords met elkaar verbinden. Deze relaties kunnen worden opgevraagd via dezelfde SurrealQL-interface die wordt gebruikt voor het zoeken naar vectoren en gestructureerde gegevens. Een agent die naar een klantprobleem vraagt, kan grafiekverbindingen met gerelateerde incidenten uit het verleden doorkruisen, vectorinsluitingen van soortgelijke cases ophalen en zich voegen bij gestructureerde klantgegevens – alles in één transactionele zoekopdracht.
“Mensen willen niet meer alleen de nieuwste gegevens opslaan”, zegt Hitchcock. “Ze willen al die data opslaan. Ze willen alle data van een organisatie van de afgelopen twee jaar analyseren en door de AI laten begrijpen en doornemen, omdat dat hun model, hun AI-agent, informeert over de context, over de geschiedenis, en dat kan daardoor betere resultaten opleveren.”
Hoe de architectuur van SurrealDB verschilt van traditionele RAG-stacks
Traditionele RAG-systemen bevragen databases op basis van gegevenstypen. Ontwikkelaars schrijven afzonderlijke query’s voor het zoeken naar vectorovereenkomsten, het doorlopen van grafieken en relationele joins, en voegen vervolgens de resultaten samen in applicatiecode. Dit zorgt voor synchronisatievertragingen als query’s heen en weer gaan tussen systemen.
Hitchcock legde daarentegen uit dat SurrealDB gegevens opslaat als binair gecodeerde documenten met grafiekrelaties er direct naast ingebed. Eén enkele zoekopdracht via SurrealQL kan grafiekrelaties doorkruisen, vectorgelijkenisonderzoeken uitvoeren en gestructureerde records samenvoegen zonder de database te verlaten.
Die architectuur heeft ook invloed op de manier waarop consistentie op schaal werkt: elk knooppunt handhaaft transactionele consistentie, zelfs op een schaal van meer dan 50 knooppunten, aldus Hitchcock. Wanneer een agent nieuwe context naar knooppunt A schrijft, ziet een query op knooppunt B die update onmiddellijk. Geen caching, geen leesreplica’s.
“Veel van onze gebruiksscenario’s en veel van onze implementaties vinden plaats waarbij gegevens voortdurend worden bijgewerkt en de relaties, de context, het semantische begrip of de grafische verbindingen tussen die gegevens voortdurend moeten worden vernieuwd”, zei hij. “Dus geen caching. Er zijn geen leesreplica’s. In SurrealDB is alles transactioneel.”
Wat dit betekent voor enterprise-IT
“Het is belangrijk om te zeggen dat SurrealDB niet de beste database is voor elke taak. Ik zou graag willen zeggen dat dat zo is, maar dat is het niet. En dat kan niet zo zijn”, zei Hitchcock. “Als je alleen analyses van petabytes aan gegevens nodig hebt en je die gegevens nooit echt bijwerkt, dan kun je het beste kiezen voor objectopslag of een kolomvormige database. Als je alleen maar met vectoronderzoek te maken hebt, dan kun je gaan met een vectordatabase zoals Quadrant of Pinecone, en dat zal voldoende zijn.”
Het keerpunt komt wanneer u meerdere gegevenstypen samen nodig heeft. Het praktische voordeel komt tot uiting in de ontwikkelingstijdlijnen. Wat voorheen maanden kostte om te bouwen met multi-database-orkestratie, kan nu binnen enkele dagen worden gelanceerd, zei Hitchcock.
