Bedrijven begrijpen inmiddels dat Retrieval Augmented Generation (RAG) applicaties en agenten in staat stelt de beste, meest gefundeerde informatie voor vragen te vinden. Typische RAG-opstellingen kunnen echter een technische uitdaging vormen vertonen ook ongewenste eigenschappen.
Om dit te helpen oplossen, Googlen heeft de File Search Tool uitgebracht op de Gemini API, een volledig beheerd RAG-systeem “dat abstracteert weg de ophaalpijplijn.” Met File Search wordt een groot deel van het verzamelen van tools en applicaties verwijderd die betrokken zijn bij het opzetten van RAG-pipelines, zodat technici geen zaken als opslagoplossingen en het inbedden van makers aan elkaar hoeven te plakken.
Deze tool concurreert rechtstreeks met zakelijke RAG-producten van OpenAI, AWS En Microsoftdie ook tot doel hebben de RAG-architectuur te vereenvoudigen. Google beweert echter dat zijn aanbod minder orkestratie vereist en meer op zichzelf staat.
“File Search biedt een eenvoudige, geïntegreerde en schaalbare manier om Gemini te baseren op uw gegevens, waardoor antwoorden worden geleverd die nauwkeuriger, relevanter en verifieerbaarder zijn”, aldus Google in een blogpost.
Bedrijven hebben tijdens het zoeken gratis toegang tot bepaalde functies van Bestanden zoeken, zoals het genereren van opslag en het insluiten van bestanden. Gebruikers zullen beginnen te betalen voor insluitingen wanneer deze bestanden worden geïndexeerd tegen een vast tarief van $ 0,15 per 1 miljoen tokens.
Het Gemini Embedding-model van Google, dat uiteindelijk het top inbeddingsmodel op de Massive Text Embedding Benchmark, maakt het zoeken naar bestanden mogelijk.
Bestanden zoeken en geïntegreerde ervaringen
Google zei dat File Search werkt “door de complexiteit van RAG voor u af te handelen.”
File Search beheert bestandsopslag, chunkingstrategieën en insluitingen. Ontwikkelaars kunnen File Search aanroepen binnen de bestaande generatorContent API, wat volgens Google de tool gemakkelijker te gebruiken maakt.
File Search maakt gebruik van vectorzoekopdrachten om “de betekenis en context van de zoekopdracht van een gebruiker te begrijpen.” Idealiter zal het de relevante informatie vinden om een vraag uit documenten te beantwoorden, zelfs als de prompt onjuiste woorden bevat.
De functie heeft ingebouwde citaten die verwijzen naar de specifieke delen van een document die zijn gebruikt om antwoorden te genereren, en ondersteunt ook verschillende bestandsindelingen. Deze omvatten PDF, Docx, txt, JSON en “veel gangbare bestandstypen in programmeertalen”, zegt Google.
Continue RAG-experimenten
Bedrijven zijn misschien al begonnen met het uitbouwen van een RAG-pijplijn terwijl ze de basis leggen voor hun AI-agenten om daadwerkelijk de juiste gegevens te gebruiken en weloverwogen beslissingen te nemen.
Omdat RAG een belangrijk onderdeel vertegenwoordigt van de manier waarop bedrijven de nauwkeurigheid behouden en inzichten over hun bedrijf benutten, moeten organisaties snel inzicht krijgen in deze pijplijn. RAG kan technisch lastig zijn, omdat het ingewikkeld kan worden om meerdere tools samen te orkestreren.
Het bouwen van ‘traditionele’ RAG-pijplijnen betekent dat organisaties een programma voor het opnemen en parseren van bestanden moeten samenstellen en verfijnen, inclusief chunking, het genereren van inbedden en updates. Ze moeten dan een vectordatabase contracteren, zoals Dennenappelbepaal de ophaallogica ervan en plaats het allemaal binnen het contextvenster van een model. Daarnaast kunnen zij, indien gewenst, bronvermeldingen toevoegen.
File Search heeft tot doel dat allemaal te stroomlijnen, hoewel concurrerende platforms vergelijkbare functies bieden. OpenAI’s Assistenten-API stelt ontwikkelaars in staat een bestandszoekfunctie te gebruiken, waarmee een agent naar relevante documenten wordt geleid voor antwoorden. Bedrock van AWS onthuld een beheerde service voor gegevensautomatisering in december.
Hoewel File Search op dezelfde manier werkt als deze andere platforms, abstraheert het aanbod van Google alle, in plaats van slechts enkele, elementen van de creatie van de RAG-pijplijn.
Phaser Studio, de maker van het AI-gestuurde gamegeneratieplatform Beam, zei in de blog van Google dat het File Search gebruikte om zijn bibliotheek van 3.000 bestanden te doorzoeken.
“Met Bestanden zoeken kunnen we direct het juiste materiaal boven water halen, of dat nu een codefragment is voor opsommingstekens, genresjablonen of architectonische richtlijnen uit ons Phaser-breincorpus”, aldus Phaser CTO Richard Davey. “Het resultaat is dat ideeën die ooit dagen nodig hadden om te prototypen, nu binnen enkele minuten speelbaar zijn.”
Sinds de aankondiging hebben verschillende gebruikers interesse getoond in het gebruik van de functie.
