Elke vraag die een AI-applicatie voor ondernemingen verwerkt, elke correctie die een expert in de output aanbrengt: die interactie bestaat uit trainingsgegevens. De meeste organisaties zijn er niet mee bezig. De productieworkflows die bedrijven al hebben gebouwd, genereren een continu signaal dat AI-modellen verbetert, en dit signaal is aan het verdwijnen.
Het in San Francisco gevestigde Empromptu AI heeft donderdag Alchemy Models gelanceerd met een helder uitgangspunt: de AI-toepassingen die bedrijven al bouwen genereren trainingsgegevens, en het grootste deel ervan gaat verloren. Het platform vangt dat signaal automatisch op en stuurt gevalideerde resultaten van vakexperts terug naar een pijplijn voor fijnafstemming die het model in de loop van de tijd verbetert. Bedrijven zijn volledig eigenaar van de resulterende gewichten.
Het bevindt zich op een ander terrein dan zowel RAG als traditionele verfijning. RAG haalt externe context op tijdens de inferentietijd zonder de modelgewichten te wijzigen. Traditionele fijnafstemming verandert de gewichten, maar vereist afzonderlijk samengestelde gelabelde datasets en een speciale ML-pijplijn. Dat laatste doet Alchemy continu, waarbij de bedrijfsapplicatie zelf als gegevensbron wordt gebruikt.
Bedrijven die basismodel-API’s adopteren, worden geconfronteerd met drie samengestelde beperkingen: gevolgtrekkingskosten die opschalen met het gebruik, geen eigendom van de modellen die hun gegevens effectief trainen, en een beperkte mogelijkheid om gedrag aan te passen voor domeinspecifieke taken. Empromptu-CEO Shanea Leven zegt dat deze beperkingen algemeen worden gevoeld, maar zelden worden aangepakt.
“Elke klant, iedereen met wie ik praat, vraagt zich af: hoe zorg ik ervoor dat ik niet verstoord word? Hoe ga ik mijn bedrijf beschermen? En ze zien het pad gewoon niet”, vertelde Leven aan VentureBeat in een exclusief interview.
Hoe Alchemy een model bouwt vanuit een actieve applicatie
De meeste trainingsbenaderingen voor aangepaste modellen vereisen dat bedrijven gegevens afzonderlijk verzamelen, opschonen en labelen voordat er met de verfijning kan worden begonnen. Alchemy slaat een andere weg in: de bedrijfsapplicatie genereert en ruimt zelf de trainingsgegevens op.
Het mechanisme loopt via Empromptu’s Gouden datapijplijnen infrastructuur in twee fasen. Voordat een app wordt gebouwd, worden bedrijfsgegevens opgeschoond, geëxtraheerd en verrijkt, zodat de applicatie begint met gestructureerde invoer. Als het eenmaal draait, gaat elke output die het genereert terug door de pijplijn, waar materiedeskundigen binnen de organisatie het beoordelen en corrigeren. Die gevalideerde uitvoer wordt de trainingsgegevens voor de volgende verfijningsrun.
“De app, de AI-applicatie die klanten al maken, ruimt de data op”, aldus Leven.
De resulterende verfijnde modellen zijn wat Empromptu Expert Nano Models noemt: kleine, taakspecifieke modellen die zijn geoptimaliseerd voor een bepaalde workflow in plaats van voor algemene doeleinden. Evaluaties, vangrails en nalevingscontroles lopen binnen dezelfde pijplijn, zodat het bestuur met het trainingsproces meebeweegt. Klanten zijn volledig eigenaar van de modelgewichten. Empromptu host en voert gevolgtrekkingen uit op zijn infrastructuur, maar de gewichten zijn tegen betaling draagbaar en exporteerbaar. Het platform is model-agnostisch en ondersteunt Llama, Qwen en andere basismodellen.
De harde beperking is het datavolume. Vroege implementaties draaien op het basismodel, terwijl de applicatie voldoende productiegegevens verzamelt om een nuttige afstemmingsrun te activeren. Leven erkende de tijdlijn zonder er een suikerlaagje over te geven. “Het trainen van het model zal gewoon tijd kosten”, zei ze.
Alchemie verschilt van het beheerd afstemmen op wie het werk doet
De verfijnde API van OpenAI en de aangepaste modellen van AWS Bedrock bieden beide fijnafstemming voor ondernemingen. Beide vereisen dat organisaties afzonderlijk voorbereide trainingsdatasets meebrengen en het verfijningsproces buiten hun applicatiestack beheren. De last van databeheer en modelevaluatie ligt bij het ML-team van de klant.
De differentiatie van Alchemie is procesintegratie. De trainingsgegevens worden door de bedrijfsapplicatie zelf gegenereerd, dus er is geen afzonderlijke stap voor gegevensvoorbereiding en er is geen ML-expertise vereist. De applicatieworkflow is de pijplijn.
“Moet ik Bedrock hebben en een ander ML-team opzetten om uit te zoeken hoe ik een model kan verfijnen en de hele infrastructuur kan uitzoeken? Nee, iedereen kan het nu doen”, zei Leven.
De afweging is platformafhankelijkheid. Alchemy werkt alleen binnen de Empromptu-omgeving. Bedrijven die hetzelfde resultaat willen op de bestaande infrastructuur, zouden de pijplijn voor het vastleggen, valideren en verfijnen van gegevens zelf moeten repliceren.
Een bedrijf op het gebied van gedragsgezondheid heeft de documentatietijd van sessies met maar liefst 87% verkort met behulp van Alchemy
Empromptu richt zich eerst op gereguleerde en data-intensieve branches: gezondheidszorg, financiële dienstverlening, juridische technologie, detailhandel en omzetprognoses. Dit zijn sectoren waar de output van modellen voor algemene doeleinden het grootste risico op mismatch met zich meebrengt en waar bedrijfseigen workflowgegevens het meest geconcentreerd zijn.
Een van de eerste gebruikers is het gedragsgezondheidsbedrijf Ascent Autism, dat Alchemy gebruikt om sessiedocumentatie en oudercommunicatie te automatiseren.
Facilitators gebruiken opnames van leerlingsessies, transcripties, sessienotities en gedragsstatistieken om gestructureerde aantekeningen en gepersonaliseerde updates voor ouders te genereren. Voor die workflow was voorheen één tot twee uur schrijven per sessie nodig. Met Alchemy-training op dezelfde gegevens duurt het nu 10 tot 15 minuten.
“Alleen vertrouwen op API-gebaseerde modellen kan snel duur worden”, vertelde Faraz Fadavi, mede-oprichter en CTO van Ascent Autism, aan VentureBeat. “Alchemie gaf ons een manier om de workflow te structureren, modellen op basis van onze eigen gegevens te trainen en de kosten te verlagen en tegelijkertijd de uitvoerkwaliteit in de loop van de tijd te verbeteren.”
Fadavi zei dat het bedrijf snel bruikbare resultaten zag, met voortdurende verbetering naarmate het systeem verfijnde. De evaluatiecriteria gingen verder dan nauwkeurigheid en omvatten traceerbaarheid naar sessiegegevens en outputconsistentie met de klinische stem van het bedrijf. “We wilden een systeem dat onze workflow kon leren en resultaten kon produceren die overeenkwamen met hoe we feitelijk werken – en niet alleen maar tekst samenvatten”, zei hij. De praktijktest: hoeveel facilitators moeten redigeren, of de output overeenkomt met hun stem en of het de bestede tijd zinvol vermindert. Facilitators zijn overgestapt van het herschrijven van gegenereerde notities naar het bewerken en controleren van de kwaliteit ervan.
Wat dit betekent voor bedrijven
Het datavliegwiel is echt, maar dat geldt ook voor de platformlock-in:
Elke workflow is een trainingsmogelijkheid. Bedrijven die de output van hun productie-AI-applicaties vastleggen en valideren, zullen dat voordeel in de loop van de tijd vergroten. Meer gebruik genereert meer trainingssignalen, wat nauwkeurigere domeinspecifieke modellen oplevert, die betere resultaten genereren en in de volgende cyclus schonere trainingsgegevens opleveren.
Leven positioneert Alchemy als derde architectonische keuze. Bedrijven hebben de afgelopen twee jaar gekozen tussen RAG voor toegang tot domeinkennis en afstemming voor modelspecialisatie. Workflow-gedreven modeltraining is een derde optie, waarbij de voortdurende verbetering van de afstemming wordt gecombineerd met de operationele eenvoud van het bouwen binnen een beheerd platform.
“Het hebben van die datagracht is de meest waardevolle valuta”, zei Leven.
