De Allen Instituut voor AI (Ai2) hoopt met de nieuwste release te profiteren van de toegenomen vraag naar op maat gemaakte modellen en bedrijven die op zoek zijn naar meer transparantie van AI-modellen.
Ai2 heeft de nieuwste toevoeging aan zijn Olmo-familie van grote taalmodellen beschikbaar gemaakt voor organisaties, waarbij de nadruk bleef liggen op openheid en maatwerk.
Olmo 3 heeft een langer contextvenster, meer redeneersporen en is beter in coderen dan de vorige iteratie. Deze nieuwste versie is, net als de andere Olmo-releases, open source onder de Apache 2.0-licentie. Bedrijven krijgen volledige transparantie en controle over de trainingsgegevens en controlepunten.
Ai2 zal drie versies van Olmo 3 uitbrengen:
-
Olmo 3- Denk in zowel 7B als 32B worden beschouwd als de belangrijkste redeneermodellen voor geavanceerd onderzoek
-
Olmo 3- Base ook in beide parameters, wat ideaal is voor programmeren, begrip, wiskunde en redeneren in lange contexten. Ai2 zei dat deze versie “ideaal is voor voortgezette pre-training of verfijning
-
Olmo 3-Instruct in 7B dat is geoptimaliseerd voor het volgen van instructies, dialoog met meerdere beurten en gereedschapsgebruik
Het bedrijf zei dat Olmo 3-Think het “eerste volledig open 32B-denkmodel ooit is dat expliciete inhoud in redeneerketen-stijl genereert.” Olmo-3 Think heeft ook een lang contextvenster van 65.000 tokens, perfect voor langerlopende agentische projecten of het redeneren over langere documenten.
Noah Smith, senior directeur NLP-onderzoek van Ai2, vertelde VentureBeat in een interview dat veel van zijn klanten, van gereguleerde ondernemingen tot onderzoeksinstellingen, modellen willen gebruiken die hen zekerheid geven over wat er in de training is gestopt.
“De releases van onze vrienden in de technische wereld zijn erg cool en superspannend, maar er zijn veel mensen voor wie de gegevensprivacy controle heeft over wat er in het model gaat, hoe de modellen worden getraind en andere beperkingen over hoe het model als front of mind kan worden gebruikt”, aldus Smith.
Ontwikkelaars hebben toegang tot de modellen op Hugging Face en de Ai2 Playground.
Transparantie en maatwerk
Smith zei modellen als Olmo 3, waarvan het bedrijf gelooft dat elke organisatie die zijn modellen gebruikt, controle moet hebben over en moet kneden op de manier die voor hen het beste werkt.
“Wij geloven niet in one-size-fits-all oplossingen”, aldus Smith. In de wereld van machinaal leren is het bekend dat als je probeert een model te bouwen dat alle problemen oplost, dit uiteindelijk niet echt het beste model voor welk probleem dan ook is. Daar zijn geen formele bewijzen voor, maar het is iets dat oldtimers zoals ik wel eens hebben waargenomen.”
Hij voegde eraan toe dat modellen met de mogelijkheid om zich te specialiseren “misschien niet zo flitsend zijn als het behalen van hoge scores op wiskunde-examens”, maar meer flexibiliteit bieden voor bedrijven.
Met Olmo 3 kunnen bedrijven het model in wezen opnieuw trainen door de datamix waarvan ze leren toe te voegen. Het idee is dat bedrijven hun eigen bronnen kunnen inzetten om het model te begeleiden bij het beantwoorden van specifieke bedrijfsvragen. Om bedrijven tijdens dit proces te helpen, heeft Ai2 controlepunten uit elke belangrijke trainingsfase toegevoegd.
De vraag naar modelaanpassing is gegroeid omdat bedrijven die hun eigen LLM’s niet kunnen bouwen, bedrijfsspecifieke of branchegerichte modellen willen creëren. Startups vinden het leuk Arcee hebben begonnen met aanbieden ondernemingsgerichte, aanpasbare kleine modellen.
Modellen als Olmo 3 geven bedrijven volgens Smith ook meer vertrouwen in de technologie. Omdat Olmo 3 de trainingsgegevens levert, zegt Smith dat bedrijven erop kunnen vertrouwen dat het model niets heeft opgenomen wat het niet zou moeten hebben.
Ai2 heeft altijd beweerd zich in te zetten voor meer transparantie, en heeft zelfs een tool gelanceerd genaamd OlmoTrace in april waarmee de uitvoer van een model rechtstreeks kan worden herleid tot de oorspronkelijke trainingsgegevens. Het bedrijf brengt open source-modellen uit en plaatst de code in repository’s zoals GitHub, zodat iedereen deze kan gebruiken.
Concurrenten als Google en OpenAI hebben dat wel gedaan kreeg kritiek van ontwikkelaars over bewegingen die ruwe redeneerfiches verborgen hielden en ervoor kozen om de redenering samen te vatten, bewerend dat ze nu hun toevlucht nemen tot “blind debuggen” zonder transparantie.
Ai2 heeft Olmo 3 vooraf getraind op de OpenAI-dataset met zes biljoen token, Dolma 3. De dataset omvat webdata, wetenschappelijke literatuur en code. Smith zei dat ze Olmo 3 hebben geoptimaliseerd voor code, vergeleken met de focus op wiskunde voor Olmo 2.
Hoe het zich opstapelt
Ai2 beweert dat de Olmo 3-modellenfamilie een aanzienlijke sprong voorwaarts betekent voor echt open-sourcemodellen, althans voor open-source LLM’s die buiten China zijn ontwikkeld. Het basismodel van Olmo 3 trainde “met ruwweg 2,5x grotere rekenefficiëntie, gemeten aan de hand van GPU-uren per token”, wat betekent dat het tijdens de pre-training minder energie verbruikte en minder kostte.
Het bedrijf zei dat de Olmo 3-modellen beter presteerden dan andere open modellen, zoals Marin van Stanford, LLM360’s K2 en Apertus, hoewel Ai2 geen cijfers verstrekte voor de benchmarktests.
“Merk op dat Olmo 3-Think (32B) het sterkste volledig open redeneermodel is, waardoor de kloof met de beste open-weight-modellen van vergelijkbare schaal wordt verkleind, zoals de Qwen 3-32B-Thinking-serie modellen in onze reeks redeneerbenchmarks, en dat allemaal terwijl ze zijn getraind op 6x minder tokens”, aldus Ai2 in een persbericht.
Het bedrijf voegde eraan toe dat Olmo 3-Instruct beter presteerde dan Qwen 2.5, Gemma 3 en Llama 3.1.
