In San Francisco gevestigd ai-lab Arcee gemaakt golven vorig jaar omdat het een van de weinige Amerikaanse bedrijven is die grote taalmodellen (LLM’s) helemaal opnieuw traint vrijgeven onder open of gedeeltelijk open source-licenties voor het publiek, waardoor ontwikkelaars, solo-ondernemers en zelfs middelgrote tot grote ondernemingen de krachtige AI-modellen gratis kunnen gebruiken en naar wens kunnen aanpassen.
Nu is Arcee deze week weer terug met de release van zijn grootste, meest performante open taalmodel tot nu toe: Drievuldigheid Grooteen mix van experts (MoE) met 400 miljard parameters, nu beschikbaar als preview,
Naast de vlaggenschiprelease verzendt Arcee een “ruw” checkpoint-model, Trinity-Large-TrueBasewaarmee onderzoekers kunnen bestuderen wat een schaars MoE van 400 miljard leert van alleen ruwe gegevens, voordat afstemming en versterking van instructies is toegepast.
Door een schone lei te bieden bij de grens van 10 biljoen token, stelt Arcee AI-bouwers in sterk gereguleerde industrieën in staat authentieke audits uit te voeren en hun eigen gespecialiseerde afstemmingen uit te voeren zonder de ‘black box’-vooroordelen of opmaakkenmerken van een algemeen chatmodel te erven. Deze transparantie maakt een dieper inzicht mogelijk in het onderscheid tussen het intrinsieke redeneervermogen van een model en het nuttige gedrag dat tijdens de laatste fase van de post-training wordt ingezet.
Deze lancering komt op het moment dat krachtige Chinese open-source LLM-alternatieven van onder meer Alibaba (Qwen), z.AI (Zhipu), DeepSeek, Moonshot en Baidu de markt hebben overspoeld en feitelijk de categorie leiden met hoogefficiënte architecturen.
Trinity Large komt ook nadat Meta zich met name heeft teruggetrokken uit het grensoverschrijdende open-sourcelandschap. Naar aanleiding van de April 2025 debuut van Llama 4die werd ontmoet een gemengde ontvangsten later voormalig Meta AI-onderzoeker Yann LeCun gaf toe dat het bedrijf meerdere gespecialiseerde versies van het model gebruikte om scores op benchmarks van derden op te blazen.
Te midden van dit binnenlandse vacuüm is alleen OpenAI met zijn gpt-oss-familie uitgebracht in de zomer van 2025 –en Arcee dragen momenteel de mantel van nieuwe, in de VS gemaakte open-sourcemodellen die volledig vanaf het begin zijn getraind.
Hoe schaars ze ook zijn
Trinity Large is opmerkelijk vanwege de extreme schaarsheid van zijn aandachtsmechanisme. Een MoE-architectuur, “sparsity”, verwijst naar het vermogen van het model om selectief slechts een klein deel van de totale parameters voor een bepaalde taak te activeren.
Terwijl Trinity Large in totaal 400 miljard parameters herbergt, is slechts 1,56% (13B-parameters) op een bepaald moment actief.
Deze architecturale keuze is belangrijk omdat het het model in staat stelt de “kennis” van een enorm systeem te bezitten, terwijl het de gevolgtrekkingssnelheid en operationele efficiëntie van een veel kleiner systeem behoudt – waardoor prestaties worden bereikt die ongeveer 2 à 3x sneller zijn dan zijn soortgenoten op dezelfde hardware.
Soevereiniteit en de “TrueBase” -filosofie
De belangrijkste bijdrage van deze release aan de onderzoeksgemeenschap is Trinity-Large-TrueBase, een onbewerkt controlepunt van 10 biljoen tokens.
In tegenstelling tot bijna elke andere “open” release, die verschijnt nadat hij is “vervormd” door het afstemmen van instructies en versterkend leren, biedt TrueBase een zeldzame, ongerepte kijk op fundamentele intelligentie.
In de haast om modellen nuttig te maken, passen de meeste laboratoria supervisie fine-tuning (SFT) en Reinforcement Learning from Human Feedback (RLHF) toe voordat de gewichten worden vrijgegeven. Hoewel dit het model tot een betere gesprekspartner maakt, kan het onderliggende kennisdistributies maskeren.
TrueBase biedt een “OG-basismodel” dat nog niet de leersnelheids-anneals of de fase twee en drie pre-training heeft ondergaan, waarbij doorgaans instructiegegevens worden geïntroduceerd.
Voor onderzoekers en ondernemingen in sterk gereguleerde sectoren maakt het starten van TrueBase authentieke audits en afstemming op maat mogelijk. Zoals Lucas Atkins, de CTO van Arcee, opmerkte in een videogesprek met VentureBeat: “Het is interessant alsof dat checkpoint zelf al een van de best presterende basismodellen ter wereld is”.
Technologie: engineering door beperking
De oprichting van Trinity Large was niet het resultaat van oneindige hulpbronnen, maar eerder van wat Atkins ‘engineering through constraint’ noemt.
Het model, dat in slechts 33 dagen voor ongeveer $20 miljoen is getraind, vertegenwoordigt een masterclass in kapitaalefficiëntie.
Arcee, een team van slechts 30 mensen, opereerde met een totaal kapitaal van iets minder dan $ 50 miljoen, waardoor de training van $ 20 miljoen een ‘back the company’-weddenschap was.
“Ik heb altijd geloofd dat het hebben van beperkingen, of het nu financieel, personeelsmatig of wat dan ook is, uiterst belangrijk is voor de creativiteit”, legt Atkins uit. “Als je gewoon een onbeperkt budget hebt, hoef je inherent geen uitweg te vinden uit complexe problemen”.
Architectuur: 4-van-256 Sparsity en SMEBU
Trinity Large maakt gebruik van een 4-van-256 schaarse MoE-architectuur, wat betekent dat het slechts 4 van de 256 experts voor elk token activeert.
Deze hoge mate van spaarzaamheid – een van de hoogste die ooit met succes is getraind – zorgde tijdens de voorbereiding voor aanzienlijke stabiliteitsproblemen.
Om dit op te lossen heeft Arcee Soft-clamped Momentum Expert Bias Updates (SMEBU) ontwikkeld. Dit mechanisme zorgt ervoor dat experts gespecialiseerd zijn en gelijkmatig over een algemeen webcorpus worden gerouteerd, waardoor wordt voorkomen dat een paar experts “winnaars” worden, terwijl anderen ongetraind “dood gewicht” blijven.
De snelheid van de training werd mogelijk gemaakt door Arcee’s vroege toegang tot Nvidia B300 GPU’s (Blackwell). Deze chips zorgden voor ongeveer twee keer de snelheid van de vorige Hopper-generatie en een aanzienlijke geheugentoename.
“De voortraining duurde 33 dagen”, merkte Atkins op. “We hadden het ook op Hopper kunnen doen, en dat had waarschijnlijk twee tot drie maanden geduurd. En tegen die tijd zitten we in een compleet nieuwe generatie modellen.”
In samenwerking met DatologieAIArcee gebruikte meer dan 8 biljoen tokens aan synthetische gegevens. Dit waren echter geen typische ‘imitatie’-synthetische gegevens waarbij een kleiner model leert praten als een groter model.
In plaats daarvan was het de bedoeling om onbewerkte webtekst, zoals blogs of Wikipedia-artikelen, te nemen en deze synthetisch te herschrijven om de informatie in een kleiner aantal tokens te condenseren. Dit proces hielp het model te leren redeneren over informatie in plaats van alleen maar exacte tekenreeksen te onthouden.
Het architecturale ontwerp omvat ook afwisselende lokale en globale aandachtslagen met schuiframen in een verhouding van 3:1. Dankzij deze hybride aanpak kan het model zeer efficiënt zijn in scenario’s met een lange context. Hoewel Trinity Large is getraind voor een sequentielengte van 256k, ondersteunt het native 512k-context, en evaluaties suggereren dat het zelfs op de horizon van 1 miljoen token presteert.
Technische vergelijking: Trinity Large vs. gpt-oss-120b
Als Amerikaans alternatief kan Trinity Large worden vergeleken met OpenAI’s gpt-oss-120b.
Hoewel beide modellen spaarzame architecturen gebruiken om prestaties op grensniveau te bereiken onder tolerante licenties, vervullen ze verschillende operationele rollen.
Terwijl gpt-oss-120b momenteel een voorsprong heeft op het gebied van specifieke redeneer- en wiskundebenchmarks, biedt Trinity Large een aanzienlijk voordeel op het gebied van contextcapaciteit en ruwe parameterdiepte voor complexe agentische workflows die uit meerdere stappen bestaan.
Soevereiniteit: het vacuüm opvullen
De release van Trinity Large is zowel een geopolitieke als een technische verklaring. CEO Mark McQuade merkte in hetzelfde interview tegen VentureBeat op dat het vacuüm van Amerikaanse open-sourcemodellen op grensniveau een ommekeer in de strategie van Arcee dwong.
“Er vond een soort verschuiving plaats waarbij Amerikaanse of westerse spelers stopten met het open sourcen van deze modellen”, aldus McQuade. “We vertrouwen op deze modellen om vervolgens naar organisaties te gaan en ze verder te brengen… maar de Chinese laboratoria zijn net begonnen… met het produceren van ultramoderne modellen en deze open source te maken.”
Voor McQuade creëerde dit een afhankelijkheid waar Amerikaanse ondernemingen zich steeds ongemakkelijker bij voelden. “Vooral in de gesprekken die we met grote organisaties voeren, waren ze niet in staat om op China gebaseerde architecturen te gebruiken”, legde hij uit. “Wij willen die kampioen in de VS zijn. (Het) bestaat momenteel eigenlijk niet”.
Door het vrijgeven onder de Apache 2.0-licentie biedt Arcee het gouden standaard-tolerante raamwerk waarmee bedrijven de modellaag volledig kunnen ‘bezitten’. Dit is van cruciaal belang voor sectoren als de financiële sector en de defensiesector, waar het gebruik van een model dat wordt gehost door een derde partij of een restrictieve cloudprovider geen optie is.
Intelligentie in balans brengen met nut
Arcee concentreert zich momenteel op het ‘huidige denkmodel’ om Trinity Large om te zetten van een algemeen instructiemodel naar een volledig redeneermodel. Het team worstelt met de balans tussen ‘intelligentie versus bruikbaarheid’ en streeft ernaar een model te creëren dat uitblinkt op benchmarks zonder ‘jappy’ of inefficiënt te worden in daadwerkelijke productietoepassingen.
“We hebben Trinity zo gebouwd dat jij er eigenaar van kunt worden”, zegt het team, waarmee een terugkeer naar de fundamentele waarden van de Amerikaanse open-sourcebeweging wordt aangegeven. Terwijl de industrie zich richting agentische workflows en enorme contextvereisten beweegt, positioneert Trinity Large zichzelf niet als een ‘wrapper’, maar als een soevereine infrastructuurlaag die ontwikkelaars eindelijk kunnen controleren.
