Laboratorio di intelligenza artificiale con sede a San Francisco Arcee L’anno scorso ha avuto successo come una delle poche aziende statunitensi a formare da zero modelli linguistici di grandi dimensioni (LLM) e a rilasciarli al pubblico con licenze open source o parzialmente open source; Ha consentito a sviluppatori, imprenditori individuali e persino aziende di medie e grandi dimensioni di utilizzare gratuitamente potenti modelli di intelligenza artificiale e personalizzarli a piacimento.
Ora Arcee torna anche questa settimana con il rilascio del suo modello di linguaggio aperto più grande e performante fino ad oggi: Tre GrandiExpert blend (MEB) con 400 miliardi di parametri, attualmente disponibile in anteprima,
Oltre alla versione di punta, Arcee distribuisce anche una "valanga" modello di checkpoint, Trinity-Large-TrueBaseCiò consente ai ricercatori di esaminare ciò che il MoE sparso 400B apprende esclusivamente dai dati grezzi, prima che vengano applicati l’ottimizzazione e il rinforzo delle istruzioni.
Arcee offre una tabula rasa a livello di 10 trilioni di token, consentendo agli sviluppatori di intelligenza artificiale in settori altamente regolamentati di condurre audit originali e creare le proprie normative personalizzate senza acquisizioni. "scatola nera" pregiudizi o stranezze di formattazione di un modello di chat generico. Questa trasparenza consente una comprensione più profonda della distinzione tra le capacità di ragionamento interno di un modello e i comportamenti utili ricercati nelle fasi finali post-formazione.
Questo lancio avviene in un momento in cui forti alternative cinesi LLM open source come Alibaba (Qwen), z.AI (Zhipu), DeepSeek, Moonshot e Baidu stanno inondando il mercato e guidando di fatto la categoria con architetture altamente efficienti.
Trinity Large arriva anche dopo l’apparente ritiro di Meta dalla scena marginale dell’open source. Dopo il rilascio iniziale di Llama 4 nell’aprile 2025, che ha suscitato reazioni contrastanti, l’ex ricercatore di Meta AI Yann LeCun ha successivamente Ha ammesso che l’azienda ha utilizzato più di una versione speciale del modello Gonfiare i punteggi dei benchmark di terze parti.
In mezzo a questo divario locale, OpenAI e Arcee, con la famiglia gpt-oss rilasciata solo nell’estate del 2025, stanno ora guidando la carica per nuovi modelli open source fabbricati negli Stati Uniti addestrati interamente da zero.
Rari come vengono
Trinity Large si distingue per l’estrema scarsità del suo meccanismo di attenzione. Un’architettura MEB, "carestia" Si riferisce alla capacità del modello di attivare selettivamente solo una piccola frazione dei suoi parametri totali per un determinato compito.
Sebbene Trinity Large abbia un totale di 400B parametri, solo l’1,56% (13B parametri) è attivo in un dato momento.
Questa scelta architettonica è importante perché il modello "informazioni" Raggiunge prestazioni circa 2-3 volte più veloci rispetto ai suoi omologhi sullo stesso hardware, pur mantenendo la velocità di inferenza e l’efficienza operativa di un sistema molto più piccolo.
Sovranità e "TrueBase" filosofia
Il contributo più significativo di questa versione alla comunità di ricerca è Trinity-Large-TrueBase, un rozzo checkpoint da 10 trilioni.
A differenza di quasi tutti gli altri "aprire" liberazione che verrà dopo "storto" Attraverso l’ottimizzazione delle istruzioni e l’apprendimento per rinforzo, TrueBase offre uno sguardo raro e non distorto sull’intelligenza di base.
Nella fretta di rendere i modelli utili, la maggior parte dei laboratori applica il perfezionamento supervisionato (SFT) e l’apprendimento per rinforzo dal feedback umano (RLHF) prima che i pesi vengano rilasciati. Sebbene ciò renda il modello un portavoce migliore, può mascherare la distribuzione delle informazioni sottostanti.
TrueBase fornisce: "E modello base" Coloro che non sono ancora stati sottoposti alla ricottura del tasso di apprendimento o alla fase due e tre di pre-formazione in cui vengono generalmente introdotti i dati relativi alle istruzioni.
Per i ricercatori e le organizzazioni di settori altamente regolamentati, iniziare con TrueBase consente controlli unici e conformità personalizzata. Come ha dichiarato Lucas Atkins, CTO di Arcee, in una videochiamata con VentureBeat: "È interessante notare che questo punto di controllo è già uno dei modelli base più performanti al mondo.".
Tecnologia: ingegneria attraverso il vincolo
La creazione del Trinity Large non fu il prodotto di risorse infinite, ma il prodotto di come lo chiamava Atkins. "ingegneria tramite vincolo".
Formato in soli 33 giorni per circa 20 milioni di dollari, il modello rappresenta un master class in termini di efficienza del capitale.
Arcee, un team di sole 30 persone, operava con poco meno di 50 milioni di dollari di capitale totale, che hanno consentito di completare una formazione di 20 milioni di dollari. "riprendere in mano l’azienda" scommettere.
"Ho sempre creduto che avere qualche vincolo, sia finanziario che personale, sia estremamente importante per la creatività." Atkins ha spiegato. "Quando si dispone di un budget illimitato, non è necessario progettare la soluzione a problemi intrinsecamente complessi.".
Architettura: 4 di 256 Sparità e SMEBU
Trinity Large, 4 su 256 utilizzano l’architettura sparsa MoE; Ciò significa che attiva solo 4 esperti su 256 per ciascun token.
Questo elevato livello di scarsità (uno dei livelli più alti mai addestrati con successo) ha creato notevoli problemi di stabilità durante il pre-addestramento.
Per risolvere questo problema, Arcee ha sviluppato Soft Compressed Momentum Expert Bias Updates (SMEBU). Questo meccanismo garantisce che gli esperti siano specializzati e diretti equamente all’interno di un corpus web complessivo, impedendo ad alcuni esperti di specializzarsi. "vincitori" mentre altri rimangono ignoranti "peso morto".
Il ritmo del corso di formazione è stato facilitato dall’accesso anticipato di Arcee alle GPU Nvidia B300 (Blackwell). Questi chip fornivano circa il doppio della velocità e un aumento significativo della memoria rispetto alla precedente generazione di Hopper.
"Il pre-allenamento è durato 33 giorni," Atkins ha osservato. "Potremmo farlo a Hopper e probabilmente ci vorranno due o tre mesi. E a questo punto ci troviamo in una generazione di modelli completamente nuova".
come partner DatologiaAIArcee ha sfruttato oltre 8 trilioni di token di dati sintetici. Ma questa non era una situazione tipica "imitazione" Dati sintetici in cui un modello più piccolo impara a parlare come un modello più grande.
L’obiettivo era invece quello di prendere testo web grezzo, come blog o articoli di Wikipedia, e riscriverlo sinteticamente per condensare le informazioni in un numero minore di token aggregati. Questo processo ha aiutato il modello a imparare a ragionare sulle informazioni piuttosto che limitarsi a memorizzare sequenze esatte di token.
Il progetto architettonico comprende anche strati di attenzione locale e globale tramite finestre scorrevoli alternati in un rapporto 3:1. Questo approccio ibrido consente al modello di essere altamente efficiente in scenari con contesto lungo. Sebbene Trinity Large sia addestrato per una lunghezza di stringa di 256k, supporta nativamente contesti di 512k e le valutazioni mostrano che mantiene le prestazioni anche sull’orizzonte di 1 milione di token.
Confronto tecnico: Trinity Large vs gpt-oss-120b
Come alternativa americana, Trinity Large può essere paragonato a gpt-oss-120b di OpenAI.
Sebbene entrambi i modelli utilizzino architetture sparse per ottenere prestazioni di livello edge entro le licenze consentite, svolgono ruoli operativi diversi.
Mentre gpt-oss-120b eccelle attualmente in alcuni benchmark di ragionamento e matematica, Trinity Large offre un vantaggio significativo in termini di capacità di contesto e profondità di parametri grezzi per flussi di lavoro complessi e multi-step.
Sovranità: colmare il divario
Il lancio di Trinity Large è una dichiarazione tanto geopolitica quanto tecnica. Il CEO Mark McQuade ha dichiarato a VentureBeat nella stessa intervista che il divario nei modelli open source americani di frontiera ha portato a un punto di svolta nella strategia di Arcee.
"Un simile cambiamento si è verificato quando gli operatori con sede negli Stati Uniti o in Occidente hanno smesso di rendere pubblici questi modelli." disse McQuade. "Quindi ci affidiamo a questi modelli per entrare nelle organizzazioni e farle avanzare… ma i laboratori cinesi hanno appena iniziato… a produrre modelli high-tech e a renderli disponibili come open source".
Per McQuade, ciò creò una dipendenza con la quale le aziende americane si sentivano sempre più a disagio. "Soprattutto nei nostri incontri con le grandi organizzazioni, queste non potevano utilizzare architetture basate sulla Cina." spiegato. "Vogliamo essere campioni negli USA. (Esso) in realtà non esiste in questo momento".
Arcee lo ha rilasciato con la licenza Apache 2.0, consentendo alle aziende di farlo "avere" strato puramente modello. Ciò è fondamentale per settori come quello finanziario e della difesa, dove l’utilizzo di un modello ospitato da terze parti o da un provider cloud restrittivo non è una soluzione efficace.
Bilanciare l’intelligenza con l’utilità
Arcee si sta attualmente concentrando su: "modello di pensiero attuale" Trasformare Trinity Large da un modello di istruzione generale a un modello di ragionamento completo. La squadra cerca di trovare equilibrio "intelligenza e utilità"- cercando di creare un modello che si distingua nei benchmark "chiacchierando" o è inefficiente nelle applicazioni di produzione reali.
"Abbiamo costruito Trinity affinché tu possa possederlo." Il team afferma che ciò segnala un ritorno ai valori fondamentali del movimento open source americano. Mentre il settore si sposta verso flussi di lavoro mediati e requisiti di contesto di grandi dimensioni, Trinity Large si trova a "CONFEZIONE," ma come un livello infrastrutturale sovrano che gli sviluppatori possono finalmente controllare.
