Allen Istituto per l’intelligenza artificiale (Ai2) Con la sua ultima versione, spera di trarre vantaggio dalla crescente domanda di modelli personalizzati e dalle aziende che desiderano maggiore trasparenza dai modelli di intelligenza artificiale.
Continuando a concentrarsi sull’apertura e sulla personalizzazione, Ai2 ha reso disponibile alle organizzazioni l’ultima aggiunta alla vasta famiglia di modelli linguistici Olmo.
Olmo 3 ha una finestra di contesto più lunga, più tracce di ragionamento ed è migliore nella codifica rispetto alla sua iterazione precedente. Quest’ultima versione, come le altre versioni di Olmo, è open source con licenza Apache 2.0. Le aziende avranno piena trasparenza e controllo sui dati di formazione e sui checkpoint.
Ai2 rilascerà tre versioni di Olmo 3:
-
Olmo 3- Pensare in 7B e 32B sono considerati modelli di ragionamento di punta per la ricerca avanzata
-
Olmo 3- Base in entrambi i parametri, ideale per programmazione, comprensione, matematica e ragionamento a lungo contesto. Ai2 ha affermato che questa versione è “ideale per il pre-allenamento o la messa a punto continua”
-
Olmo 3-Istruzioni in 7B ottimizzate per il seguito delle istruzioni, il dialogo su più giri e il funzionamento del veicolo
La società ha affermato che Olmo 3-Think è “il primo modello di pensiero 32D completamente aperto che genera contenuti in stile catena di ragionamento aperto”. Olmo-3 Think ha anche una lunga finestra di contesto di 65.000 token; Questo è perfetto per progetti intermedi di lunga durata o per ragionare su documenti più lunghi.
Noah Smith, direttore senior della ricerca NLP di Ai2, ha dichiarato in un’intervista a VentureBeat che molti dei suoi clienti, dalle aziende regolamentate agli istituti di ricerca, desiderano utilizzare modelli che diano loro garanzie su ciò che è incluso nella formazione.
“Le pubblicazioni dei nostri amici nel mondo della tecnologia sono fantastiche ed estremamente interessanti, ma ci sono molte persone per le quali la privacy dei dati ha il controllo su ciò che entra nel modello, su come i modelli vengono addestrati e su altre restrizioni su come il modello può essere utilizzato”, ha affermato Smith.
Gli sviluppatori possono accedere ai modelli tramite Hugging Face e Ai2 Playground.
Trasparenza e personalizzazione
Smith ha affermato che sono modelli come l’Olmo 3 che secondo l’azienda qualsiasi organizzazione che utilizza i suoi modelli dovrebbe prendere il controllo e modellarli per funzionare al meglio per loro.
“Non crediamo in una soluzione valida per tutti”, ha affermato Smith. È risaputo nel mondo dell’apprendimento automatico che se provi a costruire un modello che risolva tutti i problemi, non sarà davvero il modello migliore per ogni dato problema. “Non c’è prova ufficiale di questo, ma è qualcosa che hanno osservato i veterani come me.”
Ha aggiunto che i modelli con la capacità di specializzarsi “forse non sono così brillanti come ottenere punteggi elevati negli esami di matematica”, ma offrono alle aziende maggiore flessibilità.
Olmo 3 consente alle aziende di riqualificare essenzialmente il modello aggiungendo un mix di dati appresi. L’idea è che le aziende possano apportare le proprie risorse specializzate per guidare il modello rispondendo a domande aziendali specifiche. Ai2 ha aggiunto checkpoint in ogni fase chiave della formazione per aiutare le aziende in questo processo.
La richiesta di personalizzazione dei modelli è aumentata poiché le aziende che non possono creare i propri LLM desiderano creare modelli specifici dell’azienda o focalizzati sul settore. iniziative come Arcee avere iniziato a proporre piccoli modelli personalizzabili e focalizzati sull’impresa.
Smith ha affermato che modelli come Olmo 3 danno alle aziende anche maggiore fiducia nella tecnologia. Poiché Olmo 3 fornisce i dati di addestramento, Smith ha affermato che le aziende possono fidarsi che il modello non rilevi nulla che non dovrebbe.
Ai2 ha sempre affermato di impegnarsi per una maggiore trasparenza, lanciando anche uno strumento chiamato: OlmoTrace ad aprile Ciò può far risalire l’output di un modello direttamente ai dati di training originali. L’azienda pubblica modelli open source e invia il proprio codice a repository come GitHub affinché chiunque possa utilizzarlo.
Rivali come Google e OpenAI ha subito critiche da parte degli sviluppatori Mosse estreme che nascondono spunti di ragionamento grezzo e scelgono di riassumere il ragionamento ora pretendono di ricorrere al “debug cieco” senza trasparenza.
Ai2 ha pre-addestrato Olmo 3 sul set di dati OpenAI Dolma 3 da sei trilioni. Il set di dati copre dati web, letteratura scientifica e codice. Smith ha affermato di aver ottimizzato Olmo 3 per il codice, invece di concentrarsi sulla matematica in Olmo 2.
Come accumulare
Ai2 sostiene che la famiglia di modelli Olmo 3 rappresenta un significativo passo avanti per i modelli veramente open source, almeno per gli LLM open source sviluppati al di fuori della Cina. Il modello base Olmo 3 viene addestrato con “un’efficienza computazionale circa 2,5 volte superiore misurata dal clock della GPU per token”, il che significa che consuma meno energia durante il pre-addestramento e costa meno.
L’azienda ha affermato che i suoi modelli Olmo 3 superano altri modelli aperti come Marin di Stanford, K2 di LLM360 e Apertus, ma l’Ai2 non ha fornito numeri per il benchmarking.
“Olmo 3-Think (32B) è il modello di ragionamento completamente esplicito più potente, riducendo il divario rispetto ai migliori modelli a peso aperto di scala simile, come i modelli della serie Qwen 3-32B-Thinking nella nostra suite di benchmark di ragionamento, pur essendo addestrato su 6 volte meno token”, ha affermato Ai2 in un comunicato stampa. ha detto.
La società ha aggiunto che Olmo 3-Instruct ha sovraperformato Qwen 2.5, Gemma 3 e Llama 3.1.
