Vorresti più informazioni intelligenti nella tua scatola in arrivo? Iscriviti solo alle nostre newsletter settimanali per ottenere la cosa importante per l’intelligenza artificiale aziendale, i dati e i leader della sicurezza. Iscriviti ora
Completo Nuovo lavoro Ha dimostrato che i modelli di intelligenza artificiale a livello aperto hanno consumato significativamente più elaborazioni delle informazioni rispetto ai concorrenti a livello chiuso, soddisfacendo al contempo gli stessi compiti, indeboliscono i vantaggi potenzialmente a costo e rimodellano il modo in cui le aziende valutano le strategie di distribuzione dell’intelligenza artificiale.
Ricerca condotta da AI Company NOS RICERCALe unità di base dei modelli a ponte aperta, il calcolo dell’intelligenza artificiale, hanno scoperto di utilizzare monete da 1,5 a 4 volte più. Aperto E Antropico. Per semplici domande di informazioni, il divario si è ampliato in modo drammatico e alcuni modelli aperti hanno usato 10 volte più monete.
Misurazione dell’efficienza del pensiero nei modelli di ragionamento: criterio mancantehttps://t.co/b1e1rjx6vz
Abbiamo misurato l’uso di marcatori nei modelli di ragionamento: i modelli aperti in uscita 1.5-4x in più rispetto ai modelli chiusi delle stesse attività, ma a seconda del tipo di attività, a seconda della grande varianza (… pic.twitter.com/ly1083won8
– Nous Research (@NousResearch) 14 agosto 2025
“I modelli a ponte aperta utilizzano 1,5-4 × più monete rispetto a quelle chiuse (fino a 10 × per semplici domande di informazione), il che li rende più costosi per query nonostante il costo inferiore”, ha detto in un rapporto, che è stato pubblicato mercoledì.
I risultati costringono un presupposto dominante in cui i modelli di fonte aperti nell’industria dell’intelligenza artificiale offrono vantaggi economici aperti rispetto alle alternative alternative. Sebbene i modelli a livello aperto siano meno costosi per moneta da gestire, lo studio suggerisce che questo vantaggio può essere “facilmente bilanciato se richiede più monete per ragionare con un problema particolare”.
Ai Stroops sui limiti di ridimensionamento
I limiti di potenza, l’aumento dei costi dei marcatori e le inferenze ritardi rimodellano AI aziendale. Unisciti alla nostra sala privata per scoprire come sono le migliori squadre:
- Trasformare l’energia in un vantaggio strategico
- Architetto efficiente deduzione per guadagni di resa reale
- Aprire lo sblocco di un rendimento degli investimenti competitivi con sistemi AI sostenibili
Assicurati il tuo posto dove stare in futuro: https://bit.ly/4mwgngo
Costo reale dell’intelligenza artificiale: perché i modelli “più economici” possono rompere il tuo budget?
La ricerca è stata esaminata 19 Modello di AI diverso Nella categoria delle tre attività: domande di informazione di base, problemi matematici e enigmi logici. Il team ha misurato “efficienza dei marker” – quanti consuti di unità unitario di calcolo in base alla complessità delle soluzioni – Nonostante i risultati di costo importanti, l’area di lavoro sistematica molto poca è una metrica.
“La produttività token è una metrica critica per vari motivi pratici”, hanno affermato i ricercatori. “Sebbene sia più economico ospitare modelli a peso aperto, questo vantaggio in termini di costi può essere facilmente bilanciato se hanno bisogno di più monete con un problema particolare.”
La disuguaglianza è particolarmente evidente per i grandi modelli di ragionamento (LRMS) utilizzando l’espansione “Catene di pensiero“Per risolvere problemi complessi.
“Qual è la capitale dell’Australia?” Lo studio ha scoperto che i modelli di ragionamento spesi in una sola parola, “centinaia di monete pensano semplici domande sull’informazione”.
Quali modelli AI forniscono effettivamente esplosione per i tuoi soldi
La ricerca ha fatto forti differenze tra i fornitori di modelli. I modelli di Openai, in particolare O4-Mini e open source appena pubblicato GPT-OOS Le varianti hanno mostrato una straordinaria efficienza dei token, in particolare per i problemi matematici. Lo studio ha scoperto che i modelli Openai si distinguono per l’eccessiva efficienza dei marcatori nei problemi di matematica utilizzando tre volte meno monete rispetto ad altri modelli commerciali.
Tra le opzioni open source nvidia LAMA-3.3-Nemotron-Super-49B-V1 Mentre “il modello a peso aperto più efficiente in tutti i campi Çıktı, nuovi modelli rispetto alle aziende come Magistral hanno mostrato” un uso estremamente elevato “.
Il divario di produttività è cambiato in modo significativo in base al tipo di attività. Aperti modelli per problemi matematici e logici all’incirca il doppio delle monete, pur usando la differenza, un ragionamento efficace, che dovrebbe essere inutile nel pallone per semplici domande di informazione.
Cosa dovrebbero sapere i leader aziendali sui costi di elaborazione delle informazioni AI
I risultati hanno effetti urgenti per l’adozione dell’IA aziendale, in cui i costi di elaborazione delle informazioni possono essere ridimensionati rapidamente attraverso l’uso. Le aziende che valutano i modelli di intelligenza artificiale spesso si concentrano su criteri di accuratezza e prezzi di astinenza, ma possono ignorare i requisiti di calcolo totale per le attività del mondo reale.
Durante l’analisi dei costi di inferenza totali, i ricercatori hanno affermato che “una migliore efficienza della moneta dei modelli di peso chiuso di solito compensa i prezzi API più elevati di questi modelli”.
Lo studio ha anche rivelato che i fornitori di modelli a base chiusa sono attivamente ottimizzati per l’efficienza. “I modelli di peso interno sono stati ripetuti per utilizzare meno monete per ridurre il costo dell’inferenza”, mentre i modelli open source “hanno aumentato l’uso di monete per nuove versioni che riflettono una priorità per migliori prestazioni di ragionamento”.
In che modo i ricercatori hanno rotto il codice sulla misurazione della produttività dell’IA?
Il team di ricerca ha affrontato difficoltà uniche nella misurazione della produttività in diverse architetture modello. Molti modelli chiusi non rivelano processi di ragionamento grezzi, ma forniscono invece riassunti compressi dei calcoli interni per impedire ai concorrenti di copiare tecniche.
Al fine di affrontare ciò, i ricercatori hanno utilizzato monete complementari, che sono le unità di calcolo totale fatte per ciascuna query come proxy per lo sforzo di ragionamento. Hanno scoperto che “gli ultimi modelli di saldatura interna non condivideranno tracce di ragionamento grezzo e invece” usano modelli di linguaggio più piccoli per copiare la catena di pensiero per riassumere o rappresentazioni compresse “.
La metodologia dello studio includeva test con versioni alterate di problemi ben noti per ridurre al minimo l’effetto di soluzioni memorizzate come il cambiamento delle variabili nei problemi di competizione matematica. American Invitational Mathematics Exam (AIME).
Il futuro della produttività dell’IA: cosa succede
I ricercatori sostengono che la produttività delle monete dovrebbe diventare un obiettivo di ottimizzazione primaria con precisione per lo sviluppo del modello futuro. “Consentirà a un contesto più efficiente di utilizzare un lettino più intenso e resistere alla distorsione del contesto durante le attività di ragionamento difficili” Hanno scritto.
Pubblicare open source di Openi Modelli GPT-OossPuò essere un punto di riferimento per ottimizzare altri modelli open source, che mostrano l’ultima efficienza tecnologica con “lettino liberamente accessibile”.
Set di dati di ricerca e codice di valutazione Disponibile in GitHubPer consentire ad altri ricercatori di verificare ed espandere i risultati. Mentre l’industria dell’intelligenza artificiale compete per capacità di ragionamento più potenti, questo lavoro suggerisce che la vera concorrenza potrebbe non riguardare chi può costruire l’IA più intelligente, ma chi può creare il più produttivo.
Di conseguenza, in un mondo in cui ogni moneta è importante, i modelli più stravaganti possono preparare se stessi dal mercato indipendentemente da quanto bene possano pensare.
Collegamento alla fonte
