Il filtraggio dinamico antropico riduce l’utilizzo dei token di recupero web in media del 24%

Anthropic ha recentemente interrotto una funzionalità che consentiva ai modelli linguistici di grandi dimensioni (LLM) di eseguire interazioni API esterne. AI Jason esamina l’impatto di questa decisione sui flussi di lavoro che si basano sull’esecuzione di attività programmatiche, sul filtraggio dinamico e su altri meccanismi progettati per semplificare le operazioni in più fasi. Rimuovendo questa capacità, i cambiamenti antropici distolgono l’attenzione da alcuni casi d’uso avanzati che in precedenza aumentavano l’efficienza in compiti complessi e riducevano il consumo di risorse.

aggiornamento della chiamata dello strumento anthropix

Che cosa chiama lo strumento programmatico?

La chiamata di strumenti programmatici offre un approccio dinamico all’esecuzione delle attività, consentendo agli LLM di scrivere ed eseguire codice per flussi di lavoro in più fasi. A differenza dell’output statico basato su JSON, questo metodo include loop, condizionale,E elaborazione batchConsente un’esecuzione delle attività più flessibile e deterministica. Questa innovazione garantisce che gli LLM possano gestire le attività in modo più efficiente preservando le risorse computazionali.

Ad esempio, invece di caricare ripetutamente gli stessi dati nella finestra di contesto, la chiamata dello strumento programmatico garantisce solo questo informazioni necessarie viene elaborato. Ciò riduce l’utilizzo dei token, riduce la ridondanza e migliora i tassi di completamento delle attività. Semplificando il flusso di lavoro, questo approccio rende gli LLM più efficaci nella gestione di operazioni complesse, come l’automazione dell’analisi dei dati o la gestione della creazione di contenuti su larga scala.

In che modo il filtraggio dinamico ottimizza l’utilizzo dei token

Il filtro dinamico è una funzionalità importante che riduce il consumo di token escludendo contenuti irrilevanti dai risultati di recupero Web. Quando recuperano dati da fonti esterne, gli LLM si trovano spesso ad affrontare grandi quantità di informazioni, molte delle quali potrebbero non essere rilevanti per l’attività da svolgere. Il filtraggio dinamico garantisce solo questo dati più rilevanti è incorporato nella finestra di contesto, migliorando sia l’efficienza che l’accuratezza della risposta.

Ad esempio, in scenari con set di dati estesi, il filtraggio dinamico elimina i dettagli estranei, consentendo a LLM di concentrarsi su informazioni fruibili. Questo processo non solo riduce in media l’utilizzo dei token 24%-Ma aumenta anche la qualità dell’output del modello. Dando la priorità alle informazioni rilevanti, gli LLM possono fornire risultati più rapidi e accurati, rendendoli più affidabili per attività come ricerche di mercato o assistenza clienti.

Amplia la tua comprensione dell’antropologia con risorse aggiuntive dalla nostra vasta libreria di articoli.

Semplificazione delle operazioni con la ricerca degli utensili

La ricerca degli strumenti risolve le inefficienze nel caricamento degli schemi degli strumenti nella finestra di contesto recuperando dinamicamente solo gli strumenti più rilevanti per una determinata attività. Invece di precaricare tutti gli strumenti disponibili, questa funzionalità garantisce che gli LLM accedano solo agli strumenti necessari per un’operazione specifica. Questa ottimizzazione riduce significativamente il consumo di token, con conseguenti potenziali risparmi 80% In un flusso di lavoro con più strumenti.

Ad esempio, in un processo che richiede più API, il meccanismo di rilevamento degli strumenti identifica e carica solo gli strumenti necessari, evitando l’utilizzo non necessario delle risorse. Ciò non solo semplifica le operazioni, ma aumenta anche l’efficienza complessiva del flusso di lavoro. Riducendo il sovraccarico computazionale, la ricerca degli strumenti consente agli LLM di gestire attività più complesse, come la gestione di sistemi interconnessi o l’automazione di processi multilivello.

Migliorare la precisione con esempi di input

Gli esempi di input forniscono una guida chiara e illustrativa al LLM sulla gestione di parametri complessi o nidificati. Presentando esempi concreti, questa funzionalità migliora la precisione della gestione dei parametri, aumentando così il tasso di successo. Dal 72% al 90%. Questo miglioramento è particolarmente utile nelle attività che richiedono una formattazione precisa dell’input o il rispetto di linee guida specifiche.

Ad esempio, nell’automazione della gestione della posta elettronica, gli esempi di input aiutano il LLM a comprendere come classificare i messaggi o generare risposte appropriate. Allo stesso modo, nella produzione di contenuti strutturati, come panoramiche o riassunti, gli esempi di input garantiscono che gli output siano conformi alle aspettative dell’utente. Riducendo gli errori e migliorando la coerenza, questa funzionalità migliora l’affidabilità di LLM nelle applicazioni ad alto rischio.

L’efficienza si ottiene in tutti i flussi di lavoro

L’effetto combinato di questi aggiornamenti si traduce in sostanziali miglioramenti in termini di efficienza nei flussi di lavoro in più fasi. Riducendo il consumo di token 30-50%Queste innovazioni consentono a LLM di gestire set di dati di grandi dimensioni o sequenze di strumenti complessi con maggiore scalabilità e precisione.

Per esempio:

• In automazione dell’assistenza clientiLLM può elaborare elevati volumi di richieste mantenendo precisione e velocità, migliorando la soddisfazione degli utenti.
• In creazione di contenutiUn minore utilizzo delle risorse porta a operazioni più rapide ed economicamente vantaggiose, consentendo alle aziende di aumentare la propria produzione.

Questi miglioramenti rendono gli LLM più capaci di gestire attività impegnative senza compromettere le prestazioni, garantendo che rimangano uno strumento prezioso per le organizzazioni di diversi settori.

applicazioni del mondo reale

I progressi introdotti da Anthropic sono particolarmente adatti per attività che implicano l’aggregazione di dati, flussi di lavoro deterministici o la gestione di set di dati estesi. Le applicazioni comuni includono:

• Gestione della posta elettronica: Gli LLM possono ordinare, assegnare priorità e rispondere in modo efficiente ai messaggi con una supervisione minima, risparmiando tempo e risorse.
• creazione di contenuti: La maggiore efficienza consente una creazione più rapida di output di alta qualità soddisfacendo al tempo stesso le esigenze di settori quali marketing ed editoria.
• Assistenza clienti: Gli strumenti di filtraggio e ricerca dinamici consentono a LLM di rispondere in modo efficace alle domande degli utenti, anche in scenari complessi o con volumi elevati.

Ottimizzando questi processi, gli LLM possono fornire risultati più rapidi e accurati, rendendoli indispensabili in settori come l’e-commerce, la sanità e i servizi finanziari.

Miglioramento delle capacità LLM

Gli aggiornamenti di Anthropic alle chiamate agli strumenti rappresentano un importante passo avanti nell’evoluzione di LLM. Introducendo chiamate di strumenti programmatici, filtri dinamici, ricerca di strumenti ed esempi di input, queste innovazioni risolvono le inefficienze aumentando al tempo stesso la scalabilità e la precisione. Che si tratti di gestire set di dati di grandi dimensioni, automatizzare i flussi di lavoro o generare contenuti, questi progressi consentono agli LLM di operare con maggiore precisione ed efficienza. Stabiliscono un nuovo standard per l’esecuzione delle attività basata su LLM, aprendo la strada ad applicazioni più sofisticate ed efficienti in termini di risorse in un’ampia gamma di settori.

Credito mediatico: ciao Jason

Archiviato in: AI, Guide

Divulgazione: Alcuni dei nostri articoli contengono link di affiliazione. Se acquisti qualcosa tramite uno di questi link, Geeky Gadgets può guadagnare una commissione di affiliazione. Scopri la nostra politica di divulgazione.