Un elemento chiave di qualsiasi processo di recupero dei dati è l’uso di un componente noto come ricevitore. Il suo compito è recuperare contenuti rilevanti per una determinata query.
Nell’era dell’intelligenza artificiale, i ricevitori sono stati utilizzati come parte delle pipeline RAG. L’approccio è semplice: prendi i documenti rilevanti, inviali al Master e lascia che il modello generi una risposta basata su quel contesto.
Sebbene l’annullamento possa sembrare un problema risolto, in realtà non è stato risolto per i moderni flussi di lavoro dell’intelligenza artificiale delle agenzie.
Dentro ricerca Rilasciata questa settimana, Databricks ha introdotto Instructed Retriever, una nuova architettura che, secondo l’azienda, offre un miglioramento fino al 70% rispetto al tradizionale RAG su attività aziendali di risposta a domande complesse e ricche di istruzioni. La differenza sta nel modo in cui il sistema comprende e utilizza i metadati.
"Prima dell’era dei grandi modelli linguistici, la maggior parte dei sistemi costruiti per l’accesso erano in realtà costruiti per essere utilizzati dalle persone, non per gli agenti." Il direttore della ricerca di Databricks, Michael Bendersky, ha dichiarato a VentureBeat: "Ciò che abbiamo scoperto è che nella maggior parte dei casi gli errori dell’agente non sono dovuti al fatto che l’agente non è in grado di ragionare sui dati. Questo perché il broker non riceve i dati corretti in primo luogo."
Cosa manca ai tradizionali ricevitori RAG
Il problema principale deriva dal modo in cui il RAG tradizionale gestisce ciò che ha detto Bendersky "specifiche a livello di sistema." Questi includono il contenuto esatto delle istruzioni per l’utente, schemi di metadati ed esempi che descrivono come dovrebbe essere un’acquisizione riuscita.
In una tipica pipeline RAG, una query utente viene trasformata in un incorporamento, documenti simili vengono recuperati da un database vettoriale e questi risultati vengono inseriti in un modello linguistico per il rendering. Il sistema può includere filtri di base, ma essenzialmente tratta ogni query come un esercizio di corrispondenza testuale isolato.
Questo approccio è incompatibile con i dati aziendali reali. I documenti aziendali spesso contengono metadati complessi come timestamp, informazioni sull’autore, valutazioni dei prodotti, tipi di documenti e attributi specifici del dominio. Il RAG tradizionale viene messo in discussione quando un utente pone una domanda che richiede un ragionamento su questi campi di metadati.
Considera questo esempio: "Mostrami le recensioni dei prodotti a cinque stelle degli ultimi sei mesi ma escludi qualsiasi cosa dal marchio X." Il RAG tradizionale non è in grado di tradurre in modo affidabile questo vincolo del linguaggio naturale in filtri di database appropriati e query strutturate.
"Se utilizzi solo un sistema RAG tradizionale, non c’è modo di sfruttare tutti questi diversi segnali sui dati incapsulati nei metadati." Bendersky ha detto. "Questi devono essere comunicati all’agenzia stessa per poter svolgere il lavoro corretto al momento del recupero."
Il problema diventa ancora più acuto quando le aziende vanno oltre la semplice ricerca di documenti verso flussi di lavoro mediati. Un essere umano che utilizza il sistema di ricerca può riformulare le query e applicare manualmente i filtri quando i risultati iniziali non raggiungono l’obiettivo. Un agente AI che opera in modo autonomo ha bisogno che il sistema ricevente stesso comprenda ed esegua istruzioni complesse e sfaccettate.
Come funziona un Retriever Addestrato?
L’approccio di Databricks ridisegna radicalmente la pipeline di recupero. Il sistema propaga tutte le specifiche di sistema in ogni fase sia di acquisizione che di creazione. Queste specifiche includono istruzioni per l’utente, esempi etichettati e schemi di indice.
L’architettura aggiunge tre caratteristiche chiave:
Analisi delle query: il sistema suddivide le richieste complesse e composte da più parti in un piano di ricerca che include più ricerche di parole chiave e istruzioni di filtro. una richiesta "Ultimi prodotti FooBrand tranne i modelli Lite" analizzati in query strutturate con filtri di metadati appropriati. I sistemi tradizionali tentano una singola ricerca semantica.
Ragionamento sui metadati: Le istruzioni in linguaggio naturale vengono tradotte in filtri di database. "dall’anno scorso" diventa un filtro della data, "recensioni a cinque stelle" diventa il filtro di valutazione. Il sistema comprende sia quali metadati sono disponibili sia come abbinarli alle intenzioni dell’utente.
Rilevanza contestuale: nella fase di riclassificazione, viene utilizzato l’intero contesto delle istruzioni per l’utente per evidenziare i documenti che corrispondono all’intento, anche se la corrispondenza delle parole chiave è più debole. Il sistema può dare priorità all’attualità o a tipi specifici di documenti in base alle specifiche piuttosto che alla sola somiglianza del testo.
"La magia sta nel modo in cui costruiamo le query." Bendersky ha detto. "Stiamo cercando di utilizzare questo strumento come lo utilizzerebbe un agente, non come farebbe un essere umano. Ha tutte le complessità dell’API e le utilizza nel miglior modo possibile."
Memoria contestuale e architettura di recupero
Nella seconda metà del 2025, si è verificato un passaggio nel settore dalla memoria RAG alla memoria AI dell’agenzia, a volte definita memoria contestuale. Approcci tra cui: Col senno di poi E A-MEM È emerso offrendo la promessa di un futuro senza RAG.
Bendersky sostiene che la memoria contestuale e il recupero complesso servono a scopi diversi. Entrambi sono essenziali per i sistemi di intelligenza artificiale aziendale.
"Non c’è modo di inserire tutto nella tua organizzazione nella tua memoria contestuale." Bendersky ha osservato. "Hai bisogno di entrambi. È necessaria la memoria contestuale per fornire specifiche e schemi, ma è comunque necessario accedere ai dati che possono essere distribuiti su più tabelle e documenti."
La memoria contestuale eccelle nel preservare le proprietà delle attività, le preferenze dell’utente e gli schemi di metadati all’interno di una sessione. quantità "regole del gioco" facilmente disponibile. Ma il vero set di dati aziendali esiste al di fuori di questa finestra di contesto. Molte organizzazioni dispongono di volumi di dati che superano per ordini di grandezza finestre di contesto anche generose.
Instructed Retriever sfrutta la memoria contestuale per le specifiche a livello di sistema mentre utilizza il recupero per accedere a un ambiente dati più ampio. Le specifiche nel contesto informano il modo in cui il destinatario costruisce le query e interpreta i risultati. Il sistema di recupero estrae quindi documenti specifici da potenzialmente miliardi di candidati.
Questa divisione del lavoro è importante per l’uso pratico. Non è né possibile né efficiente caricare milioni di documenti nel contesto. I soli metadati possono essere importanti quando si ha a che fare con sistemi eterogenei all’interno di un’organizzazione. Instructed Retriever risolve questo problema rendendo i metadati immediatamente disponibili senza richiedere che tutti si adattino al contesto.
Usabilità e considerazioni pratiche
Instructed Retriever è ora disponibile come parte di: Mattoni dell’agente Databricks; L’Assistente informazioni è integrato nel prodotto. Le organizzazioni che utilizzano Knowledge Assistant per creare sistemi di risposta alle domande sui propri documenti sfruttano automaticamente l’architettura Instructed Retriever senza creare pipeline RAG personalizzate.
Il sistema non è disponibile come open source, sebbene Bendersky abbia notato che Databricks sta considerando una disponibilità più ampia. Per ora, la strategia dell’azienda è quella di rendere disponibili alla comunità di ricerca benchmark come StaRK-Instruct, mantenendo l’implementazione esclusiva per i suoi prodotti aziendali.
La tecnologia è particolarmente promettente per le organizzazioni con dati complessi e altamente strutturati che contengono ricchi metadati. Bendersky ha parlato di casi d’uso nel campo della finanza, dell’e-commerce e della sanità. In sostanza, qualsiasi campo in cui i documenti hanno attributi significativi oltre al testo grezzo può trarne vantaggio.
"Ciò che vediamo in alcuni casi è sbloccare cose di cui il cliente non può fare a meno." Bendersky ha detto.
Ha spiegato che senza Instructed Retriever, gli utenti dovrebbero svolgere più attività di gestione dei dati per inserire il contenuto nella struttura e nelle tabelle corrette in modo che LLM possa recuperare le informazioni corrette.
“Qui puoi creare una directory con i metadati corretti, indirizzare il tuo acquirente verso di essa e funzionerà immediatamente”, ha affermato.
Cosa significa questo per la strategia AI aziendale?
La ricerca solleva una domanda critica per le organizzazioni che oggi costruiscono sistemi basati su RAG: la tua pipeline di acquisizione ha davvero la capacità di seguire le istruzioni e di ragionare sui metadati richiesti dal tuo caso d’uso?
Il miglioramento del 70% dimostrato da Databricks non può essere ottenuto tramite l’ottimizzazione incrementale. Rappresenta una differenza architetturale nel modo in cui le specifiche del sistema attraversano il processo di importazione e creazione. Le organizzazioni che investono nella strutturazione accurata dei propri dati con metadati dettagliati potrebbero scoprire che il RAG tradizionale lascia sul tavolo gran parte del valore di tale struttura.
La ricerca mostra che l’architettura di inserimento può rappresentare un elemento di differenziazione fondamentale per le organizzazioni che desiderano implementare sistemi di intelligenza artificiale in grado di seguire in modo affidabile istruzioni complesse e composte da più parti su origini dati eterogenee.
Coloro che si affidano ancora al RAG di base per i casi d’uso di produzione con metadati avanzati dovrebbero valutare se il loro approccio attuale soddisferà sostanzialmente le loro esigenze. La differenza di prestazioni dimostrata da Databricks mostra che un’architettura di accesso più complessa è ora importante per le organizzazioni con ambienti dati complessi.
