I Maestri di oggi eccellono nel ragionamento ma possono ancora avere difficoltà con il contesto. Ciò è particolarmente vero per i sistemi di ordinazione in tempo reale. Instagram.
Instacart Cto Anirbanan kundu ha detto: "Problema con la ricetta dei brownie."
Non è così semplice come dire al Maestro ‘voglio fare i brownies’. Per essere veramente utile nella pianificazione dei pasti, il modello deve andare oltre questa semplice direttiva per capire cosa è disponibile sul mercato in base alle preferenze dell’utente (ad esempio, uova biologiche rispetto a uova normali) e tenerne conto per ciò che può essere consegnato all’interno della sua area geografica in modo che il cibo non vada a male. Questo, tra gli altri fattori critici.
La sfida per Instacart è bilanciare la latenza con il giusto mix di contesto per fornire esperienze, idealmente in meno di un secondo.
“Se il ragionamento stesso dura 15 secondi e ogni interazione è così lenta, perderai l’utente”, ha detto Kundu in un recente evento VB.
Mescolando ragionamento, situazione del mondo reale e personalizzazione
Nella consegna della spesa esiste un “mondo di ragionamento” e un “mondo di situazione” (che esiste nel mondo reale). castoro Entrambi questi devono essere compresi da un LLM insieme alle preferenze dell’utente. Ma non è così semplice come caricare l’intera cronologia degli acquisti e gli interessi noti di un utente in un modello di ragionamento.
“Il tuo LLM raggiungerà dimensioni ingestibili”, ha detto Kundu.
Per aggirare questo problema, Instacart interrompe l’elaborazione. Innanzitutto, i dati vengono inseriti in un ampio modello di base in grado di comprendere le intenzioni e classificare i prodotti. Questi dati elaborati vengono quindi instradati a: modelli linguistici piccoli (SLM) Il catalogo è progettato per il contesto (tipi di cibo o altri articoli che funzionano insieme) e per la comprensione semantica.
Nell’ambito del catalogo, SLM deve essere in grado di gestire più livelli di dettaglio riguardanti i diversi prodotti oltre all’ordine stesso. Ad esempio, quali prodotti vanno insieme e quali devono essere sostituiti se la prima scelta è esaurita? Queste sostituzioni sono “molto, molto importanti” per un’azienda come Instacart. Kundu ha affermato che ci sono “casi a doppia cifra” in cui un prodotto non è disponibile sul mercato locale.
In termini di comprensione semantica, supponiamo che un cliente desideri acquistare snack salutari per i bambini. Il modello deve capire cosa sono gli snack salutari, quali alimenti sono appropriati e attraenti per un bambino di 8 anni, quindi identificare i prodotti rilevanti. E quando questi prodotti specifici non sono disponibili in un particolare mercato, il modello deve anche trovare sottoinsiemi di prodotti rilevanti.
C’è anche un elemento logistico. Ad esempio, un prodotto come il gelato si scioglierà rapidamente e anche le verdure congelate non vanno bene se lasciate a temperature più elevate. Il modello deve avere questo contesto e calcolare un tempo di consegna accettabile.
“Quindi hai questa comprensione dell’intento, hai questa classificazione, poi hai l’altra parte sulla logistica, come lo fai”, ha detto Kundu. ha affermato.
Evitare sistemi di agenti “monolitici”.
Come molte altre aziende, Instacart sta sperimentando agenti IA e sta scoprendo che un mix di agenti funziona meglio di un “singolo monolite” che esegue più compiti diversi. Kundu ha spiegato che la filosofia del sistema operativo modulare di Unix con strumenti più piccoli e mirati aiuta a gestire, ad esempio, diversi sistemi di pagamento con diverse modalità di errore.
“Costruire tutto questo in un unico ambiente era troppo complicato”, ha affermato. Inoltre, gli agenti nel backend comunicano con molte piattaforme di terze parti, inclusi punti vendita (POS) e sistemi di catalogo. Naturalmente non tutti si comportano allo stesso modo; alcuni sono più affidabili di altri e hanno intervalli di aggiornamento e versioni diverse.
“Poiché siamo stati in grado di affrontare tutto questo, abbiamo seguito la strada dei microagenti piuttosto che degli agenti di natura prevalentemente di grandi dimensioni”, ha affermato Kundu.
Per gestire i rappresentanti, Instacart si è integrato con: Il protocollo del contesto del modello di OpenAI (MCP) standardizza e semplifica il processo di connessione dei modelli di intelligenza artificiale a diversi strumenti e origini dati.
L’azienda utilizza anche lo standard aperto Universal Trading Protocol (UCP) di Google, che consente ai broker AI di interagire direttamente con i sistemi di trading.
Ma la squadra di Kundu è ancora alle prese con difficoltà. Come sottolinea, la questione non è se l’integrazione sia possibile o meno, ma quanto siano affidabili queste integrazioni e quanto bene siano comprese dagli utenti. La scoperta può essere impegnativa, non solo in termini di identificazione dei servizi disponibili, ma anche nel comprendere quali servizi sono adatti per quale compito.
Kundu ha osservato che Instacart ha dovuto implementare MCP e UCP in situazioni “molto diverse” e che i problemi maggiori riscontrati sono stati le modalità di errore e la latenza. “I tempi di risposta e la comprensione di entrambi questi servizi sono molto, molto diversi. Direi che probabilmente dedichiamo due terzi del nostro tempo a risolvere questi casi di errore.”
