Quando l’utilizzo medio giornaliero di token è di 8 miliardi, hai un problema su larga scala. Questo è stato anche il caso di AT&T, e il responsabile dei dati Andy Markus e il suo team si sono resi conto che semplicemente non era possibile (o economico) gestire tutto attraverso grandi modelli di ragionamento. Pertanto, durante la creazione di un assistente personale interno per AT&T, hanno anche ristrutturato il livello di orchestrazione. Il risultato: uno stack multi-agente costruito su LangChain, in cui i “super-agenti” del modello linguistico di grandi dimensioni dirigono agenti “lavoratori” sottostanti più piccoli che eseguono corse più brevi e ad hoc. Markus ha dichiarato a VentureBeat che questo livello di orchestrazione flessibile migliora significativamente la latenza, la velocità e i tempi di risposta. La cosa più importante è che il suo team ha ottenuto risparmi sui costi fino al 90%. “Credo che il futuro dell’IA agentica sia basato su molti, molti, molti piccoli modelli linguistici (SLM)”, ha affermato. “Abbiamo scoperto che i modelli linguistici di piccole dimensioni sono quasi altrettanto accurati, anche se non così accurati, come un modello linguistico di grandi dimensioni in un dato dominio”.
Di recente, Markus e il suo team hanno utilizzato questo stack riprogettato con Microsoft Azure per creare e distribuire Ask AT&T Workflows, un generatore di strumenti grafici drag-and-drop per consentire ai lavoratori di automatizzare le attività.
Gli agenti sfruttano una suite di strumenti proprietari AT&T che eseguono l’elaborazione dei documenti, la conversione dal linguaggio naturale a SQL e l’analisi delle immagini. “I dati di AT&T sono ciò che realmente guida le decisioni durante l’esecuzione del flusso di lavoro”, ha affermato Markus. Invece di porre domande generali, “poniamo domande sui nostri dati e utilizziamo i nostri dati per assicurarci che concentrino le nostre informazioni quando prendiamo decisioni”. Eppure un essere umano controlla sempre la “reazione a catena” degli agenti. Tutte le azioni degli agenti vengono registrate, i dati vengono isolati durante tutto il processo e l’accesso basato sui ruoli viene applicato quando gli agenti delegano i carichi di lavoro a vicenda. “Le cose accadono in modo indipendente, ma l’essere umano nel ciclo mantiene comunque il controllo e l’equilibrio dell’intero processo”, ha affermato Markus.
Evitare la sovracostruzione utilizzando modelli “intercambiabili e selezionabili”.
AT&T non ci vorrà molto "costruire tutto da zero" Come ha affermato Markus, la mentalità è; piuttosto, si basa su modelli che sono “modificabili e selezionabili” e “non ricostruiscono mai una proprietà”. Ha spiegato che man mano che la funzionalità matura in tutto il settore, verranno gradualmente eliminati gli strumenti interni a favore di opzioni standardizzate. “Perché le cose in questo campo cambiano ogni settimana, a volte più volte alla settimana se siamo fortunati”, ha detto. “Dobbiamo essere in grado di pilotare, installare e rimuovere diversi componenti”. Fanno valutazioni “molto rigorose” di se stessi e delle opzioni disponibili; ad esempio, Ask Data con Relational Knowledge Graph ha superato le classifiche di accuratezza SQL degli script Spider 2.0 e altri strumenti hanno ricevuto punteggi elevati nel benchmark BERT SQL. Quando si tratta di strumenti di intermediazione interni, il suo team utilizza LangChain come framework principale, mette a punto modelli con generazione aumentata di accesso standard (RAG) e altri algoritmi interni e lavora a stretto contatto con Microsoft utilizzando la funzione di ricerca del colosso tecnologico per i negozi di vettori. Ma alla fine, ha consigliato Markus, è importante non includere l’intelligenza artificiale o altri strumenti avanzati in ogni cosa. “A volte complichiamo eccessivamente le cose”, ha detto. “A volte vedo una soluzione che richiede un’ingegneria eccessiva.” Invece, i costruttori dovrebbero chiedersi se un particolare strumento debba davvero essere uno strumento. Ciò potrebbe includere domande come: quale livello di precisione potrebbe essere raggiunto se esistesse una soluzione produttiva più semplice e a ciclo unico? Come potrebbe essere suddiviso in parti più piccole in cui ciascuna parte potrebbe essere consegnata “in modo molto più accurato”, come dice Markus? Precisione, costo e sensibilità dello strumento dovrebbero essere i principi di base. “Anche se le soluzioni diventano più complesse, questi tre principi fondamentali ci danno ancora molta direzione”, ha affermato.
Come lo utilizzano effettivamente 100.000 dipendenti?
Chiedi ad AT&T I flussi di lavoro sono disponibili per più di 100.000 dipendenti. Più della metà afferma di usarlo ogni giorno e gli utenti attivi segnalano incrementi di produttività fino al 90%, ha affermato Markus. “Guardiamo se usano il sistema più e più volte? Perché la persistenza è un buon indicatore di successo”, ha detto. L’agent builder offre ai dipendenti “due viaggi”. Uno è il pro-code, in cui gli utenti possono programmare Python dietro le quinte e dettare le regole su come dovrebbero funzionare gli agenti. L’altro è privo di codice e ha un’interfaccia visiva drag-and-drop per “un’esperienza utente piuttosto leggera”, ha affermato Markus. È interessante notare che anche gli utenti esperti tendono a optare per la seconda opzione. In un recente hackathon per un pubblico tecnico, ai partecipanti è stata data la possibilità di sceglierli entrambi, e più della metà ha scelto il low code. “Questa è stata una sorpresa per noi perché queste persone erano tutte molto talentuose nella programmazione”, ha detto Markus. I dipendenti utilizzano gli agenti in una varietà di funzioni; ad esempio, un tecnico di rete può creare una serie di avvisi per gestire gli avvisi e riconnettersi con i clienti quando perdono la connessione. In questo scenario, un agente può correlare i dati di telemetria per identificare il problema di rete e la posizione, recuperare i registri delle modifiche e verificare la presenza di problemi noti. È quindi possibile aprire la segnalazione del problema. Un altro agente può quindi trovare modi per risolvere il problema o persino scrivere nuovo codice per risolvere il problema. Una volta risolto il problema, un terzo rappresentante può scrivere una sintesi con le misure preventive per il futuro. “L’ingegnere (umano) monitorerà tutto questo, si assicurerà che gli agenti si comportino come previsto e intraprendano le azioni giuste”, ha affermato Markus.
Il futuro della codifica basata sull’intelligenza artificiale
Quella stessa disciplina ingegneristica – suddividere il lavoro in parti più piccole e costruite appositamente – sta ora rimodellando quello che Markus chiama il modo in cui AT&T scrive il proprio codice. "Codifica supportata dall’intelligenza artificiale."
Ha paragonato il processo a RAG; gli sviluppatori utilizzano metodi di codifica agili in un ambiente di sviluppo integrato (IDE), nonché archetipi di struttura “specifici per funzione” che specificano come il codice dovrebbe interagire. L’output non è un codice sciolto; Il codice è “molto vicino alla qualità di produzione” e può raggiungere quella qualità in un colpo solo. “Abbiamo lavorato tutti con la codifica jitter, dove avevamo un editor di codice dell’agenzia”, ha detto Markus. Ma la codifica basata sull’intelligenza artificiale “elimina gran parte dell’iterazione avanti e indietro che potresti vedere nella codifica interlacciata”. Secondo lui questa tecnica di codifica è qualcosa che “ridefinisce in modo tangibile” il ciclo di sviluppo del software, abbreviando in definitiva i tempi di sviluppo e aumentando l’output del codice a livello di produzione. I team non tecnici possono anche iniziare utilizzando un linguaggio semplice per creare prototipi software. Ad esempio, il suo team ha utilizzato questa tecnica per creare un prodotto di dati curato internamente in 20 minuti; Senza l’intelligenza artificiale, ci sarebbero volute sei settimane per costruirlo. “Con esso sviluppiamo software, modifichiamo software, ci occupiamo di scienza dei dati, di analisi dei dati, di ingegneria dei dati”, ha affermato Markus. “Quindi questo è un punto di svolta.”
