Tre discipline che differenziano le demo degli agenti IA dall’implementazione nel mondo reale

Garantire che gli agenti IA funzionino in modo affidabile non solo nelle demo ma anche nella produzione sta diventando più difficile di quanto le organizzazioni si aspettassero. Dati frammentati, flussi di lavoro poco chiari e tassi di escalation incontrollati stanno rallentando le implementazioni in tutti i settori.

“La tecnologia stessa generalmente funziona bene durante gli spettacoli”, ha affermato Sanchit Vir Gogia, principale analista di Greyhound Research. “La sfida inizia quando viene chiesto di operare all’interno della complessità di un’organizzazione reale.”

Burley Kawasaki e il suo team, che supervisionano l’implementazione degli agenti presso Creatio, hanno sviluppato una metodologia costruita attorno a tre discipline: virtualizzazione dei dati per superare le latenze del data Lake; dashboard degli agenti e KPI come livello di gestione; e cicli di casi d’uso strettamente delimitati per procedere verso un’elevata autonomia.

Nei casi d’uso più semplici, Kawasaki afferma che queste app consentono agli agenti di gestire da soli l’80-90% delle attività. Si stima che con un’ulteriore messa a punto saranno in grado di supportare la risoluzione autonoma in almeno la metà dei loro casi d’uso, anche in implementazioni più complesse.

“Le persone stanno facendo molti esperimenti su prove di concetti, molti test”, ha detto Kawasaki a VentureBeat. “Ma ora, nel 2026, stiamo iniziando a concentrarci su flussi di lavoro mission-critical che aumentano l’efficienza operativa o le entrate aggiuntive”.

Perché gli agenti continuano a fallire nella produzione?

Le organizzazioni sono ansiose di adottare l’intelligenza artificiale delle agenzie in una forma o nell’altra, soprattutto perché temono di essere escluse senza nemmeno identificare casi d’uso concreti nel mondo reale, ma si trovano ad affrontare colli di bottiglia significativi nell’architettura dei dati, nell’integrazione, nel monitoraggio, nella sicurezza e nella progettazione del flusso di lavoro.

Il primo ostacolo è quasi sempre legato ai dati, spiega Gogia. Le informazioni organizzative sono raramente disponibili in una forma organizzata o unificata; Si estende su piattaforme SaaS, applicazioni, database interni e altri archivi dati. Alcuni sono strutturati, altri no.

Ma anche se le aziende superassero il problema del recupero dei dati, l’integrazione rimane una sfida importante. Gogia ha osservato che gli agenti si affidano ad API e hook di automazione per interagire con le applicazioni, ma molti sistemi aziendali sono stati progettati molto prima che tale interazione autonoma diventasse realtà.

Ciò può comportare API mancanti o incoerenti e i sistemi potrebbero rispondere in modo imprevedibile quando si accede a livello di codice. Le organizzazioni incontrano ostacoli anche quando tentano di automatizzare processi che non sono mai stati formalmente definiti, ha affermato Gogia.

“Molti flussi di lavoro si basano sulla conoscenza tacita”, ha affermato. Quindi i dipendenti sanno come gestire le eccezioni che hanno già visto senza istruzioni esplicite; Ma quando i flussi di lavoro vengono tradotti in una logica di automazione, le regole e le istruzioni mancanti diventano sorprendentemente evidenti.

Ciclo di regolazione

Kawasaki ha spiegato che Creatio distribuisce gli agenti “in un ambito limitato con guardrail chiari”, seguiti da una fase di messa a punto e verifica “esplicita”. I team esaminano i risultati iniziali, apportano le modifiche necessarie e quindi riprovano fino a raggiungere un livello accettabile di precisione.

Questo ciclo di solito segue questo schema:

• Impostazione della fase di progettazione (prima della pubblicazione): Le prestazioni vengono migliorate attraverso la progettazione rapida, l’avvolgimento del contesto, le definizioni dei ruoli, la progettazione del flusso di lavoro e il radicamento di dati e documentazione.

• Correzione umana nel ciclo (durante l’esecuzione): Gli sviluppatori riconoscono, emettono o risolvono le eccezioni. Nelle situazioni in cui le persone necessitano di maggiore intervento (escalation o approvazione), gli utenti creano regole più forti, forniscono più contesto e aggiornano le fasi del flusso di lavoro; oppure limitano l’accesso agli strumenti.

• Ottimizzazione continua (dopo la pubblicazione): Gli sviluppatori continuano a monitorare i tassi di eccezione e le conseguenze, quindi si adeguano ripetutamente secondo necessità, contribuendo ad aumentare la precisione e l’autonomia nel tempo.

Il team di Kawasaki sta implementando la generazione aumentata con accesso ai rappresentanti della sede nelle basi di conoscenza aziendali, nei dati CRM e in altre risorse proprietarie.

Una volta distribuiti, gli agenti vengono monitorati con una dashboard che fornisce analisi delle prestazioni, approfondimenti sulle conversioni e verificabilità. In sostanza, gli agenti sono trattati come lavoratori digitali. Hanno il proprio livello di gestione con dashboard e KPI.

Ad esempio, un agente di reclutamento verrà incluso come interfaccia dashboard standard che fornisce il monitoraggio e la telemetria degli agenti. Questo fa parte del livello della piattaforma, inclusi orchestrazione, governance, sicurezza, esecuzione del flusso di lavoro, monitoraggio e posizionamento dell’interfaccia utente. "sopra LLM," Ha detto Kawasaki.

Gli utenti visualizzano un dashboard degli agenti in uso e ciascuno dei loro processi, flussi di lavoro e risultati eseguiti. Possono “approfondire” un singolo record (come un rinvio o un rinnovo) mostrando il registro di esecuzione passo passo e le relative comunicazioni per supportare la tracciabilità, il debug e l’ottimizzazione degli strumenti. Le normative più comuni includono logica e incentivi, regole aziendali, contesto immediato e accesso ai veicoli, ha affermato Kawasaki.

I maggiori problemi che sorgono dopo la distribuzione:

• Il volume di gestione delle eccezioni può essere elevato: I primi picchi nei casi limite si verificano spesso finché non vengono impostati i guardrail e i flussi di lavoro.

• Qualità e integrità dei dati: Campi e documenti mancanti o incoerenti possono comportare un’escalation; I team possono determinare a quali dati dare priorità per la linea di base e quali controlli automatizzare.

• Controllabilità e fiducia: I clienti regolamentati, in particolare, necessitano di registri chiari, approvazioni, controllo degli accessi basato sui ruoli (RBAC) e audit trail.

“Spieghiamo sempre che è necessario prendersi il tempo necessario per educare gli agenti”, ha detto a VentureBeat il CEO di Creatio Katherine Kostereva. «Non avviene subito quando si apre l’agenzia, ci vuole tempo per capirlo fino in fondo, poi il numero degli errori diminuirà».

"Preparazione dei dati" non sempre richiede una revisione

Quando consideri la disintermediazione, potresti chiedere: “I miei dati sono pronti?” è una delle prime domande frequenti. Le organizzazioni sanno che l’accesso ai dati è importante, ma può essere disattivato da un importante progetto di consolidamento dei dati.

Tuttavia, le connessioni virtuali possono consentire agli agenti di accedere ai sistemi sottostanti e di bypassare le tipiche latenze di data lake/lakehouse/warehouse. Il team di Kawasaki ha creato una piattaforma che si integra con i dati e sta attualmente lavorando su un approccio per inserire i dati in un oggetto virtuale, elaborarli e utilizzarli come un oggetto standard per interfacce utente e flussi di lavoro. In questo modo, non devono “rimuovere o duplicare” grandi volumi di dati nei loro database.

Kawasaki ha affermato che questa tecnica potrebbe essere utile in settori come quello bancario, dove i volumi delle transazioni sono troppo grandi per essere copiati nel CRM ma “sono comunque preziosi per l’analisi e i trigger dell’intelligenza artificiale”.

Una volta create le integrazioni e gli oggetti virtuali, i team possono valutare la completezza, la coerenza e la disponibilità dei dati e identificare punti di partenza a basso attrito (come flussi di lavoro ricchi di documenti o non strutturati).

Kawasaki ha sottolineato l’importanza di “utilizzare veramente i dati nei sistemi sottostanti”; questi dati tendono comunque ad essere i più puliti o la fonte della verità.

Rendere i rappresentanti idonei al lavoro

L’opzione ottimale per gli agenti autonomi (o quasi autonomi) sono flussi di lavoro ad alto volume con “struttura chiara e rischio controllabile”, ha affermato Kawasaki. Ad esempio, attività di sensibilizzazione standardizzate come l’acquisizione e la verifica di documenti o i rinnovi e le segnalazioni in materia di assunzione o preparazione di prestiti.

“È qui che puoi davvero misurare e ottenere un ROI significativo, soprattutto quando puoi collegarlo a processi molto specifici all’interno di un settore”, ha affermato.

Ad esempio, le istituzioni finanziarie sono spesso silenziose per natura. I team di credito commerciale effettuano la gestione patrimoniale nel proprio ambiente, ma in un altro ambiente. Ma un agente autonomo può esaminare i dipartimenti e i singoli archivi dati per identificare i clienti aziendali che potrebbero essere buoni candidati per la gestione patrimoniale o i servizi di consulenza, ad esempio.

“Pensi che questa sarebbe un’opportunità ovvia, ma nessuno sta guardando tutti i silos”, ha detto Kawasaki. Ha affermato che alcune banche che hanno implementato broker proprio in questo scenario hanno visto “benefici di milioni di dollari in maggiori entrate”, senza nominare istituzioni specifiche.

Ma in altri casi, in particolare nei settori regolamentati, gli intermediari con un contesto più lungo non sono solo preferiti ma necessari. Ad esempio, in attività in più fasi come raccogliere, riassumere, confrontare prove tra sistemi, redigere comunicazioni e produrre giustificazioni verificabili.

“L’agente non ti risponde immediatamente”, ha detto Kawasaki. “Possono essere necessarie ore o giorni per completare tutte le attività end-to-end.”

Ciò richiede l’esecuzione orchestrata degli agenti piuttosto che “un’enorme richiesta”, ha affermato. Questo approccio suddivide il lavoro in passaggi deterministici che devono essere eseguiti dai sub-agenti. La gestione della memoria e dei contenuti può essere mantenuta in vari passaggi e periodi di tempo. L’utilizzo di RAG può aiutare a mantenere gli output legati alle fonti approvate e gli utenti hanno la possibilità di dettare l’estensione alle condivisioni di file e ad altri repository di documenti.

Questo modello generalmente non richiede una riqualificazione speciale o un nuovo modello base. Kawasaki ha affermato che, indipendentemente dal modello utilizzato dalle aziende (GPT, Claude, Gemini), le prestazioni migliorano attraverso referenze, definizioni di ruolo, strumenti controllati, flussi di lavoro e messa a terra dei dati.

Il ciclo di feedback pone “ulteriore enfasi” sui checkpoint intermedi, ha affermato. Le persone esaminano i lavori intermedi (come riassunti, fatti estratti o bozze di proposte) e correggono gli errori. Questi possono poi essere tradotti in regole e risorse di accesso migliori, ambiti di strumenti più ristretti e modelli migliorati.

“Ciò che è importante per questo stile di veicolo autonomo è che si fondono il meglio di entrambi i mondi: il controllo e la potenza della vera orchestrazione con il ragionamento dinamico dell’intelligenza artificiale”, ha affermato Kawasaki. ha detto.

In definitiva, i broker hanno bisogno di modifiche coordinate all’architettura aziendale, di nuovi framework di orchestrazione e di controlli di accesso aperti, ha affermato Gogia. Agli agenti dovrebbero essere assegnate identità per limitare i loro privilegi e mantenerli entro i limiti. L’osservabilità è fondamentale; gli strumenti di monitoraggio possono registrare i tassi di completamento delle attività, gli eventi di escalation, le interazioni del sistema e i modelli di errore. Questo tipo di valutazione dovrebbe essere una pratica permanente e dovrebbe essere testata per vedere come gli agenti reagiscono di fronte a nuovi scenari e input insoliti.

“Una volta che un sistema di intelligenza artificiale può entrare in azione, le aziende devono rispondere a una serie di domande che raramente sorgono durante le implementazioni del copilota”, ha affermato Gogia. Ad esempio: a quali sistemi è consentito l’accesso all’agente? Che tipo di transazioni può eseguire senza approvazione? Quali attività dovrebbero sempre richiedere il giudizio umano? Come verrà registrata e rivista ogni azione?

“(Le aziende) che sottovalutano la sfida spesso si ritrovano bloccate in acrobazie che sembrano impressionanti ma non riescono a resistere all’effettiva complessità operativa”, ha affermato Gogia.

Collegamento alla fonte