In genere, le aziende danno priorità all’accuratezza durante la creazione, la formazione e l’implementazione dell’intelligenza artificiale. E questo è senza dubbio importante; Ma in settori altamente complessi e ricchi di sfumature come quello legale, la precisione da sola non è sufficiente. Rischi più elevati significano standard più elevati: risultati del modello; dovrebbero essere valutati per rilevanza, autorità, accuratezza delle citazioni e tassi di allucinazioni.
Per affrontare questo enorme compito, LexisNexis Oltre alla generazione aumentata di accesso standard (RAG), la grafica si è evoluta in RAG e grafica mediata; è stato anche costruito "pianificatore" E "riflesso" Agenti IA che analizzano le richieste e criticano il proprio output.
“Non esiste una ‘intelligenza artificiale perfetta’ perché non è mai possibile ottenere il 100% di precisione o il 100% di conformità, soprattutto in campi complessi e ad alto rischio come quello legale”, ammette Min Chen, vicepresidente senior e direttore dell’intelligenza artificiale di LexisNexis, in un nuovo podcast di VentureBeat Beyond the Pilot.
L’obiettivo è gestire il più possibile questa incertezza e trasformarla in un valore coerente per il cliente. “Alla fine, ciò che conta di più per noi è la qualità del risultato dell’intelligenza artificiale, e questo è un viaggio continuo di prove, iterazione e miglioramento”, ha affermato Chen.
Ottieni risposte “complete” a domande versatili
Per valutare i modelli e i loro risultati, il team di Chen ha creato più di una mezza dozzina di “sottometriche” per misurare l'”utilità” sulla base di una varietà di fattori (autorità, accuratezza delle citazioni, tassi di allucinazioni) così come la “completezza”. Questa metrica specifica è progettata per valutare se una risposta complessiva dell’intelligenza artificiale affronta pienamente tutti gli aspetti delle domande legali degli utenti.
“Quindi non è solo una questione di rilevanza”, ha detto Chen. “La completezza indica direttamente l’affidabilità giuridica.”
Ad esempio, un utente può porre una domanda che richiede una risposta che copra cinque diverse questioni legali. La Gen AI può fornire una risposta che affronta con precisione tre di questi. Tuttavia, sebbene pertinente, questa risposta parziale è incompleta e insoddisfacente per l’utente. Ciò può essere fuorviante e comportare rischi nella vita reale.
Oppure, ad esempio, alcune citazioni potrebbero essere semanticamente rilevanti per la domanda dell’utente, ma alla fine potrebbero puntare ad argomenti o esempi respinti in tribunale. “I nostri avvocati riterranno che questi non possano essere citati”, ha detto Chen. “Se non vengono citati, non sono utili.”
Andare oltre il RAG standard
LexisNexis ha lanciato il suo prodotto AI di punta, Lexis+ AI, nel 2023, uno strumento AI legittimo per la redazione, la ricerca e l’analisi. Si basa su un framework RAG standard e su una ricerca vettoriale ibrida, basando le risposte sulla base di conoscenza affidabile e autorevole di LexisNexis.
L’azienda ha successivamente lanciato l’assistente legale personale Protégé nel 2024. Questo strumento aggiunge uno strato di grafico della conoscenza oltre alla ricerca vettoriale per superare la “limitazione fondamentale” della pura ricerca semantica. Sebbene “molto brava” nel trovare contenuti contestualmente rilevanti, la ricerca semantica “non sempre garantisce risposte autorevoli," Ha detto Chen.
La prima ricerca semantica restituisce il contenuto che ritiene rilevante; Il team di Chen poi analizza questi rendimenti attraverso un grafico “punto di legge”, filtrando ulteriormente i documenti più affidabili.
Il team di Chen va oltre, sviluppando grafici di agenzia e accelerando l’automazione in modo che gli agenti possano pianificare ed eseguire attività complesse in più fasi.
Ad esempio, gli “agenti pianificatori” autogestiti per le domande e risposte di ricerca suddividono le domande degli utenti in più sotto-domande. Gli utenti umani possono rivederli e modificarli per perfezionare e personalizzare ulteriormente le risposte finali. Nel frattempo, un “rappresentante di riflessione” gestisce la stesura del documento transazionale. Può criticare la sua prima bozza in “modo automatico e dinamico”, quindi incorporare il feedback e perfezionarlo in tempo reale.
Ma Chen ha detto che tutto questo non riguarda l’eliminazione delle persone dal mix; Esperti umani e agenti di intelligenza artificiale possono “imparare, ragionare e crescere insieme”. “Vedo il futuro come una collaborazione più profonda tra gli esseri umani e l’intelligenza artificiale”.
Guarda il podcast per saperne di più su:
-
Come è avvenuta l’acquisizione di LexisNexis? Servo Ho contribuito a mettere a punto modelli di intelligenza artificiale con dati proprietari LexisNexis e dati dei clienti;
-
Differenza tra valutazione deterministica e non deterministica;
-
Perché le aziende dovrebbero identificare i KPI e le definizioni di successo prima di passare alla sperimentazione;
-
L’importanza di concentrarsi su un “triangolo” di componenti chiave: costo, velocità e qualità.
Puoi anche ascoltare e iscriverti. Oltre il pilota Aprire Spotify, Mela o ovunque trovi i tuoi podcast.
