Kosmos: lo scienziato dell’intelligenza artificiale afferma di aver svolto sei mesi di ricerca in poche ore

Uno scienziato dell’intelligenza artificiale può lavorare in modo indipendente per ore e condurre ricerche che richiederebbero mesi per essere completate dagli esseri umani, e ha dato diversi “contributi unici” alla scienza, affermano i suoi creatori, ma altri sono più dubbiosi.

Il sistema chiamato Kosmos è in realtà una raccolta di agenti IA specializzati nell’analisi dei dati e nella ricerca nella letteratura scientifica esistente nel tentativo di fare nuove scoperte scientifiche.

“Abbiamo lavorato per circa due anni alla creazione di uno scienziato specializzato in intelligenza artificiale”, afferma Sam Rodrigues Presso Edison Scientific, l’azienda statunitense dietro Cosmos. “E il limite degli scienziati dell’IA rilasciati fino ad oggi è sempre stato nella complessità delle idee che riescono a proporre”.

Kosmos mira a risolvere questo problema. Durante una corsa tipica, che può durare fino a 12 ore, un utente inserisce un set di dati scientifici e Kosmos cerca e analizza circa 1500 documenti accademici rilevanti, scrivendo ed eseguendo 42.000 righe di codice per interrogare i dati. Alla fine di un ciclo, l’intelligenza artificiale riassume i risultati, le citazioni o i dati e crea un piano per ulteriori analisi che può essere utilizzato come input per un altro ciclo.

Dopo un determinato numero di cicli, il sistema produce un rapporto con le citazioni pertinenti, traendo conclusioni scientifiche simili a un articolo accademico. Una valutazione di un gruppo di accademici ha rilevato che i suoi 20 cicli equivarrebbero a circa sei mesi del loro tempo di ricerca.

Le conclusioni del sistema sembrano essere sostanzialmente accurate, afferma Rodrigues. Edison ha chiesto a persone con almeno una conoscenza di biologia a livello di dottorato di valutare 102 affermazioni fatte da Kosmos. Il team ha scoperto che il 79,4% di queste erano complessivamente supportate, con l’85,5% delle affermazioni relative all’analisi dei dati e l’82,1% delle affermazioni corrispondenti a quelle presenti nella letteratura esistente. Tuttavia, Kosmos è incapace di mettere tutto insieme per fare nuove affermazioni su scoperte scientifiche: qui è accurato solo il 57,9% delle volte.

Edison afferma che Kosmos ha fatto sette scoperte scientifiche che sono state convalidate esternamente e replicate da esperti indipendenti nel settore utilizzando set di dati esterni o vari metodi. Il team dietro Cosmos afferma che mentre quattro delle scoperte erano in realtà nuove, le restanti tre esistevano già, anche se in preprint o in documenti inediti.

Una delle scoperte rivendicate è un nuovo metodo per rilevare quando i percorsi cellulari falliscono mentre la malattia di Alzheimer progredisce. Un’altra prova è che le persone che hanno più di un enzima antiossidante naturale chiamato superossido dismutasi 2 (SOD2) nel sangue hanno meno malattie cardiache.

Ma altri che lavorano nel campo hanno reazioni contrastanti a queste affermazioni. Diciamo che SOD2 “scoperto” non è niente del genere Fergus Hamilton Università di Bristol, Regno Unito. Dice: “Quella particolare affermazione causale probabilmente non regge all’esame accurato come una scoperta nuova, e ci sono difetti metodologici nel modo in cui l’analisi è stata condotta”. Rodrigues riconosce che la SOD2 è stata precedentemente scoperta nei topi, ma un esperto in materia che lavora con Edison afferma che questa è la prima volta che viene osservata a livello di popolazione umana utilizzando la genomica.

Hamilton afferma inoltre che il codice di analisi dei dati che l’agente ha tentato di eseguire non funzionava correttamente, quindi Cosmos ha ignorato quelli che sarebbero stati dati importanti, ma è comunque giunto alle stesse conclusioni del lavoro preesistente.

“Ha fatto una serie di ipotesi che sarebbe stato davvero importante concretizzare nell’analisi vera e propria”, afferma. “I pacchetti software falliscono completamente e quindi li ignora.” Inoltre, suggerisce che in questo esempio i dati sono stati così preelaborati che Kosmos “probabilmente ha completato il 10% del lavoro”.

Hamilton attribuisce il merito alla squadra dietro Cosmos impegnarsi con le sue domande E preoccupazioni sui social. “In teoria si tratta di un progresso davvero positivo, ma forse la critica tecnica particolare di questo lavoro è che non è affatto buono”, afferma.

“Sono molto aperto all’idea che alcune delle conclusioni che presentiamo possano essere sbagliate o imperfette, e questo fa parte della scienza”, afferma Rodrigues. “Il fatto che si stia verificando una critica così sofisticata, però, penso che dimostri la potenza del sistema.”

Altri sono impressionati dalle prestazioni generali del Kosmos. “Ciò dimostra il grande potenziale dell’intelligenza artificiale nel supportare la scoperta scientifica, ma sarei cauto riguardo all’uso autonomo di uno scienziato dell’intelligenza artificiale”, afferma Ben Glocker Imperial College di Londra. “Il lavoro mostra alcuni ottimi esempi di successo, ma sappiamo molto poco dei suoi modelli di fallimento.”

“Credo che dovremmo abbracciare strumenti come Kosmos e sviluppare altri strumenti simili, ma non dovremmo perdere di vista che nella scienza c’è molto di più oltre a questa semplice metodologia basata sui dati”, afferma. noah giansiracusa alla Bentley University nel Massachusetts. “C’è anche un pensiero profondo, una creatività profonda, e sarebbe sciocco voltargli le spalle perché la scienza che possiamo automatizzare è più adatta all’intelligenza artificiale”.

Lo stesso Rodrigues ammette che Kosmos dovrebbe essere utilizzato come strumento aggiuntivo e non come sostituto per gli scienziati. “Può fare cose molto, molto, molto potenti”, dice. “Devi ancora andare avanti, leggere e verificare. E non sarà corretto il 100% delle volte.”