Questo effetto è stato forse più pronunciato tra le persone che non erano madrelingua inglese. Se i ricercatori limitassero l’analisi alle persone con nomi asiatici che lavorano presso istituzioni in Asia, i loro tassi di presentazione a BioArxiv e SSRN sono quasi raddoppiati quando hanno iniziato a utilizzare l’intelligenza artificiale e sono aumentati di oltre il 40% a RXIV. Ciò suggerisce che coloro che potrebbero non avere le competenze di inglese più approfondite stanno utilizzando il LLM per superare un grosso ostacolo: creare testi avvincenti.
Quantità contro qualità
Il valore di creare testi accattivanti non deve essere sottovalutato. “Gli articoli con un linguaggio chiaro ma complesso sono considerati più forti e vengono citati più frequentemente”, osservano i ricercatori, sottolineando che possiamo usare la qualità della scrittura come indicatore della qualità della ricerca che descrive. E hanno trovato qualche indicazione di ciò qui, dal momento che gli articoli non supportati dal LLM avevano maggiori probabilità di essere pubblicati nella letteratura sottoposta a revisione paritaria se utilizzavano un linguaggio complesso (gli abstract sono stati valutati per la complessità del linguaggio utilizzando diverse misure standard).
Ma la dinamica per gli articoli prodotti dal LLM era abbastanza diversa. La complessità del linguaggio negli articoli scritti con LLM era generalmente superiore a quella degli utenti del linguaggio naturale. Ma lo erano meno probabile Finalmente pubblicato. “Per i manoscritti assistiti da LLM”, hanno scritto i ricercatori, “la relazione positiva tra complessità linguistica e competenza scientifica non solo scompare, ma si inverte”.
Ma non tutte le differenze erano oscure. Quando i ricercatori hanno esaminato i riferimenti utilizzati negli articoli assistiti dall’intelligenza artificiale, hanno scoperto che i LLM non si limitavano a citare gli stessi articoli di tutti gli altri. Hanno invece citato una gamma più ampia di fonti ed erano più propensi a citare libri e articoli recenti. Pertanto, esiste la possibilità che l’uso dell’intelligenza artificiale possa in definitiva diversificare la ricerca pubblicata che altri ricercatori considerano (supponendo che controllino i propri riferimenti, cosa che chiaramente dovrebbero).
Cosa ci dice?
Ci sono alcune avvertenze sull’interpretazione di questi risultati. Uno, riconoscono i ricercatori, è che le persone potrebbero utilizzare l’intelligenza artificiale per creare testo primario che viene poi pesantemente modificato ed etichettato erroneamente come testo generato dall’uomo. Pertanto, è probabile che la prevalenza complessiva dell’uso dell’intelligenza artificiale sia elevata. Un’altra è che alcuni manoscritti potrebbero richiedere del tempo per essere pubblicati, quindi utilizzarli come standard di qualità scientifica potrebbe penalizzare le bozze recenti, quelle che più probabilmente implicano l’uso dell’intelligenza artificiale. Questi potrebbero in definitiva influenzare alcuni dei risultati, ma gli effetti osservati dagli autori erano così grandi che è improbabile che siano scomparsi del tutto.
