Cosa dovrebbero dire questi protocolli sulla sicurezza?
Ricercatori e sviluppatori non capiscono ancora davvero come funzionano i modelli di intelligenza artificiale e nuovi punti deboli vengono scoperti continuamente. Per le applicazioni di intelligenza artificiale in stile chatbot, i modelli di attacco dannoso possono causare da fare tutti i tipi di cose cattive, tra cui il rianimazione dei dati di allenamento e la tonificazione degli slar. Ma per gli agenti di intelligenza artificiale, che interagiscono con il mondo per conto di qualcuno, le possibilità sono molto rischiose.
Ad esempio, un agente di intelligenza artificiale, progettato per leggere e inviare e -mail a chiunque, è già stato fatto Mostrato Essere sensibile a un attacco di iniezione precoce indiretto. In sostanza, un’e -mail può essere scritta in un certo senso Dirottare Il modello AI e provoca malfunzionamento. Quindi, se quell’agente ha accesso ai file dell’utente, potrebbe essere chiesto di inviare documenti privati all’attaccante.
Alcuni ricercatori ritengono che protocolli come MCP dovrebbero impedire agli agenti di svolgere tali attività dannose. Tuttavia, questo non è in questo momento. “Inizialmente, non ha progetti di sicurezza”, afferma Jhorun Chen di uno studente di dottorato dell’Università di Chicago, che lavora su AI Agent Security e utilizza MCP Server.
Un ricercatore e attivista per la sicurezza, Bruce Shanaire sospetta che i protocolli come MCP saranno in grado di fare molto per ridurre i rischi sottostanti che arrivano con l’IA e sono preoccupati che dare più potere a tale tecnologia darà più potenziale per danneggiarlo nel mondo reale e fisico. “Non abbiamo buone risposte su come proteggere questo articolo”, afferma Shaneyer. “Sarà davvero una sessione di sicurezza.”
Altri sono più fiduciosi. La progettazione della sicurezza può essere aggiunta a MCP e A2A, come è per i protocolli Internet come HTTPS (sebbene la natura degli attacchi al sistema AI sia molto diversa). E catene e antropici credono che la standardizzazione di protocolli come MCP e A2A possa anche aiutare a rendere più facili da catturare e risolvere i problemi di sicurezza. Chen usa MCP nella sua ricerca in modo che vari programmi possano giocare negli attacchi in vari programmi per rendere meglio capire. Chu et Antropic crede che questi dispositivi possano consentire alle compagnie di sicurezza informatica di affrontare gli agenti più facilmente degli attacchi, poiché sarebbe facile disimballare a chi ha inviato cosa.
Quanto dovrebbero essere aperti questi protocolli?
Sebbene MCP e A2A siano due dei protocolli di agenti più popolari disponibili oggi, ce ne sono molti altri nei compiti. Grandi aziende Cisco E IBM Stanno lavorando sui propri protocolli e altri gruppi hanno progettato diversi OraProgettato da ricercatori dell’Università di Oxford, che in tempo reale aggiornano una comunicazione di agente dal linguaggio umano ai dati strutturati.
Molti sviluppatori sperano che alla fine possa essere un registro di sistemi sicuro e affidabile per navigare nella diffusione di agenti e attrezzature. Altri, comprese le catene, vogliono che gli utenti siano in grado di valutare vari servizi in qualcosa come un Yelp per gli strumenti di agente AI. Alcuni altri protocolli ALA hanno anche creato blockchain in cima a MCP e A2A per mostrare ai server che non sono solo spam.
