Le aziende che stanno cercando di creare modelli di intelligenza artificiale più grandi sono diventate sempre più stagnanti a causa della mancanza di dati di formazione di alta qualità. Le aziende tecnologiche possono dipendere dai dati del potenziale utente sensibile in quanto ottengono il Web per ulteriori dati per alimentare i loro modelli. Un team di Google Research sta esplorando nuove strategie per ridurre la possibilità di “memorizzare” qualsiasi contenuto nel modello linguistico più grande (LLM).
LLMS hanno output non determinati, il che significa che non puoi prevedere cosa diranno. Sebbene l’output cambi anche per gli stessi input, i modelli a volte rientrano qualcosa dai loro dati di formazione – se addestrati con i dati personali, l’output può essere una violazione della privacy dell’utente. Nel caso in cui i dati protetti da copyright li trasformano in dati di addestramento (accidentalmente o intenzionalmente), la sua presenza in output può causare un diverso tipo di mal di testa per i div. La privacy differenziale può impedire questa memoria nazionale introducendo parole calibrate nella fase di allenamento.
L’aggiunta delle differenze in un modello all’accuratezza e ai requisiti di calcolo porta difetti. Nessuno ha disturbato per trovare una laurea che le leggi di ridimensionamento del modello AI cambiano ancora. Il team ha lavorato dal concetto che la performance del modello è stata originariamente influenzata dal rapporto di batch sonoro, che confronta i dati dei dati di addestramento originale con il volume di parole casuali.
Testing con dimensioni di modelli diversi e rapporto di lingua suono, il partito ha stabilito una comprensione preliminare della legge di ridimensionamento della privacy differenziale, che è il saldo tra il budget di calcolo, il budget per la privacy e il budget dei dati. In breve, più parole passano a output di bassa qualità senza offset con un budget di calcolo (flop) o un budget di dati (token) più elevato. Carta Dettagli delle leggi di ridimensionamento per LLM privati, che possono aiutare gli sviluppatori a trovare un rapporto di batch sonoro ideale per rendere un modello più personale.
