Il ricercatore rende GPT-Ooss-20B un modello di base irragionevole

Ciò significa che passano attraverso una fase aggiuntiva in cui i comportamenti desiderati sono esposti agli esempi curatorici.

Per i modelli di istruzioni, ciò significa fornire molti esempi di istruzioni abbinate a risposte ideali, quindi impara a rispondere alle esigenze del linguaggio naturale più utili, educatamente o in sicurezza.

I modelli GPT-OOSS di Openai posti il 5 agosto “La ragione è stata ottimizzata”: non solo per prevedere la parola successiva, ma anche per entrare nei problemi relativi alla “catena di pensieri strutturati prima di produrre una risposta finale.

Questa è una tendenza adottata dal modello O1 di Openai, che è stato rilasciato nel settembre 2024 quasi un anno fa, ma adottata da molti principali laboratorio di intelligenza artificiale – Costringere i modelli a pensare più a lungo in più passaggi e a controllare il proprio lavoro prima Una buona risposta logica all’utente.

Ciò li rende più appropriati per compiti come la codifica, la risoluzione di problemi di matematica o la risposta a domande reali con spiegazioni – significa anche che le loro risposte sono filtrate e rimosse da contenuti non sicuri o indesiderati.

Un modello di base è diverso. Questa è la versione grezza e preventiva di un modello linguistico di grandi dimensioni prima di applicare l’allineamento del ragionamento. I modelli di base cercano di stimare il testo successivo senza precedenti macellai in arrivo, in costruzione, preferenze stilistiche o comportamento di rifiuto.

Sono premiati da alcuni ricercatori perché Può produrre un output più diversificato e meno limitato, E perché esaminare i loro comportamenti uniformi Metti le informazioni e i modelli di modelli dai dati di formazione.

L’obiettivo di Morris era di “il processo di allineamento di Openai di Openai e ripristinare il più piccolo GPT-OOS-20B a qualcosa di molto più vicino alla sua situazione preventiva originale.

“Fondamentalmente, abbiamo invertito l’allineamento della formazione LLM, quindi abbiamo qualcosa che produce di nuovo un testo naturale”, ha scritto Una particella di lavoro X che annuncia il progetto. “Non sta più andando al lettino.

Invece di cercare di fare il jailbreak con richieste intelligenti che Morris si rivela inefficace durante i suoi primi esperimenti, il suo modello ha ricevuto una lotta diversa dopo una conversazione con l’ex fondatore di Openai, ex ricercatore antropico e macchine di pensiero esistenti. Scienziato capo John Schulman.

L’interruttore era quello di pensare all’allineamento opposto come un piccolo problema di ottimizzazione: se la maggior parte della conoscenza preventiva del modello esiste ancora al suo peso, potrebbe solo aver bisogno di un piccolo aggiornamento basso per spingerlo verso il comportamento del modello di base.

Morris ha applicato questa idea applicando un aggiornamento Lora (adattatore di basso grado) ai livelli MLP nelle posizioni di posizione-7, 15 e 23 del modello.

Ciò significava lo 0,3% di circa 60 milioni di parametri o un totale di 21 miliardi di persone. Ha usato circa 20.000 documenti dal set di dati FineWeb e ha mantenuto il formato il più vicino al pregiudizio originale (“…”. Stile), in modo che il modello non solo imparisse qualcosa di nuovo, solo un’efficace generazione di testo libera.

L’allenamento ha impiegato quattro giorni in otto GPU NVIDIA H200, Morris ha raccontato VentureBeat con un messaggio diretto sulla X, con un rapporto di apprendimento 2E-6, una dimensione del partito di 16 parti e un massimo di serie JETHEGNO 8,192.

Più tardi, Lora ha unito il loro peso al modello, in modo che gli utenti possano eseguirlo come un lavoro indipendente e completamente fallito.

Morris ha anche dovuto combattere i limiti dei veicoli aperti esistenti per gli architetti di Architetti di esperti (MOE) di MOE (MOE) come GPT-GPT.

Morris ha affermato di essere crollato frequentemente e di supportare solo alcune modalità educative e ha usato il quadro di abbraccio, che ha scritto la sua imbracatura per saltare le parti di dati che corrono il rischio di sovraccaricare la memoria della GPU.

Morris, in risposta alle domande e alle critiche della comunità di AI in X in X, Morris ha spiegato che non ha affermato di salvare il modello di base “pesa Olan, l’ambiente interno dei neuroni artificiali che costituiscono la rete nervosa del modello e gestiscono il comportamento.

Al contrario, Morris è la “distribuzione del modello di base del modello di base * con qualche errore”, ovvero i modelli di probabilità utilizzati dal modello per produrre output, sebbene i pesi che producono questi schemi siano diversi.

In che modo il comportamento del nuovo modello GPT-OOS-20B-Base è diverso da GPT-OOS-20B?

Le uscite GPT-OOS-20B-Base risultanti sono significativamente più libere. Non si presume più spiegare il ragionamento passo dopo passo e produrrà una gamma più ampia di risposta, Il modello allineato di Openai, comprese le istruzioni, Costruire un’arma, elencare maledizioni o pianificare attività illegali.

Morris lo ha trovato in brevi test Può riprodurre parti dal copyright alla parola.per contenere Tre delle sei citazioni del libro che ha provato, Mostra che alcuni materiali memorizzati sono ancora accessibili.

Tuttavia, rimangono alcune tracce di allineamento. Morris ha detto che se vuoi il modello in un formato assistente (“Human: … Assistente: …”), a volte si comporta ancora come un educato chatbot. E Quando passa attraverso il modello di chat GPT-ORS originale, può comunque svolgere compiti di ragionamento.Sebbene ci sia una perdita di qualità.

Per i migliori risultati in modalità di testo gratuito, l’inizio della moneta di sequenza speciale del modello <| startOftext |> Propone di preparare richieste ed evitare completamente i modelli di chat.

Big GPT-Ooss Family Building di Openi

La famiglia GPT-Ooss ha attirato grande attenzione. Sono stati costruiti due modelli-GPT-OOS -20B e GPT-OOS-20B con architettura del trasformatore, una miscela di esperti multilingue. Sono stati rilasciati con la licenza Apache 2.0, che ha consentito un uso locale illimitato, una messa a punto e una distribuzione commerciale.

I criteri di prestazione di OpenAI hanno mostrato che il modello 120B più grande abbinava o superato con O4-Mini speciale nel ragionamento e usa le attività e gareggiava con la più piccola o3-mini da 20B.

Questa è stata la prima versione aperta di Openai in sei anni, Risposta alla pressione della concorrenza di altri fornitori di peso aperto, tra cui Deepseek R1 e Qwen 3 della Cina.

La società ha posizionato il GPT-Ooss come un modo per reinterarsi come piattaforma per la ricerca sulla sicurezza su entrambi gli sviluppatori è passato ai modelli open source avversari e ai sistemi a ponte aperta.

La reazione al primo GPT-Ooss è stata mista

La risposta allo sviluppo di Openi ai modelli GPT-Oosses è stata decisamente mescolata con reazioni da entusiasti alla delusione per il consiglio.

I sostenitori hanno elogiato la laurea, la produttività e la forte dimostrazione che hanno consentito criteri STEM.

Abbracciare il CEO di Face ha chiamato Clem Delague versione come “un contributo significativo a un ecosistema aperto e ha invitato la società a dedicare il tempo alla maturazione.

I critici hanno sostenuto che i modelli sembrano essere intensamente addestrati su dati sintetici, perfetti in matematica e codifica, ma sono meno capaci di scrivere creativi, conoscenza mondiale generale e ragionamento multilingue.

Alcuni primi tester hanno anche aumentato le preoccupazioni sui filtri di sicurezza in corso e sui possibili pregiudizi geopolitici.

Contro quel terreno, GPT-OOS-20B-Bas-Baz di Morris si distingue come un esempio concreto di come i modelli a peso aperto possono essere adattati e riprogettati nei giorni selvaggi dopo il rilascio del mercato.

In effetti, contrariamente alla ricezione del GPT-Ooss di Openi, la maggior parte delle risposte al lavoro di Morris sono calde e gioiose. Come Uno scienziato informatico ha scritto su x: “Questa è la cosa più bella che abbia mai visto su Twitter negli ultimi mesi.”

L’approccio elimina la maggior parte del comportamento consolidato di Openi e riporta il modello a qualcosa di più vicino a un sistema grezzo e preventivo – un prezioso cambiamento per i ricercatori che esaminano l’effetto di memorizzazione, pregiudizio o allineamento, ma ciò comporta rischi per la sicurezza più elevati.

Oltretutto, Dice Morris Il ripristino dei modelli di ragionamento per i modelli di base precedentemente addestrati e non esperti continuerà confrontando l’estrazione dando istruzioni a modelli come quelli che non adorano e presentati da Qwen.