I modelli di intelligenza artificiale Gemini di Google sono migliorati a passi da gigante nell’ultimo anno, ma puoi utilizzare Gemini solo secondo i termini di Google. I modelli Gemma open-weight dell’azienda offrono più libertà, ma il Gemma 3 lanciato un anno fa sta diventando un po’ vecchiotto. Da oggi gli sviluppatori possono iniziare a lavorare Gemma 4disponibile in quattro dimensioni ottimizzate per l’uso locale. Google ha riconosciuto la frustrazione degli sviluppatori riguardo alle licenze AI, quindi sta eliminando la licenza Gemma personalizzata.
Come le versioni precedenti dei suoi modelli open source, Google ha progettato Gemma 4 per essere utilizzabile su macchine locali. Può certamente significare molte cose. Le due varianti Gemma più grandi, la 26B Mixture of Experts e la 31B Dens, sono progettate per funzionare in modo ridondante in formato bfloat16 su una singola GPU Nvidia H100 da 80 GB. Bene, è un acceleratore AI da $ 20.000, ma è pur sempre hardware locale. Se quantizzati per funzionare con precisione inferiore, questi modelli più grandi si adatteranno alle GPU consumer.
Google afferma inoltre di essersi concentrata sulla riduzione della latenza per sfruttare veramente l’elaborazione nativa di Jema. Il modello 26B della miscela di esperti attiva solo 3,8 dei suoi 26 miliardi di parametri in modalità di inferenza, producendo molti più token al secondo rispetto ai modelli della stessa dimensione. Nel frattempo, la densità di 31B riguarda più la qualità che la velocità, ma Google si aspetta che gli sviluppatori la ottimizzino per usi specifici.
Gli altri due modelli Gemma 4, Functional 2B (E2B) e Functional 4B (E4B), sono rivolti ai dispositivi mobili. Queste opzioni sono state progettate per mantenere un basso utilizzo della memoria durante la stima, funzionando con 2 o 4 miliardi di parametri effettivi. Google afferma che il team Pixel ha lavorato a stretto contatto con Qualcomm e MediaTek per ottimizzare questi modelli per dispositivi come smartphone, Raspberry Pi e Jetson Nano. Non solo utilizzano meno memoria e batteria rispetto a Gemma 3, ma questa volta Google utilizza una latenza prossima allo zero.
Più forte, più aperto
Secondo quanto riferito, tutti i nuovi modelli Gemma 4 lasceranno Gemma 3 nella polvere: Google afferma che questi sono i modelli più capaci che puoi eseguire sul tuo hardware locale. Google afferma che il Gemma 31B debutterà al terzo posto Elenco delle arene Tra i modelli AI più esposti, GLM-5 e Km 2.5 sono dietro. Tuttavia, anche la variante più grande del Gemma 4 è una frazione delle dimensioni di questi modelli, il che teoricamente la rende molto più economica da gestire.
