Presentato da Solidigm
Con l’aumento dell’adozione dell’intelligenza artificiale, i data center si trovano ad affrontare un collo di bottiglia critico nello storage e gli HDD tradizionali sono al centro di questo problema. I dati che una volta rimanevano inattivi negli archivi freddi vengono ora utilizzati frequentemente per creare modelli più accurati e fornire risultati di inferenza migliori. La transizione dai dati freddi ai dati attivi richiede uno storage a bassa latenza e ad alto throughput in grado di eseguire calcoli paralleli. Gli HDD rimarranno la parte più forte delle celle frigorifere a basso costo, ma senza ripensare il loro ruolo, lo strato di storage ad alta capacità rischia di diventare l’anello più debole della fabbrica dell’intelligenza artificiale.
"I moderni carichi di lavoro dell’intelligenza artificiale combinati con i vincoli dei data center hanno creato nuove sfide per gli HDD." afferma Jeff Janukowicz, vicepresidente della ricerca dell’IDC. "Sebbene i fornitori di HDD affrontino la crescita dello storage dei dati offrendo unità più grandi, ciò spesso va a scapito di prestazioni più lente. Di conseguenza, il concetto di “Nearline SSD” sta diventando un argomento di discussione sempre più rilevante nel settore."
Oggi, gli operatori di intelligenza artificiale devono massimizzare l’utilizzo della GPU, gestire in modo efficiente lo storage collegato alla rete e scalare l’elaborazione; Inoltre, mentre tutto ciò accade, si riducono anche i costi derivanti dalla diminuzione di energia e spazio. In un ambiente in cui ogni watt e ogni centimetro quadrato contano, il successo richiede più di un semplice aggiornamento tecnico, afferma Roger Corell, direttore senior dell’intelligenza artificiale e del marketing di leadership di Solidigm. Richiede un riallineamento più profondo.
“Ciò indica un cambiamento epocale nel valore dei dati per l’intelligenza artificiale”, afferma Corell. “È qui che entrano in gioco gli SSD ad alta capacità. Forniscono prestazioni, efficienza e capacità, consentendo a pipeline di storage su scala exabyte di tenere il passo con il ritmo incessante delle dimensioni dei set di dati. Tutto ciò consuma energia e spazio, quindi per fornire una maggiore scalabilità della GPU in questo ambiente limitato, dobbiamo farlo nel modo più efficiente possibile.”
Gli SSD ad alta capacità non solo sostituiscono gli HDD, ma eliminano anche uno dei maggiori colli di bottiglia nella fabbrica dell’intelligenza artificiale. Garantendo notevoli miglioramenti in termini di prestazioni, efficienza e densità, gli SSD liberano la potenza e lo spazio necessari per spingere ulteriormente la scalabilità della GPU. Si tratta meno di un aggiornamento dello storage che di un cambiamento strutturale nel modo in cui l’infrastruttura dei dati è progettata per l’era dell’intelligenza artificiale.
HDD e SDD: più di un semplice aggiornamento dell’hardware
Gli HDD hanno un design meccanico impressionante, ma sono costituiti da molte parti mobili che utilizzano più energia, occupano più spazio e si guastano a una velocità maggiore rispetto alle unità a stato solido. La dipendenza da piatti rotanti e testine di lettura/scrittura meccaniche limita intrinsecamente le operazioni di input/output al secondo (IOPS), creando colli di bottiglia per i carichi di lavoro IA che richiedono bassa latenza, elevata concorrenza e throughput continuo.
Gli HDD devono inoltre affrontare attività sensibili alla latenza, poiché l’atto fisico della ricerca dei dati introduce ritardi meccanici inadatti all’inferenza e all’addestramento dell’IA in tempo reale. Inoltre, i requisiti di alimentazione e raffreddamento aumentano significativamente in caso di accesso ai dati frequente e intenso, diminuendo l’efficienza man mano che i dati si ridimensionano e si surriscaldano.
In confronto, la soluzione di storage VAST basata su SSD riduce il consumo energetico di circa 1 milione di dollari all’anno e, in un ambiente AI in cui ogni watt conta, questo rappresenta un enorme vantaggio per gli SSD. Per dimostrarlo, Solidigm e VAST Data hanno completato uno studio che esamina gli aspetti economici dell’archiviazione di dati su scala di exabyte (un quadrilione di byte o un miliardo di gigabyte) con l’analisi del consumo energetico di archiviazione rispetto agli HDD su un periodo di 10 anni.
Come punto di riferimento, avrai bisogno di quattro HDD da 30 TB, pari alla capacità di un singolo SSD Solidigm da 122 TB. Prendendo in considerazione le tecniche di riduzione dei dati di VAST rese possibili dalle prestazioni superiori degli SSD, la soluzione exabyte è composta da oltre 40.000 HDD ad alta capacità rispetto a 3.738 SSD Solidigm. Lo studio ha rilevato che la soluzione VAST basata su SSD consumava il 77% in meno di energia di storage.
Riduzione al minimo dell’ingombro del data center
"Forniamo unità da 122 terabyte ad alcuni dei principali OEM e fornitori di servizi cloud AI leader a livello mondiale." Corell dice. "Quando si confronta un SSD da 122 TB con una configurazione ibrida HDD + SSD TLC, si ottiene un risparmio di nove a uno nell’ingombro del data center. E sì, questo è importante in questi enormi data center che stanno costruendo i propri reattori nucleari e firmando enormi accordi di acquisto di energia con fornitori di energia rinnovabile, ma diventa sempre più importante quando ci si sposta nei data center regionali, nei data center locali e nelle implementazioni edge dove lo spazio può essere prezioso."
Questa economia nove a uno va oltre lo spazio e il potere; Consente alle organizzazioni di adattare l’infrastruttura a spazi precedentemente inutilizzabili, scalare le GPU o creare spazi più piccoli.
"Se ti viene data una quantità X di terra e una quantità Y di potere, la utilizzerai. Tu sei l’intelligenza artificiale" Corell spiega: “È un luogo in cui ogni watt e ogni pollice quadrato conta, quindi perché non utilizzarlo nel modo più efficiente? Ottieni lo storage più efficiente possibile sul pianeta e abilita la scala più ampia di GPU di cui hai bisogno per rientrare in tale ambito. Su base continuativa, risparmierai anche sui costi operativi. Hai il 90% in meno di alloggiamenti di storage da mantenere e il costo associato a ciò viene eliminato.”"
Un altro elemento spesso trascurato è l’ingombro fisico (molto) maggiore dei dati archiviati sugli HDD meccanici, che si traduce in un maggiore ingombro dei materiali da costruzione. La produzione di cemento e acciaio rappresenta complessivamente oltre il 15% delle emissioni globali di gas serra. Riducendo l’ingombro fisico dello storage, gli SSD ad alta capacità possono contribuire a ridurre le emissioni fisse di cemento e acciaio di oltre l’80% rispetto agli HDD. Nella fase finale del ciclo di vita sostenibile, quando l’unità raggiunge la fine della sua vita, l’incentivo allo smaltimento diminuirà del 90%. .
Rimodellare le strategie di conservazione a freddo e di archiviazione degli archivi
Il passaggio a SDD non è solo un aggiornamento dello spazio di archiviazione; Si tratta di una riorganizzazione fondamentale della strategia dell’infrastruttura dati nell’era dell’intelligenza artificiale, e sta guadagnando slancio.
"I grandi hyperscaler stanno cercando di ottenere il massimo dalla loro infrastruttura esistente intraprendendo azioni innaturali come sovraallocare gli HDD di quasi il 90% per ottenere il maggior numero possibile di IOPS per terabyte, ma stanno iniziando a tornare in sé," Corell dice. "Mentre si muovono verso un’infrastruttura di storage ad alta capacità completamente moderna, l’industria in generale si muoverà in questa direzione. Stiamo anche iniziando a vedere le lezioni apprese sul valore dello storage moderno nell’intelligenza artificiale applicate ad altri segmenti come l’analisi dei big data, l’HPC e altro ancora."
Aggiunge che, sebbene le soluzioni all-flash siano adottate quasi universalmente, ci sarà sempre posto per gli HDD. Gli HDD sopravvivranno in usi come l’archiviazione, lo storage a freddo e gli scenari in cui il costo puro per gigabyte supera la necessità di accesso in tempo reale. Ma man mano che l’economia dei token si surriscalda e le aziende si rendono conto del valore della monetizzazione dei dati, i segmenti di dati sempre più interessanti continueranno a crescere.
Risolvere i problemi energetici del futuro
Giunta alla quarta generazione e con oltre 122 exabyte cumulativi distribuiti fino ad oggi, la tecnologia QLC (Quad Level Cell) di Solidigm ha guidato il settore nel bilanciare capacità di unità più elevate con efficienza in termini di costi.
"Non pensiamo allo storage come alla semplice memorizzazione di bit e byte. Stiamo pensando a come sviluppare questi straordinari driver in grado di fornire vantaggi a livello di soluzione." Corell dice. "La stella splendente qui è l’E1.S recentemente rilasciato, progettato specificamente per uno storage denso ed efficiente in configurazioni di storage con collegamento diretto per il server GPU fanless di prossima generazione."
Solidigm D7-PS1010 E1.S è un prodotto innovativo, il primo eSSD del settore con tecnologia di raffreddamento a liquido direct-to-chip su un solo lato. Solidigm ha collaborato con NVIDIA per superare la duplice sfida della gestione termica e dell’efficienza dei costi, offrendo al contempo le elevate prestazioni richieste per i carichi di lavoro IA più impegnativi.
"Ci stiamo rapidamente spostando verso un ambiente in cui tutti i componenti IT critici verranno raffreddati a liquido direttamente sul chip sul lato installato." dice. "Penso che il mercato debba considerare il proprio approccio al raffreddamento perché le limitazioni e le sfide energetiche non scompariranno, almeno non nel corso della mia vita. Devono applicare la mentalità neocloud su come progettare l’infrastruttura più efficiente."
Inferenze sempre più complesse stanno spingendo il muro della memoria, rendendo l’architettura di storage una sfida progettuale di prima linea piuttosto che un ripensamento. Gli SSD ad alta capacità, combinati con il raffreddamento a liquido e un design efficiente, stanno emergendo come l’unico modo per soddisfare le crescenti esigenze dell’intelligenza artificiale. Il compito ora è costruire un’infrastruttura non solo efficiente, ma anche per uno storage in grado di scalare in modo efficiente man mano che i dati crescono. Le organizzazioni che riorganizzano lo storage ora saranno le organizzazioni che potranno scalare l’intelligenza artificiale domani.
Gli articoli sponsorizzati sono contenuti prodotti da un’azienda che ha pagato per il post o ha un rapporto commerciale con VentureBeat e sono sempre chiaramente contrassegnati. Contatta per maggiori informazioni sales@venturebeat.com.
