I database vettoriali sono emersi come una base tecnologica indispensabile all’alba dell’era moderna dell’intelligenza artificiale.
Ma ciò che è cambiato nell’ultimo anno è che i vettori, le rappresentazioni numeriche dei dati utilizzati negli studi universitari, stanno diventando sempre più solo un altro tipo di dati in tutti i tipi di database diversi. Ora Amazon Web Services (AWS) sta compiendo il passo successivo verso l’ubiquità dei vettori con la disponibilità generale di Amazon S3 Vectors.
Amazon S3 è il servizio di storage di oggetti nel cloud di AWS ampiamente utilizzato da organizzazioni di tutte le dimensioni per archiviare tutti i tipi di dati. Spesso S3 viene utilizzato anche come componente principale per le implementazioni di data Lake e Lakehouse. Amazon S3 Vector aggiunge ora funzionalità di archiviazione vettoriale nativa e di ricerca di similarità direttamente allo storage di oggetti S3. Invece di aver bisogno di un database vettoriale separato, le organizzazioni possono archiviare incorporamenti di vettori in S3 ed interrogarli per la ricerca semantica, accedere ad applicazioni di generazione aumentata (RAG) e flussi di lavoro di agenti AI senza spostare i dati su un’infrastruttura dedicata
Il servizio è stato presentato in anteprima nel mese di luglio con una capacità iniziale di 50 milioni di vettori su un unico indice. Con la versione GA, AWS ha scalato significativamente questo valore arrivando a 2 miliardi di vettori su un singolo indice e 20 trilioni di vettori per bucket di storage S3.
Secondo AWS, i clienti hanno creato più di 250.000 directory vettoriali e hanno utilizzato più di 40 miliardi di vettori nei quattro mesi successivi al lancio in anteprima. Con l’introduzione di GA, una maggiore scala ora consente alle organizzazioni di combinare interi set di dati vettoriali in singoli indici anziché suddividerli tra le infrastrutture. Il lancio di GA sconvolge inoltre il panorama dei dati aziendali fornendo un nuovo approccio ai vettori pronto per la produzione che potrebbe potenzialmente sconvolgere il mercato dei database vettoriali appositamente creati.
AWS alimenta gli incendi competitivi accuse Il servizio S3 Vector può aiutare le organizzazioni "Riduci il costo totale di archiviazione e interrogazione dei vettori fino al 90% rispetto alle soluzioni di database vettoriali personalizzate."
AWS posiziona i vettori S3 come complemento ai database vettoriali, non come concorrente
Sebbene i vettori Amazon S3 offrano un potente set di funzionalità vettoriali, la risposta alla domanda se sostituisca la necessità di un database vettoriale dedicato è un po’ sfumata e dipende da chi chiedi.
Nonostante le dichiarazioni di costi aggressivi e i notevoli miglioramenti su scala, AWS sta posizionando S3 Vectors come un livello di storage complementare piuttosto che un sostituto diretto dei database vettoriali proprietari.
"I clienti scelgono se utilizzare S3 Vectors o il database vettoriale in base alle esigenze di latenza dell’applicazione." Mai-Lan Tomsen Bukovec, vicepresidente della tecnologia di AWS, ha detto a VentureBeat.
Bukovec ha osservato che un modo di intendere questo concetto è il “tiering delle prestazioni” basato sulle esigenze applicative di un’organizzazione. Ha osservato che se l’applicazione richiede tempi di risposta superveloci e a bassa latenza, un database vettoriale come Amazon OpenSearch è una buona opzione.
"Ma per molti tipi di operazioni, come la creazione di un livello semantico di comprensione sui dati esistenti o l’estensione della memoria del broker con molto più contesto, S3 Vectors è un’ottima scelta."
Anche la questione se S3 e il cloud object storage a basso costo sostituiranno un tipo di database non è nuova per i professionisti dei dati. Bukovec ha fornito un’analogia con il modo in cui le aziende utilizzano oggi i data Lake.
"Mi aspetto che vedremo lo storage vettoriale evolversi in modo simile ai dati tabulari nei data Lake, dove i clienti continuano a utilizzare database transazionali come Amazon Aurora per determinati tipi di carichi di lavoro e, parallelamente, continuano a utilizzare S3 per l’archiviazione e l’analisi delle applicazioni, perché il profilo prestazionale funziona e hanno bisogno delle funzionalità di S3 come durabilità, scalabilità, disponibilità ed economia dei costi man mano che i dati crescono."
In che modo le richieste e i requisiti dei clienti hanno plasmato i servizi Amazon S3 Vector?
Durante i primi mesi del processo di anteprima, AWS ha appreso cosa realmente desideravano e di cui avevano bisogno i clienti aziendali reali da un archivio dati vettoriale.
"Abbiamo ricevuto molti feedback positivi dall’anteprima e i nostri clienti ci hanno detto che volevano queste funzionalità su una scala molto più elevata e con una latenza inferiore, in modo da poter utilizzare S3 come archivio vettoriale principale per gran parte del loro storage vettoriale in rapida espansione." Bukovec ha detto:
Oltre alla scalabilità migliorata, la latenza delle query è stata aumentata a circa 100 millisecondi o meno per le query frequenti; query sparse completate in meno di un secondo. AWS ha aumentato il numero massimo di risultati di ricerca per query da 30 a 100 e le prestazioni di scrittura ora supportano fino a 1.000 operazioni PUT al secondo per aggiornamenti a vettore singolo.
Casi d’uso interessanti includono la ricerca ibrida, l’espansione intermedia della memoria e la stratificazione semantica sui dati esistenti.
Bukovec ha notato che un cliente in anteprima chiamato March Networks utilizza S3 Vector per l’intelligence video e fotografica su larga scala.
"Gli aspetti economici dell’archiviazione vettoriale e il suo profilo di latenza fanno sì che March Networks possa archiviare in modo economico miliardi di incorporamenti vettoriali." ha detto. "La nostra integrazione integrata con Amazon Bedrock ci consente di incorporare facilmente l’archiviazione vettoriale in flussi di lavoro video e IA produttivi."
I fornitori di database vettoriali evidenziano lacune prestazionali
I fornitori di database vettoriali specializzati evidenziano significative lacune prestazionali tra le loro offerte e l’approccio incentrato sullo storage di AWS.
Fornitori di database vettoriali appositamente realizzati: pignaWeaviate, Qdrant e Chroma, tra gli altri, hanno creato implementazioni di produzione con algoritmi di indicizzazione avanzati, aggiornamenti in tempo reale e ottimizzazione delle query mirata per carichi di lavoro sensibili alla latenza.
Ad esempio, Pinecone non vede i vettori Amazon S3 come una sfida competitiva per il suo database vettoriale.
"Siamo stati informati del progetto prima che Amazon S3 Vector fosse rilasciato per la prima volta e non pensavamo che il suo rapporto costi-benefici sarebbe stato direttamente competitivo su larga scala." Jeff Zhu, vicepresidente del prodotto Pinecone, ha dichiarato a VentureBeat: "Ciò è particolarmente vero ora per i nostri nodi di lettura privati; ad esempio, un nostro grande cliente di un marketplace di e-commerce ha recentemente confrontato un caso d’uso di raccomandazioni con vettori 1.4D e ha ottenuto 5,7k QPS a 26 ms p50 e 60 ms p99."
Analisti divisi sul futuro dei database vettoriali
Il lancio riaccende il dibattito sulla questione se la ricerca vettoriale rimarrà una categoria di prodotti a sé stante o diventerà una funzionalità che le principali piattaforme cloud renderanno disponibili attraverso l’integrazione dello storage.
"È chiaro da tempo che il vettore è una proprietà, non un prodotto." Corey Quinn, capo economista del cloud presso The Duckbill Group, ha scritto: messaggio su X (ex Twitter) in risposta a una domanda di VentureBeat. "Tutto lo dice adesso; Il resto sarà completato a breve."
Anche l’analista di Constellation Research Holger Mueller vede Amazon S3 Vectors come una minaccia competitiva per i fornitori di database vettoriali indipendenti.
"Ora è necessario verificare quanto siano avanti e migliori i fornitori di vettori." Mueller ha detto a VentureBeat. "Nel software aziendale, le suite vincono sempre."
Mueller ha inoltre sottolineato il vantaggio dell’approccio di AWS nell’eliminare lo spostamento dei dati. Ha affermato che i vettori sono lo strumento che consentirà ai Master di comprendere i dati aziendali. La vera sfida è come creare vettori che includano come e quanto spesso i dati vengono spostati. Il problema della migrazione dei dati può essere risolto aggiungendo il supporto vettoriale a S3, dove sono attualmente archiviate grandi quantità di dati aziendali.
"Ai dirigenti senior piace questo approccio perché non è necessario alcuno spostamento di dati per creare i vettori." Mueller ha detto.
L’eminente analista VP di Gartner, Ed Anderson, ritiene che AWS crescerà con nuovi servizi, ma non si aspetta che ciò significhi la fine dei database vettoriali. Ha osservato che le organizzazioni che utilizzano S3 per lo storage di oggetti possono aumentare l’utilizzo di S3 e possibilmente eliminare la necessità di database di fornitori proprietari. Ciò aumenterà il valore per i clienti S3, aumentando al contempo la loro dipendenza dallo storage S3.
Nonostante questo potenziale di crescita di AWS, i database vettoriali sono ancora necessari, almeno per ora.
"Amazon S3 Vector sarà prezioso per i clienti, ma non eliminerà la necessità di database vettoriali, soprattutto quando i casi d’uso richiedono servizi dati a bassa latenza e ad alte prestazioni." Anderson ha detto a VentureBeat.
La stessa AWS sembra abbracciare questa visione complementare, segnalando continui miglioramenti delle prestazioni.
"Abbiamo appena iniziato con S3 Vectors, sia in termini di scala che di prestazioni." Bukovec ha detto: "Proprio come abbiamo migliorato le prestazioni di lettura e scrittura dei dati su S3 per qualsiasi cosa, dai video ai file Parquet, faremo lo stesso per i vettori."
Cosa significa questo per le imprese?
Al di là del dibattito sulla sopravvivenza o meno dei database vettoriali come prodotti autonomi, gli architetti aziendali devono prendere decisioni urgenti su come implementare lo storage vettoriale per i carichi di lavoro AI in produzione.
Il framework di suddivisione in livelli delle prestazioni fornisce un percorso decisionale più chiaro per gli architetti aziendali che valutano le opzioni di archiviazione vettoriale.
S3 Vector funziona con carichi di lavoro che tollerano una latenza di 100 ms: ricerca semantica su grandi raccolte di documenti, sistemi di memoria intermedi, analisi batch su incorporamenti di vettori e accesso al contesto RAG in background. Gli aspetti economici diventano interessanti su larga scala per le organizzazioni che hanno già investito nell’infrastruttura AWS.
Sono ancora necessari database vettoriali dedicati per casi d’uso sensibili alla latenza: motori di raccomandazione in tempo reale, ricerca ad alto throughput che serve migliaia di query simultanee, applicazioni interattive in cui gli utenti attendono i risultati in modo sincrono e carichi di lavoro in cui la coerenza delle prestazioni supera i costi.
Per le organizzazioni che eseguono entrambi i tipi di carichi di lavoro, un approccio ibrido rispecchia il modo in cui le organizzazioni utilizzano i data Lake; Utilizza i vettori S3 per l’archiviazione su larga scala e operazioni meno urgenti, distribuendo al contempo database vettoriali personalizzati per query critiche per le prestazioni.
La questione chiave non è se sostituire l’infrastruttura esistente, ma come progettare lo storage vettoriale tra livelli di prestazioni in base ai requisiti del carico di lavoro.
