LinkedIn sta lanciando questa settimana la sua nuova funzionalità di ricerca di persone basata sull’intelligenza artificiale, dopo una lunga attesa per quella che avrebbe dovuto essere un’offerta naturale per un’intelligenza artificiale produttiva.
Questo avviene esattamente tre anni dopo il lancio di ChatGPT e sei mesi dopo che LinkedIn ha lanciato la sua offerta di ricerca di lavoro tramite intelligenza artificiale. Per i leader tecnologici, questa sequenza temporale illustra un’importante lezione aziendale: l’implementazione dell’intelligenza artificiale generativa in ambienti aziendali reali è impegnativa, soprattutto su scala di 1,3 miliardi di utenti. Questo è un processo lento e brutale di ottimizzazione pragmatica.
Il seguente resoconto si basa su diverse interviste esclusive con il prodotto LinkedIn e il team di ingegneri dietro il lancio.
Innanzitutto, ecco come funziona il prodotto: l’utente può ora scrivere una query in linguaggio naturale come la seguente: "Chi sa come curare il cancro?" Inseriscilo nella barra di ricerca di LinkedIn.
La vecchia ricerca di LinkedIn basata su parole chiave verrebbe confusa. Guarderei solo i riferimenti "cancro". Se un utente volesse essere informato, dovrebbe eseguire ricerche di parole chiave separate e rigorose. "cancro" e più tardi "oncologia" e provare a mettere insieme i risultati manualmente.
Tuttavia, il nuovo sistema supportato dall’intelligenza artificiale intento Il motivo della ricerca è che LLM coglie la semantica sotto il cofano. Ad esempio, accetta: "cancro" concettualmente correlato "oncologia" e ancor meno direttamente, "ricerca genomica." Il risultato è un elenco di persone molto più rilevanti, inclusi leader e ricercatori di oncologia, anche se i loro profili non usano quella parola esatta. "cancro."
Il sistema bilancia inoltre questo rapporto attraverso: utilità. Piuttosto che mostrarti semplicemente il miglior oncologo del mondo (che potrebbe essere un irraggiungibile collegamento di terzo grado), valuterà anche chi nella tua rete immediata è come un collegamento di primo grado. "abbastanza rilevante" e può fungere da ponte molto importante verso questo esperto.
Guarda il video qui sotto per un esempio.
Probabilmente, tuttavia, la lezione più importante per i professionisti aziendali è: "libro di cucina" LinkedIn ha sviluppato questo: una pipeline ripetibile e multifase di distillazione, co-progettazione e ottimizzazione incessante. LinkedIn doveva perfezionarlo in un prodotto prima di provarlo in un altro.
"Non provare a fare troppe cose contemporaneamente," Il vicepresidente dell’ingegneria di LinkedIn, Wenjing Zhang, scrive in un post sul lancio del prodotto e ha anche parlato con VentureBeat in un’intervista la scorsa settimana. afferma che lo era prima "diffondere l’ambizione" Creare un sistema unificato per tutti i prodotti LinkedIn "il progresso si è bloccato."
Invece, LinkedIn si è concentrato prima di tutto sulla conquista di un settore. Il successo del già lanciato AI Job Search – questo significa persone in cerca di lavoro senza una laurea quadriennale 10% di probabilità in più di essere assuntiSecondo Erran Berger, vicepresidente dell’ingegneria del prodotto, è stato lui a fornire il progetto.
Ora l’azienda sta applicando quel piano a un problema molto più grande. "Una cosa è poterlo fare in decine di milioni di posti di lavoro," Berger ha detto a VentureBeat. "Una cosa è farlo a oltre un miliardo di membri."
Il percorso di LinkedIn fornisce un manuale tecnico per gli sviluppatori di intelligenza artificiale aziendale. In realtà È necessaria una transizione da un progetto pilota di successo a un prodotto su scala di miliardi di utenti.
Nuova sfida: grafico da 1,3 miliardi di membri
Berger ha spiegato che il prodotto per la ricerca di lavoro ha creato una solida ricetta su cui potrebbe basarsi il nuovo prodotto per la ricerca di persone.
La ricetta è iniziata con uno "set di dati d’oro" Punteggio rigorosamente basato su un rapporto dettagliato di 20-30 pagine composto da poche centinaia o migliaia di coppie di profili di query effettivi "politica del prodotto" documento. Per adattarlo all’istruzione, LinkedIn ha utilizzato questo piccolo set d’oro per generare un enorme volume di dati utilizzando un modello base di grandi dimensioni. sintetico dati di allenamento. Questi dati sintetici sono stati utilizzati per addestrare una persona. 7 miliardi di parametri "Politica del prodotto" modello: una valutazione di adattamento ad alta fedeltà che è troppo lenta per la produzione dal vivo ma è eccellente per insegnare modelli più piccoli.
Tuttavia, la squadra si è scontrata presto con un muro. Hanno impiegato dai sei ai nove mesi per addestrare un unico modello in grado di bilanciare la rigorosa aderenza alle politiche (pertinenza) con i segnali di interazione dell’utente. "ahah momento" Sono venuti quando hanno capito che dovevano risolvere il problema. Hanno distillato il modello politico 7D come segue: Modello insegnante 1.7B L’attenzione è esclusivamente sulla pertinenza. Hanno poi abbinato questo modello a modelli di insegnanti separati addestrati a prevedere azioni specifiche dei membri, come connettersi e seguire richieste di lavoro o cercare contatti per prodotti lavorativi. Questo "più insegnanti" l’insieme ha prodotto punteggi di probabilità uniformi che il modello studentesco finale ha imparato a emulare tramite la perdita di divergenza KL.
L’architettura risultante funziona come una pipeline a due fasi. Innanzitutto, uno più grande Modello di parametri 8D Fornisce un’ampia portata gettando un’ampia rete per eliminare i candidati dalla classifica. Quindi, il modello studentesco altamente distillato sostituisce l’ordinamento a grana fine. Distribuzione riuscita del prodotto per la ricerca di lavoro 0,6 miliardi (600 milioni) parametro studente, il nuovo prodotto People Search richiedeva una compressione ancora più aggressiva. Come ha notato Zhang, il team ha ridotto il nuovo modello studentesco da 440 milioni a soli 440 milioni. parametri 220MRaggiunge la velocità richiesta per 1,3 miliardi di utenti con una perdita di pertinenza inferiore all’1%.
Ma applicarlo alla ricerca umana ha rotto la vecchia architettura. Solo nuovo problema disposizione ma anche recupero.
“Un miliardo di dischi," Berger ha detto: "bestia diversa."
Il precedente stack di accesso del team era basato sulle CPU. Per soddisfare le nuove esigenze di scala e latenza "veloce" a causa dell’esperienza di ricerca, il team aveva bisogno di spostare l’indicizzazione in: Infrastruttura basata su GPU. Si è trattato di un cambiamento architettonico fondamentale che il prodotto di ricerca di lavoro non richiedeva.
Dal punto di vista organizzativo, LinkedIn ha utilizzato molteplici approcci. Per un certo periodo, LinkedIn ha avuto due team separati — ricerca di lavoro e ricerca di persone — Stiamo cercando di risolvere il problema in parallelo. Ma quando il gruppo di ricerca di lavoro ha fatto la sua svolta utilizzando la distillazione guidata dalle politiche, Berger e il suo gruppo dirigente sono intervenuti. Hanno portato la vittoria agli architetti della ricerca di lavoro — il leader del prodotto Rohan Rajiv e il leader dell’ingegneria Wenjing Zhang — trapiantando il ‘libro di ricette’ direttamente nel nuovo spazio.
Distillazione per un aumento della resa di 10 volte
Una volta risolto il problema dell’accesso, il team ha affrontato il problema della sequenzialità e dell’efficienza. È qui che il libro di cucina viene adattato con nuove e aggressive tecniche di ottimizzazione.
Articolo tecnico di Zhang (Aggiungerò il link quando verrà pubblicato) Fornisce dettagli specifici che il nostro pubblico di ingegneri AI apprezzerà. Una delle ottimizzazioni più importanti è stata la dimensione dell’input.
Team formato per coltivare il modello un altro Master con apprendimento per rinforzo (RL) per uno scopo: riassumere il contesto di input. Questo "sommativo" modello è riuscito a ridurre la dimensione di input del modello: 20 volte con una perdita minima di informazioni.
Risultato combinato del modello di parametri 220M e della riduzione dell’input di 20 volte? UN. Aumento di 10 volte dell’efficienza di smistamentoconsentendo al team di fornire in modo efficiente il modello a un’ampia base di utenti.
Pragmatismo anziché pubblicità: costruire strumenti, non intermediari
Durante le nostre discussioni, Berger è stato irremovibile su qualcos’altro che potrebbe attirare l’attenzione della gente: il vero valore per le aziende oggi risiede nel perfezionare i sistemi di raccomandazione, non nel rincorrere le raccomandazioni. "esagerazione dell’agente." Ha anche rifiutato di parlare dei modelli specifici utilizzati dall’azienda per le ricerche, suggerendo che quasi non hanno importanza. L’azienda effettua le selezioni in base ai modelli che ritiene più efficienti per il compito.
La ricerca di nuovi contatti basata sull’intelligenza artificiale è una manifestazione della filosofia di Berger secondo cui è meglio ottimizzare prima il sistema di consigli. L’architettura include una nuova funzionalità "livello di routing delle query intelligente," Come spiega Berger, anche lui è supportato da Masters. Questo router decide pragmaticamente se la query di un utente è simile o meno. "esperto di fiducia" – deve andare al nuovo stack semantico del linguaggio naturale o alla vecchia ricerca lessicale affidabile.
L’intero sistema complesso è a "attrezzo" Questo futuro Utilizzerà lo strumento, non l’intermediario stesso.
"I prodotti dell’agenzia sono validi tanto quanto gli strumenti che le persone utilizzano per svolgere i propri compiti." Berger ha detto. "Puoi avere il miglior modello di ragionamento al mondo e se stai cercando di utilizzare uno strumento per fare una ricerca di persone, ma il motore di ricerca delle persone non è molto buono, non sarai in grado di farlo."
Ora che la funzione di ricerca delle persone è disponibile, Berger ha suggerito che un giorno l’azienda offrirà agli agenti di utilizzarla. Non ha però fornito dettagli sulle tempistiche. Ha inoltre affermato che la ricetta utilizzata per la ricerca di posti di lavoro e di persone verrà estesa anche agli altri prodotti dell’azienda.
Per le aziende che creano le proprie roadmap per l’intelligenza artificiale, il playbook di LinkedIn è chiaro:
-
Sii pragmatico: Non provare a far bollire l’oceano. Vincere un verticale anche se ci vogliono 18 mesi.
-
Codice "libro di cucina": Trasformare questo risultato in un processo ripetibile (documenti politici, condotte di distillazione, co-progettazione).
-
Ottimizza incessantemente: Guadagni reali 10x in arrivo Dopo Il primo modello per la potatura, la distillazione e l’ottimizzazione creativa come un riepilogo addestrato in RL.
Il percorso di LinkedIn dimostra che per l’intelligenza artificiale aziendale nel mondo reale, l’enfasi su modelli specifici o grandi sistemi di agenzia dovrebbe passare in secondo piano. Vantaggio strategico e duraturo, conduttura – il ricettario “specifico per l’intelligenza artificiale” di co-progettazione, distillazione e ottimizzazione spietata.
(Nota del redattore: presto pubblicheremo un podcast completo sul feed del podcast VentureBeat con Erran Berger di LinkedIn che approfondirà questi dettagli tecnici.)
