Notion abbatte lo stack tecnologico e ricomincia da capo per ampliare l’intelligenza artificiale delle agenzie

Molte organizzazioni esitano a rivedere il proprio stack tecnologico e a ricominciare da zero. Negativo idea. L’azienda non ha esitato a ricostruire da zero la versione 3.0 del suo software di produttività (rilasciato a settembre); In effetti, si sono resi conto che era necessario supportare l’intelligenza artificiale delle agenzie su scala aziendale. Mentre i flussi di lavoro tradizionali basati sull’intelligenza artificiale prevedono istruzioni chiare e dettagliate basate su diverse fasi di apprendimento, gli agenti di intelligenza artificiale basati su modelli di ragionamento avanzati sono consapevoli della definizione degli strumenti, possono identificare e comprendere quali strumenti hanno a loro disposizione e pianificare i passaggi successivi. “Piuttosto che cercare di innovare ciò che stavamo facendo, volevamo sfruttare i punti di forza dei modelli di ragionamento”, ha detto a VentureBeat Sarah Sachs, responsabile della modellazione AI di Notion. “Abbiamo ricostruito una nuova architettura perché i flussi di lavoro erano diversi da quelli degli agenti.”

Refactoring dei modelli in modo che possano funzionare in modo indipendente

Notion è adottato dal 94% delle aziende Forbes AI 50, ha 100 milioni di utenti totali e tra i suoi clienti figurano OpenAI, Cursor, Figma, Ramp e Vercel. Nel panorama dell’intelligenza artificiale in rapida evoluzione, l’azienda ha identificato la necessità di andare oltre flussi di lavoro più semplici basati su attività verso sistemi di ragionamento orientati agli obiettivi che consentano agli agenti di selezionare, orchestrare ed eseguire autonomamente strumenti in ambienti connessi.

I modelli di ragionamento diventano molto rapidamente “molto migliori” nell’imparare a utilizzare gli strumenti e a seguire le istruzioni della catena di pensiero (CoT), ha osservato Sachs. Ciò consente loro di essere “molto più indipendenti” e di prendere più decisioni all’interno del flusso di lavoro di un singolo agente. “Abbiamo ricostruito il nostro sistema di intelligenza artificiale per giocare con questo," ha detto. Sachs ha spiegato che, dal punto di vista ingegneristico, ciò significa sostituire i flussi rigidi basati sulle richieste con un modello di orchestrazione unificato. Questo modello di base è supportato da subagenti modulari che cercano, interrogano, inseriscono nei database e organizzano i contenuti in Notion e nel web. Ogni agente utilizza gli strumenti contestualmente; ad esempio, possono decidere se effettuare la ricerca in Notion stessa o in un’altra piattaforma come Slack. Il modello eseguirà ricerche sequenziali finché non verranno trovate le informazioni rilevanti. Può quindi, ad esempio, convertire le note in citazioni, creare messaggi di follow-up, tenere traccia delle attività e apportare aggiornamenti alle basi di conoscenza. Sachs ha osservato che in Notion 2.0, il team si è concentrato sul far eseguire all’intelligenza artificiale compiti specifici, che richiedevano loro di “pensare ampiamente” su come attivare il modello. Ma con la versione 3.0, gli utenti possono assegnare attività agli agenti e gli agenti possono effettivamente agire ed eseguire più attività contemporaneamente. “Abbiamo effettuato il refactoring in modo che si auto-selezioni sui veicoli invece che su più inquadrature, il che rende chiaro come affrontare tutti questi diversi scenari”, ha spiegato Sachs. L’obiettivo è garantire che tutto si interfaccia con l’intelligenza artificiale e che “tutto ciò che puoi fare, il tuo strumento Notion può farlo”.

Biforcazione per isolare le allucinazioni

La filosofia “migliore, più veloce, più economica” di Notion guida un ciclo costante di iterazione che bilancia la latenza e l’accuratezza attraverso incorporamenti di vettori a grana fine e ottimizzazione elastica della ricerca. Il team di Sachs utilizza un rigoroso quadro di valutazione che combina test deterministici, ottimizzazione locale, dati annotati da esseri umani e formazione dei laureati come giudici, con punteggi basati su modelli che identificano incoerenze e imprecisioni. “Dividendo la valutazione in due, possiamo individuare l’origine dei problemi, il che ci aiuta a isolare le allucinazioni non necessarie”, ha spiegato Sachs. Inoltre, semplificare l’architettura stessa significa che è più facile apportare modifiche man mano che i modelli e le tecniche migliorano. “Ottimizziamo il più possibile la latenza e il pensiero parallelo”, il che si traduce in “una precisione molto migliore”, ha affermato Sachs. I modelli si basano sui dati provenienti dal Web e dallo spazio di lavoro connesso a Notion. Secondo il rapporto di Sachs, l’investimento per ricostruire la propria architettura ha dato a Notion un ritorno in termini di talento e ritmo di cambiamento più rapido. “Siamo completamente disponibili a ricostruirlo, se necessario, quando si verificherà la prossima svolta”, ha aggiunto.

Comprendere la latenza contestuale

Quando si costruiscono e si perfezionano i modelli, è importante comprendere che la latenza è soggettiva: l’intelligenza artificiale dovrebbe fornire le informazioni più rilevanti, se non a scapito della velocità. “Saresti sorpreso dai diversi modi in cui i clienti sono disposti ad aspettare le cose piuttosto che aspettarle”, ha detto Sachs. Ne emerge un esperimento interessante: quanto lentamente si può procedere prima che le persone abbandonino il modello? Ad esempio, nella ricerca puramente navigazionale, gli utenti potrebbero non essere così pazienti; Vogliono risposte quasi istantanee. “Se chiedi: ‘Quanto fa due più due?’, non vorrai aspettare che il tuo manager effettui una ricerca su Slack e JIRA”, ha detto Sachs. Ma più lungo è il tempo concesso, più completo potrà essere lo strumento di ragionamento. Ad esempio, Notion può eseguire 20 minuti di lavoro autonomo su centinaia di siti Web, file e altri materiali. Sachs ha spiegato che in questi casi gli utenti sono più disposti ad aspettare; Consentono l’esecuzione del modello in background mentre si occupano di altre attività. “Questa è una domanda sul prodotto”, ha detto Sachs. “Come impostiamo le aspettative dell’utente per l’interfaccia utente? Come impostiamo le aspettative dell’utente per la latenza?”

Nozione più grande utente

Notion comprende l’importanza di utilizzare il proprio prodotto; infatti, i loro dipendenti sono tra i maggiori utilizzatori del prodotto. Sachs ha spiegato che i team hanno un ciclo di feedback degli utenti “pollice su-pollice giù” “veramente attivo”, insieme a sandbox attivi che generano dati di formazione e valutazione. Gli utenti non hanno paura di dire cose che pensano dovrebbero essere migliorate o funzionalità che vorrebbero vedere. Sachs ha sottolineato che quando un utente recensisce negativamente un’interazione, sta esplicitamente dando a un revisore umano il permesso di analizzare quell’interazione in un modo da renderla il più possibile anonima. “Come azienda, utilizziamo il nostro strumento tutto il giorno, tutti i giorni, quindi otteniamo cicli di feedback molto rapidi”, ha affermato Sachs. “In realtà stiamo utilizzando una versione di prova del nostro prodotto.” Sachs ha tuttavia affermato di comprendere che il prodotto che fabbricano è il proprio prodotto, quindi possono avere occhiali protettivi in ​​termini di qualità e funzionalità. Per bilanciare questo, Notion "Molto esperto di intelligenza artificiale" Partner di progettazione che hanno accesso anticipato a nuove funzionalità e forniscono feedback critici. Sachs ha sottolineato che questo è importante quanto la prototipazione interna. “Stiamo tutti sperimentando all’aperto, penso che otterrete un feedback molto più ricco”, ha detto Sachs. “Perché alla fine, in base al modo in cui Notion utilizza Notion, in realtà non stiamo fornendo la migliore esperienza ai nostri clienti.” Ancora più importante, i test interni continui consentono ai team di valutare i miglioramenti e garantire che i modelli non regrediscano (quando l’accuratezza e le prestazioni diminuiscono nel tempo). "Tutto ciò che fai rimane vero," spiegò Sachs. "Sai che la tua latenza è entro i limiti."

Molte aziende commettono l’errore di concentrarsi troppo su valutazioni retrospettive; Ciò rende difficile capire come e dove si siano evoluti, ha detto Sachs. Le revisioni delle nozioni sono a "prova del nove" valutazioni dello sviluppo e dei progressi futuri, nonché dell’osservabilità e della prova di regressione. “Penso che l’errore più grande che fanno molte aziende sia confondere le due cose”, ha detto Sachs. “Li usiamo per entrambi gli scopi; li pensiamo davvero in modo diverso.”

Takeaways dal viaggio di Notion

Per le aziende, Notion può fungere da modello per rendere operativa l’intelligenza artificiale dell’agenzia in modo responsabile e dinamico in uno spazio di lavoro aziendale connesso e autorizzato. I suggerimenti di Sach per gli altri leader tecnologici:

• Non aver paura di ricostruire quando cambiano le capacità fondamentali; Notion ha completamente ridisegnato la sua architettura per accogliere modelli basati sul ragionamento.

• Considera la latenza contestualmente: ottimizza in base al caso d’uso, non a livello universale.

• Basa tutti gli output su dati aziendali affidabili e curati per garantire accuratezza e affidabilità. Ha consigliato: “Sii disposto a prendere decisioni difficili. Sii disposto a sederti indeciso, per così dire, su ciò che stai costruendo per costruire il miglior prodotto possibile per i tuoi clienti”.

Collegamento alla fonte