Questo limite di contesto limita naturalmente la dimensione di una base di codice che un LLM può elaborare alla volta e se si alimentano il modello AI con molti file di codice enormi (che devono essere rivalutati da LLM ogni volta che si invia un’altra risposta), è possibile bruciare il token o il limite di utilizzo molto rapidamente.
Strategia del commercio
Per aggirare questo limite, i produttori di agenti di codifica utilizzano diverse tecniche. Ad esempio, i modelli di intelligenza artificiale sono ottimizzati per scrivere codice per esternalizzare le attività ad altri strumenti software. Ad esempio, possono scrivere script Python per estrarre dati da un’immagine o da un file invece di alimentare l’intero file tramite un LLM, che salva token ed evita risultati errati.
Documentazione di antropologia Nota Cloud Code utilizza questo approccio per analizzare dati complessi in database di grandi dimensioni, scrivere query mirate e utilizzare comandi bash come “head” e “tail” per analizzare grandi quantità di dati senza caricare interi oggetti di dati nel contesto.
(In un certo senso, questi agenti IA sono programmi guidati ma semi-autonomi che utilizzano strumenti che sono una grande estensione di un concetto che abbiamo visto per la prima volta all’inizio del 2023.)
Un altro importante passo avanti negli agenti è arrivato dalla gestione dinamica del contesto. Gli agenti possono farlo in diversi modi che non sono pienamente espressi nei modelli di codifica proprietari, ma conosciamo la tecnica più importante che utilizzano: la compressione del contesto.
La versione da riga di comando del codice OpenAI è in esecuzione in una finestra di terminale macOS.
Credito: Benj Edwards
Quando un LLM di codifica si avvicina al limite del contesto, questa tecnica condensa la cronologia del contesto, perdendo dettagli nel processo ma abbreviando la cronologia fino ai dettagli principali. Documentazione di antropologia descrive Questa “compattazione” per distillare il contenuto del contesto in modo ad alta fedeltà preserva i dettagli chiave come decisioni architetturali e bug irrisolti scartando l’output dello strumento ridondante.
Ciò significa che gli agenti di codifica AI periodicamente “dimenticano” gran parte di ciò che stanno facendo ogni volta che si verifica questa compressione, ma a differenza dei vecchi sistemi basati su LLM, non sono completamente inconsapevoli di ciò che è accaduto e possono reindirizzarsi rapidamente leggendo il codice esistente, note scritte nei file, registri delle modifiche e altro ancora.
