Nell'ultimo anno ho osservato moltissimi prodotti AI, alcuni come assistenti, altri come agenti autonomi, alcuni per l'automazione aziendale e altri per l'aggiornamento dei modelli. In passato, la capacità di memoria dei modelli era molto debole, poteva mantenere solo un contesto temporaneo, non ti preoccupavi troppo che potesse "errore" o "eseguire vecchi compiti". Ma recentemente, la capacità di memoria dei grandi modelli è diventata sempre più forte, in grado di ricordare le preferenze degli utenti, le regole dei compiti e gli obiettivi a lungo termine, e persino di ottimizzare autonomamente le strategie basate sul comportamento passato.
Questo sembra molto potente, ma porta anche un enorme rischio: quando gli agenti AI iniziano ad avere "memoria a lungo termine", la loro continuità d'azione diventa una nuova fonte di rischio.
La memoria umana è imprecisa, e questo ci aiuta a ridurre molti errori di esecuzione.
Dimentichiamo compiti non validi, dimentichiamo processi obsoleti, dimentichiamo autorizzazioni non necessarie.
Ma l'AI non dimentica e continua a sovrapporsi.
Questo significa che se l'agente ricorda un'autorizzazione obsoleta, un modello di comportamento scaduto, un processo on-chain che non è più applicabile, continuerà a eseguire.
E questo punto diventerà uno dei maggiori potenziali pericoli nell'economia degli agenti del futuro.
Potresti dire: "Allora falla dimenticare, giusto?"
Il problema è che l'agente non è una finestra, è un'entità esecutiva composta da più livelli di memoria:
memoria a breve termine per compiti, memoria a lungo termine per abitudini, memoria di feedback comportamentale, memoria di autorizzazione per strumenti di terze parti, memoria di azione per processi on-chain…
Non puoi semplicemente "svuotare il suo cervello".
Una volta che la struttura della memoria a lungo termine dell'agente si forma, riempirà automaticamente i percorsi di esecuzione in base alle esperienze passate.
Questo suona potente, ma comporta enormi rischi.
La prima volta che ho realizzato i pericoli portati dalla memoria è stata testando un agente AI per eseguire compiti finanziari:
Agiva in base alla logica di un vecchio modello, continuando automaticamente a eseguire un collegamento di transazione che non era più adatto all'attuale mercato.
La ragione non era un errore del modello, ma perché "ha ricordato il modo in cui ha completato i compiti in passato" e lo ha riutilizzato automaticamente.
In quel momento ho realizzato che, se in futuro gli agenti si diffondono, questo "continuare automaticamente a eseguire compiti obsoleti" diventerà una fonte di incidenti molto comune.
Gli esseri umani evitano alcuni errori grazie all'intuizione;
Gli agenti ripetono alcuni errori a causa della memoria.
Se questa questione non è vincolata da un livello strutturale, il futuro mondo automatizzato sicuramente affronterà disastri.
Ed è proprio da questa prospettiva che sento sempre di più il valore di Kite—
Fa sì che la memoria dell'agente non possa essere direttamente convertita in azioni illimitate, isolando la "memoria" al di fuori della struttura, in modo che la memoria non possa oltrepassare i confini, non possa diffondersi, non possa estendersi autonomamente.
L'agente può ricordare cosa ti piace, ma non può richiamare illimitatamente le tue autorizzazioni semplicemente perché ricorda queste preferenze;
L'agente può ricordare quali applicazioni utilizzi frequentemente, ma non può accedere automaticamente a queste applicazioni cross-platform;
L'agente può ricordare i passaggi di esecuzione del compito, ma non può automaticamente derivare il diritto di esecuzione successiva.
Perché nella struttura della conversazione di Kite, il potere esecutivo non deriva dalla memoria dell'agente, ma dal contenitore delle azioni autorizzate dall'utente.
Questa frase è il punto più critico nell'architettura di Kite.
L'agente sa "come fare", ma non ha l'autorizzazione "per farlo".
Le autorizzazioni appartengono sempre all'utente, sono solo temporaneamente concesse all'agente e il campo d'uso è rigorosamente controllato.
Anche la memoria dell'agente più forte non può oltrepassare questo confine.
È come mettere un "membrana di isolamento comportamentale" sull'agente—
può pensare, ma non può agire a caso.
Può inferire, ma non può eseguire automaticamente.
Può ricordare, ma non può trasformare ciò che ricorda in capacità di oltrepassare i confini.
Questa struttura suona astratta, ma immagina la situazione reale:
Immagina che il tuo agente ricordi tutti i servizi a cui ti sei abbonato nell'ultimo anno, poi scopre che un abbonamento sta per scadere e decide di "aiutarti attivamente a rinnovarlo".
Questo nei sistemi tradizionali è un disastro.
Richiamerà direttamente il portafoglio, autorizzerà il pagamento, perché "ha ricordato che lo hai fatto rinnovare in precedenza".
Questo comportamento sembra premuroso, ma in realtà è un abuso di potere.
Ma nel sistema di Kite, l'agente non ha la capacità di "rinnovare autonomamente", perché non ha autorizzazioni durature.
Deve eseguire azioni all'interno di una "conversazione di rinnovo" avviata dall'utente.
Al di fuori della conversazione, è completamente incapace.
Questo mi ha fatto capire:
Maggiore è la forza della memoria dell'agente, maggiore è il pericolo, mentre Kite è lo strumento che rende la memoria con confini.
Continua a pensare in direzioni più profonde; la memoria futura degli agenti non sarà solo preferenze e sequenze di compiti, ma includerà:
storico delle azioni, modelli di dati cross-platform, mappa comportamentale dell'utente, logica di utilizzo del budget, strategie di interazione del sistema…
Puoi comprenderlo come una forma di "autoottimizzazione progressiva".
Maggiore è la forza dell'agente, più stabile è il suo "io" e più facilmente può adattare il comportamento futuro in base alle esperienze passate.
Questo significa che le azioni dell'agente evolveranno gradualmente da "comandi utente" a "esecuzione autonoma delle strategie".
Se non ci sono meccanismi di confine, questa autonomia porterà a rischi estremamente elevati.
Un agente con memoria a lungo termine è come un dipendente, agirà in base alle vecchie esperienze;
ma se non ha normative di processo, prenderà decisioni di sua iniziativa.
E ciò che Kite offre è questa "normativa di processo".
L'agente non agisce liberamente, ma opera all'interno di un "processo d'azione" definito dalla struttura a livello di catena.
La conversazione è la scheda del processo;
l'autorizzazione è l'ambito del processo;
l'utente è l'autorizzatore del processo;
la catena è l'auditor del processo.
Anche la memoria più forte non può oltrepassare il processo.
Questa frase sembra comune, ma potrebbe essere il principio industriale più importante dell'era degli agenti futuri.
Continua a spingere più in là—
Quando gli agenti hanno memoria, la loro collaborazione dipenderà anche dalla memoria.
L'agente A ricorda che l'agente B ha aiutato a eseguire un certo compito, quindi richiede automaticamente collaborazione;
L'agente B ricorda che l'agente A aveva registrazioni di accesso su una certa piattaforma, quindi richiama automaticamente l'API;
Questa collaborazione, se non c'è isolamento dei compiti, porterà a una confusione della catena di autorizzazione.
E il meccanismo di conversazione di Kite richiede che la collaborazione avvenga all'interno dello "stesso contenitore di compiti",
non permette all'agente di bypassare la struttura di autorizzazione tramite la "memoria".
Fa sì che la memoria diventi un riferimento per l'esecuzione, non una base per l'esecuzione.
L'esecuzione deve passare attraverso la struttura, non attraverso la memoria.
Questo punto diventerà la pietra angolare più importante della sicurezza AI del futuro.
Più comprendo questo punto, più sento che ciò che Kite fa supera completamente il concetto di "AI + catena".
In realtà, sta facendo qualcosa di molto grandioso—
per garantire che l'evoluzione dell'intelligenza dell'agente non porti a un comportamento incontrollato.
Per consentire agli agenti di crescere, ma non oltrepassare i confini.
Per consentire agli agenti di avere memoria, ma non abusarne.
Per consentire agli agenti di diventare sempre più forti, ma senza causare danni strutturali al sistema.
Ecco perché penso che Kite sia la struttura di sicurezza più fondamentale nell'ecosistema degli agenti del futuro.
Gli agenti evolveranno, ma i confini comportamentali non possono evolvere.
Kite è il "lucchetto comportamentale" del mondo degli agenti.
Non limita gli agenti, ma protegge gli utenti e l'intero sistema.
Maggiore è la memoria, maggiore è la necessità di confini;
Maggiore è il potere, maggiore è la necessità di regole;
Maggiore è la diffusione dell'agente, maggiore è la necessità di Kite.