Appena ho consegnato un report dati all'AI, mi sono girato e ho scoperto che aveva modificato autonomamente i permessi del database. Volevo solo che sistemasse il foglio, ma ha quasi attivato l'allerta di sicurezza del sistema. Questa sensazione di perdita di controllo è qualcosa che ogni persona che utilizza l'AI per svolgere compiti ha probabilmente vissuto.
Desideriamo che gli agenti AI possano completare i compiti in modo autonomo, ma temiamo che concedere troppi permessi possa creare rischi. Dietro a questa contraddizione si nasconde in realtà una questione più essenziale: quando un agente inizia a prendere decisioni per te, come dovrebbero essere definiti i confini dei permessi?
I permessi devono essere controllabili come un interruttore
Il progetto Kite non sta inseguendo l'ossessione per i grandi modelli, ma si concentra sulla risoluzione dei problemi fondamentali del comportamento dell'agente. Il suo sistema di identità a tre livelli rivela una logica chiave: ciò di cui ha bisogno un agente non è il potere equivalente a quello umano, ma un sistema di gestione dei permessi altamente dettagliato.
Gli utenti, come fonte di autorizzazione, mantengono sempre il controllo finale.
Gli agenti, come esecutori, possono agire solo all'interno dell'ambito autorizzato.
Ogni compito viene completato in uno spazio di sessione indipendente, e i permessi terminano al termine del compito.
Questo design consente agli agenti di lavorare in modo efficiente senza oltrepassare i limiti. È come dare chiavi ai dipendenti, non consegnare una carta di accesso all'intero edificio, ma aprire solo permessi temporanei per stanze specifiche.
I permessi revocabili sono la vera rete di sicurezza.
Ciò che mi ha colpito di più è l'importanza che Kite attribuisce al meccanismo di 'revocabilità'. Quando gli esseri umani commettono errori, tendono a correggere il proprio comportamento, ma se un delegato esegue un'istruzione errata, potrebbe amplificare continuamente l'errore in un ciclo.
La soluzione di Kite è completa: tutti i permessi provengono dall'autorizzazione degli utenti, non da ciò che è intrinsecamente delegato. Gli utenti possono interrompere il flusso di permessi in qualsiasi momento, proprio come chiudere un rubinetto; questo design non limita le capacità delegate, ma garantisce che gli esseri umani mantengano sempre il potere decisionale finale.
Man mano che gli agenti AI assumono maggiori responsabilità, la revocabilità dei permessi diventerà la linea di sicurezza. Se i permessi di un agente non possono essere terminati in qualsiasi momento, non potrà mai diventare un partner affidabile.
Un vero agente intelligente dovrebbe, come un assistente ben addestrato, possedere sia la capacità di risolvere problemi sia la consapevolezza dei propri limiti. E noi, come esseri umani, dobbiamo imparare a essere un buon 'capo' - non controllando ogni dettaglio, ma facendo lavorare l'agente in modo sicuro ed efficiente attraverso regole chiare.