Il Problema della Fiducia nell'IA

Tutti parlano di quanto l'IA sia abbastanza intelligente.

Io mi chiedo se sia abbastanza affidabile.

Sembra una domanda completamente diversa.

Perché l'intelligenza senza fiducia crea un tipo strano di rischio. Il modello potrebbe essere brillante. L'output potrebbe sembrare convincente. Eppure, da qualche parte tra il mondo e la risposta, qualcosa potrebbe già essere sbagliato.

I dati potrebbero essere incompleti.

Il processo di recupero potrebbe essere manipolato.

La versione del modello potrebbe cambiare senza che nessuno se ne accorga.

Il calcolo stesso potrebbe essere alterato.

E la parte più inquietante è questa:

Un sistema IA può spiegare con sicurezza una conclusione costruita su prove difettose.

Quindi quando le persone mi chiedono se l'IA trasformerà la finanza, la salute, la scienza o il governo, penso che la domanda più difficile sia:

Come verificheremo le decisioni che l'IA prende quando quelle decisioni contano davvero?

Se un agente IA approva un pagamento:

Chi verifica il modello che ha preso la decisione?

Chi dimostra che i dati su cui si è basato erano autentici?

Chi conferma che il calcolo non è stato manomesso?

Se un sistema IA aiuta a diagnosticare un paziente:

Possiamo risalire all'origine delle informazioni che ha usato?

Possiamo dimostrare che l'ambiente in cui il modello ha eseguito era sicuro?

Possiamo verificare indipendentemente il risultato?

Ecco perché trovo l'idea di un'IA verificabile così interessante.

Non un'IA che semplicemente afferma di essere corretta.

Non un'IA che ci chiede di fidarci di essa.

Ma sistemi IA che possono fornire prove:

• Quale modello è stato eseguito
• Quale codice è stato eseguito
• Quali dati sono stati utilizzati
• Se l'ambiente di esecuzione era autentico
• Se l'output è rimasto invariato

Perché a lungo termine, l'IA più preziosa potrebbe non essere quella che sembra la più intelligente.

Potrebbe essere l'IA che può provare cosa è successo.

Ecco perché seguo da vicino #OPG e @OpenGradient .

Il futuro dell'IA potrebbe dipendere non solo dall'intelligenza, ma anche dalle prove.

#OpenGradient $OPG @OpenGradient

SE UN AGENTE IA GESTISSE I TUOI SOLDI DOMANI, A COSA FIDERESTI DI MENO?