Il mese scorso, un amico mi ha raccontato qualcosa che lo ha spaventato un po'.
Stava testando uno strumento di analisi finanziaria AI, facendolo eseguire una valutazione del rischio su un portafoglio. Il modello ha fornito un report che sembrava molto professionale, consigliando di regolare le posizioni. Non ha seguito tutto alla lettera, ma ha fatto riferimento parziale.
Poi ho scoperto che il giudizio centrale di quel report si basava su un insieme di dati storici di scarsa qualità—il modello ha usato input sbagliati, ma l'output sembrava molto sicuro.
Mi ha chiesto sulla piattaforma: da dove provengono i dati di addestramento di questo report?
La piattaforma ha risposto: non possiamo fornire informazioni sulla fonte dei dati.