Quand votre IA ment et que personne ne le sait
Le mois dernier, j'ai vu un trader perdre six chiffres parce qu'un modèle d'IA a cité avec confiance un dossier réglementaire inexistant. L'hallucination avait un formatage parfait, des dates réalistes, même un faux numéro de document. Au moment où la vérification humaine l'a détecté, les dégâts étaient faits.
Ce n'est pas rare. C'est mardi.
Nous déployons des systèmes d'IA plus rapidement que nous pouvons leur faire confiance. Diagnostics médicaux, contrats légaux, domaines d'analyse financière où une seule erreur peut se transformer en catastrophe. La solution actuelle ? Jeter plus d'humains sur le problème. Mais la supervision humaine ne se développe pas, et "faire confiance mais vérifier" échoue lorsque la vérification prend plus de temps que la fenêtre de décision.