Je pensais aux agents d'IA aujourd'hui et cela a rendu le risque très simple. Dans le chat, une erreur n'est qu'une mauvaise ligne. Dans l'automatisation, cette même mauvaise ligne peut devenir une étape que le système exécute réellement. Un agent peut approuver quelque chose, acheminer quelque chose, déclencher quelque chose. S'il hallucine un petit détail et semble toujours confiant, le flux de travail peut avancer avant que quiconque ne s'en aperçoive.
C'est pourquoi les réseaux de vérification comptent plus pour moi que "simplement rendre le modèle plus intelligent." L'approche de Mira est essentiellement une habitude de sécurité : décomposer la sortie en affirmations, laisser des vérificateurs indépendants vérifier ces affirmations, et utiliser le consensus pour montrer ce qui est solide et ce qui est incertain. La partie la plus importante est ce qui se passe lorsqu'une affirmation clé est incertaine. L'agent devrait faire une pause ou escalader. Il ne devrait pas continuer juste parce que le paragraphe semble clair.