Сначала "верификация для ИИ" казалась еще одним уровнем, добавленным, потому что никто не хочет признавать, что результат неопределен. Но обычно можно сказать, когда проблема реальна, потому что она продолжает появляться одинаковым образом. Модель дает четкий ответ. Кто-то доверяет ей, потому что она хорошо читается. Затем, позже, приходит неудобный вопрос: на чем это основано?
Вот где все становится интересным. В повседневном использовании неправильный ответ — это просто шум. В реальных рабочих процессах это становится записью. Резюме архивируется. Принимается решение о поддержке. Замечание о соблюдении прикрепляется к делу. И когда решение ставится под сомнение, вопрос меняется с "было ли это полезно?" на "можем ли мы это защитить?" Не защищать модель, а защищать процесс.
Большинство "решений" не совсем подходят. Человеческий обзор превращается в спешное одобрение, потому что время поджимает. Лучшие подсказки становятся командным фольклором. Централизованные валидаторы просто создают еще одну сторону, которой вы вынуждены доверять, а доверие — это именно то, что испытывается, когда появляются деньги, регулирование или споры.
Поэтому я вижу, почему @Mira - Trust Layer of AI нацеливается на верификацию как на инфраструктуру. Не для того, чтобы сделать ИИ идеальным, а чтобы сделать результаты более похожими на то, с чем учреждения уже знают, как справляться: требования, которые можно проверить, оспорить и задокументировать таким образом, чтобы это выдерживало испытания временем.
Если это достаточно быстро и дешево, команды в регулируемых или высокоответственных областях попробуют это. Если это станет медленным, дорогим или легким для манипуляции, люди тихо вернутся к неформальному доверию и последующей очистке, что в любом случае происходит в большинстве систем.