За последние несколько лет ИИ достиг невероятного прогресса. Модели могут писать эссе, генерировать код и даже создавать изображения или видео. Но чем больше я исследую, как работают эти системы, тем больше я осознаю, что интеллект без надежности - это основа. ИИ подобен зданию, которому нужна база, чтобы стоять.
Изучая идеи, представленные в белой книге Mira, одна тема постоянно приходила мне в голову: ИИ не терпит неудачи из-за нехватки знаний, он терпит неудачу из-за нехватки верификации. Я продолжал думать об этой идее и о том, как она связана с ИИ.
Большие модели генерируют ответы на основе вероятностей, изученных из наборов данных. Это означает, что они могут давать ответы, которые звучат убедительно, даже когда они неверны. Это может проявляться как галлюцинация, когда модель изобретает информацию, или предвзятость, когда вывод отражает шаблоны в обучающих данных, а не объективную истину. Независимо от того, насколько большой становится модель, эти проблемы никогда полностью не исчезают.
Для меня это подчеркивает проблему: мы потратили годы на улучшение генерации ИИ, но не инвестировали достаточно в верификацию ИИ. Нам нужно сосредоточиться на том, чтобы сделать ИИ более надежным.
Проблема с полаганием на одну модель
* Одним из интересных выводов, которые я нашел, является то, что у одной системы ИИ есть граница ошибки.
* Даже продвинутая модель не может полностью устранить как галлюцинации, так и предвзятость одновременно.
Если разработчики пытаются уменьшить галлюцинации, сужая обучающие данные, они часто вводят предвзятость. Если они расширяют данные, чтобы уменьшить предвзятость, в ответах моделей начинают появляться несоответствия. Это становится балансировкой без решения.
Вот почему я думаю, что коллективная верификация так важна. Вместо того чтобы доверять одной модели для решения, является ли что-то правильным, Mira вводит систему, в которой несколько независимых моделей ИИ оценивают одно и то же утверждение. Окончательный результат формируется на основе консенсуса, а не авторитета.
Этот сдвиг ощущается аналогично тому, как распределенные системы улучшили доверие в финансах и инфраструктуре данных. Это как группа людей, которые вместе проверяют информацию.
Разбиение информации на части
Другой концепцией, которая привлекла мое внимание, является то, как система трансформирует контент перед тем, как произойдет проверка.
* Вместо того чтобы просить модели оценивать целую статью или абзац, сеть разбивает информацию на небольшие четкие утверждения.
* Каждое утверждение становится вопросом, который модели верификаторов могут оценивать независимо.
Это решает техническую проблему. Разные модели интерпретируют текст по-разному. Превращая контент в утверждения, сеть гарантирует, что каждый верификатор анализирует одно и то же утверждение.
Для меня этот дизайн показывает, что надежность в ИИ не только о лучших моделях; это также о лучшем формулировании проблем.
Стимулы, которые поощряют поведение
Что также делает эту систему интересной, так это экономический слой, стоящий за ней. Узлы, которые проверяют утверждения, должны ставить ценность перед тем, как участвовать. Если их ответы постоянно отклоняются от консенсуса или проявляют признаки манипуляции, они рискуют потерять свою ставку. Это создает стимул для операторов проводить реальную верификацию, а не угадывать.
Традиционные системы доказательства работы вознаграждают усилия, даже если эти усилия не имеют практического смысла. В отличие от этого, эта сеть требует вычислений: выводы ИИ используются для проверки информации.
Роль разнообразия моделей
Еще одна вещь, которую я ценю, это акцент на разнообразии. Разные модели ИИ обучаются на различных наборах данных, архитектурах и стратегиях оптимизации. Эти различия могут индивидуально вводить предвзятость. Когда они объединяются, они также могут компенсировать друг друга.
Децентрализованная сеть естественным образом позволяет этой разнообразию возникать. Независимые операторы запускают модели верификаторов, что снижает риск доминирования одной точки зрения в процессе проверки.
Шаг к надежному автономному ИИ
Больше всего меня волнует этот подход с его долгосрочными последствиями. Сегодня системы ИИ все еще требуют человеческого контроля, потому что их результаты не всегда можно доверять. Если надежный уровень верификации станет частью инфраструктуры ИИ, эта динамика может измениться.
Из-за того, что люди постоянно проверяют результаты ИИ, машины могут проверять друг друга через децентрализованный консенсус.
Моя последняя рефлексия
После размышлений над этими идеями мой главный вывод прост: будущее ИИ может сильно зависеть от сетей верификации так же, как и от лучших моделей. Генерация сделала ИИ мощным. Верификация может стать тем, что сделает ИИ надежным.
Если это видение сбудется, мы в конечном итоге сможем увидеть системы ИИ, которые не только быстро производят информацию, но и предоставляют криптографическое доказательство того, что информация была проверена. В мире, все больше управляемом знаниями, сгенерированными машинами, такая инфраструктура доверия может стать невероятно ценной.
#Mira @Mira - Trust Layer of AI $MIRA
