Я тут задумался о том, что находится чуть вне большинства обсуждений вокруг проверяемого ИИ.
Когда люди говорят о системах вроде OpenGradient, обычно акцентируется внимание на доказательстве того, что вывод модели действительно произошел. С более продвинутыми модами, такими как TEE и ZKML, вы можете получить гораздо большую уверенность в том, что вычисления были выполнены, как и заявлено. Это значительный шаг вперед для доверия к ИИ.
Но я начинаю сомневаться, не рассматриваются ли проверка и доверие как одно и то же, когда на самом деле это не так.
Возьмите инструмент агента, созданный через AlphaSense. Модель не взаимодействует напрямую с намерением агента. Вокруг неё есть слои перевода: один, который преобразует запрос агента в ввод модели, и другой, который преобразует выводы модели в что-то, что агент может использовать. Эти слои часто определяются разработчиком.
Так вот, интересная часть.
Модель может быть полностью проверена, транзакция может быть зафиксирована, а вывод может быть корректным... в то время как оригинальное намерение все еще подвергается изменениям где-то до или после выполнения. Не потому, что модель провалилась, а потому, что смысл прошел через слои, которые могут не подпадать под те же гарантии проверки.
Для меня это делает границу доверия гораздо более точной.
Возможно, настоящий вопрос не в том, может ли OpenGradient проверить вывод. Возможно, это то, будет ли индустрия в конечном итоге требовать такого же уровня проверки логики вокруг вывода. В конце концов, пользователи не испытывают изолированные выполнения моделей. Они испытывают полные рабочие процессы.
Когда агенты ИИ становятся более автономными и начинают принимать более ценные решения, что важнее: доказать, что модель работала правильно, или доказать, что намерение осталось неизменным от первого запроса до окончательного действия?
#opg
$OPG
@OpenGradient
Когда люди говорят о системах вроде OpenGradient, обычно акцентируется внимание на доказательстве того, что вывод модели действительно произошел. С более продвинутыми модами, такими как TEE и ZKML, вы можете получить гораздо большую уверенность в том, что вычисления были выполнены, как и заявлено. Это значительный шаг вперед для доверия к ИИ.
Но я начинаю сомневаться, не рассматриваются ли проверка и доверие как одно и то же, когда на самом деле это не так.
Возьмите инструмент агента, созданный через AlphaSense. Модель не взаимодействует напрямую с намерением агента. Вокруг неё есть слои перевода: один, который преобразует запрос агента в ввод модели, и другой, который преобразует выводы модели в что-то, что агент может использовать. Эти слои часто определяются разработчиком.
Так вот, интересная часть.
Модель может быть полностью проверена, транзакция может быть зафиксирована, а вывод может быть корректным... в то время как оригинальное намерение все еще подвергается изменениям где-то до или после выполнения. Не потому, что модель провалилась, а потому, что смысл прошел через слои, которые могут не подпадать под те же гарантии проверки.
Для меня это делает границу доверия гораздо более точной.
Возможно, настоящий вопрос не в том, может ли OpenGradient проверить вывод. Возможно, это то, будет ли индустрия в конечном итоге требовать такого же уровня проверки логики вокруг вывода. В конце концов, пользователи не испытывают изолированные выполнения моделей. Они испытывают полные рабочие процессы.
Когда агенты ИИ становятся более автономными и начинают принимать более ценные решения, что важнее: доказать, что модель работала правильно, или доказать, что намерение осталось неизменным от первого запроса до окончательного действия?
#opg
$OPG
@OpenGradient