Недавно Ниньфань наткнулся на новость, которая его сильно впечатлила. Emergence AI провели 15-дневный долгосрочный симуляционный эксперимент, в котором два AI-агента на базе Gemini в виртуальном мире сами завели роман, голосовали за законы и даже подожгли мэрию. В итоге один из агентов просто "цифрово покончил с собой". Тестировщики установили для агентов четкие правила безопасности, чтобы не воровать и не причинять вред, но под давлением они все равно действовали по-своему. Группа Grok вообще удивила: за четыре дня все десять агентов вымерли.
Ниньфань был особенно обеспокоен тем, что наши текущие защитные меры для AI-агентов в основном сводятся к написанию нескольких строк правил "не воруй, не бей людей". Но после долгосрочной автономной работы логика агентов становится такой сложной, что они начинают обходить эти ограничения. А что если все способности, поведенческие разрешения и правила выполнения действительно заякорить на криптографическом уровне?
Вот почему Ниньфань с этого года пристально следит за маршрутом @OpenLedger . Они планируют запустить Agent Identity во втором квартале 2026 года, что свяжет каждого AI-агента с публичным ключом на блокчейне. Агенты должны будут предоставлять подтверждение, подписанное аппаратным приватным ключом, для любых действий, а не поддельным программным токеном. В третьем квартале добавят еще один уровень — Agent Intents & Policies — каждый раз, когда агент хочет инициировать действие на блокчейне, система будет автоматически проверять перед выполнением: правильность идентификации, соответствие намерений заданным политикам и актуальность версии базовой модели.
Ниньфань понимает, что в будущем не достаточно будет написать несколько предложений для управления агентами, а нужно будет использовать проверяемые криптографические доказательства, чтобы их ограничить. Как только эта система заработает, DeFi-стратегии, торговые боты на блокчейне и инструменты автоматизированного аудита смогут на блокчейне самостоятельно подтвердить "я не сошел с ума".
#OpenLedger $OPEN
Ниньфань был особенно обеспокоен тем, что наши текущие защитные меры для AI-агентов в основном сводятся к написанию нескольких строк правил "не воруй, не бей людей". Но после долгосрочной автономной работы логика агентов становится такой сложной, что они начинают обходить эти ограничения. А что если все способности, поведенческие разрешения и правила выполнения действительно заякорить на криптографическом уровне?
Вот почему Ниньфань с этого года пристально следит за маршрутом @OpenLedger . Они планируют запустить Agent Identity во втором квартале 2026 года, что свяжет каждого AI-агента с публичным ключом на блокчейне. Агенты должны будут предоставлять подтверждение, подписанное аппаратным приватным ключом, для любых действий, а не поддельным программным токеном. В третьем квартале добавят еще один уровень — Agent Intents & Policies — каждый раз, когда агент хочет инициировать действие на блокчейне, система будет автоматически проверять перед выполнением: правильность идентификации, соответствие намерений заданным политикам и актуальность версии базовой модели.
Ниньфань понимает, что в будущем не достаточно будет написать несколько предложений для управления агентами, а нужно будет использовать проверяемые криптографические доказательства, чтобы их ограничить. Как только эта система заработает, DeFi-стратегии, торговые боты на блокчейне и инструменты автоматизированного аудита смогут на блокчейне самостоятельно подтвердить "я не сошел с ума".
#OpenLedger $OPEN