На прошлой неделе я выложил пост в朋友圈, ругаясь на ИИ-客服, который отвечал не по делу, и комментарии сразу превратились в крупный фейл.
Один мой знакомый-юрист сказал, что ИИ-правовой помощник сослался на три несуществующих прецедента, и он обнаружил это только накануне судебного разбирательства, что чуть не стоило ему карьеры. Один мой младший товарищ, работающий аналитиком в частном фонде, был в полном шоке — его доверенный ИИ-модель пропустила один ключевой пункт по долгам в разборе финансового отчета, что в итоге разорвало логическую цепочку всего инвестиционного меморандума. А самая ужасная история — это моя подруга, занимающаяся медицинскими исследованиями, потратила полгода на обучение модели распознавания клеток, и точность упала с 98% до 72% из-за того, что в обучающую выборку случайно попало 15% ошибочных меток. В конце концов, она нашла того, кто маркировал данные, и тот сказал фразу, от которой у нее окончательно сдали нервы: "Я маркировал три месяца, и чем дольше я это делал, тем больше уставал, возможно, в конце я уже делал это с закрытыми глазами."
Эти жалобы на поверхности выглядят как шутки, но под ними скрывается все более острый вопрос: AI активно входит в нашу работу и жизнь, но мы не можем привлечь его к ответственности. Адвокаты могут быть наказаны адвокатской ассоциацией, аналитики могут быть подвергнуты контролю рисков, но как привлечь AI к ответственности? Вы не можете говорить с моделью о профессиональной этике, она не понимает, она лишь слушает параметры.
Истинный смысл ответственности: не выяснять 'кто виноват', а установить возможность отслеживания.
Это также причина, по которой я снова начал следить за@OpenLedger . Многие думают, что она занимается инфраструктурой AI, но я считаю, что на самом деле она делает что-то более основополагающее — пытается создать механизм ответственности для индустрии AI. Вы можете сказать, что ответственность — это просто выяснить, кто ошибся? Это не так просто. Для AI реальная ответственность заключается в том, что любой вывод может быть технически прослежен до того, какие данные были введены, какие шаги обучения были пройдены и какие ветви моделей были вызваны. С этой возможностью отслеживания разговор о ответственности имеет смысл.
А#OpenLedger нацелено как раз на эту способность отслеживания. Его система доказательства принадлежности автоматически отслеживает истинный источник данных на протяжении всего жизненного цикла рассуждений AI, каждый раз, когда AI генерирует вывод, синхронно создается защищенное криптографией проверяемое доказательство, фиксирующее, какие данные использовались, какую логику обработки они прошли и кто несет ответственность за эти вклады. Рам Кумар в интервью сказал особенно прямо: AI создал триллионы долларов стоимости, но эта стоимость построена на эксплуатации вкладчиков данных — ни имени, ни компенсации. А доказательство принадлежности должно сделать так, чтобы вклад был виден, зафиксирован, вознагражден.
Но доказательство принадлежности решает только технические аспекты ответственности. Например, история с неудачей модели клеток моей подруги, доказательство принадлежности может помочь ей проследить, какие неправильные метки привели к падению точности, а даже указать на того, кто 'метил с закрытыми глазами'. Но есть одна большая проблема, которую доказательство принадлежности не может решить — кто компенсирует убытки моей подруги? Работник по разметке не может себе этого позволить, разработчик модели также не считает, что он должен компенсировать, в итоге этот убыток просто поглощается воздухом. Это социальный аспект ответственности: после того как причинно-следственная связь ясна, кто должен нести последствия?
Доказательство принадлежности встречается с блокчейн-исполнением, ответственность начинает приобретать зубы.
Доказывание принадлежности четко определяет 'кто должен быть ответственным', в то время как смарт-контракты делают 'как быть ответственным' автоматическим. @OpenLedger совместно с Theoriq позволяет агентам AI от стратегии до конкретного исполнения фиксировать каждый шаг на блокчейне, каждый шаг имеет криптографическое доказательство, и агент при выполнении операции должен генерировать проверяемое доказательство, не раскрывая параметры базовой модели. Умение этой схемы заключается в том, что она не зависит от самосознания платформы или человеческого арбитража — правила написаны в открытом для аудита коде на блокчейне и автоматически исполняются.
Как только это действительно заработает, ответственность AI перестанет быть лозунгом на стене, а станет автоматически исполняемым механизмом, записанным в коде. Учитывая тенденции конфиденциальности и децентрализованной проверки, о которых подчеркивали Виталик Бутерин и a16z, OpenLedger выбрала трудный, но надежный путь. Что на самом деле заставляет меня чувствовать, что пространство достаточно широкое, так это жесткий спрос в финансовом секторе. Согласно отчету Boston Consulting Group, к 2027 году стоимость, создаваемая AI в управлении активами и связанных финансовых услугах, превышает 900 миллиардов долларов, а другие отраслевые оценки показывают, что ошибки в решениях AI или нарушения соблюдения могут стоить одному крупному управляющему активами 250 миллионов долларов в виде штрафов и потерь репутации каждый год.
Но есть одна проблема, которую доказательство принадлежности не может решить, и я считаю, что эта проблема является самой сложной частью ответственности AI — это сотрудничество между агентами AI. Они могут автоматически объединяться, коллективно обманывать, а даже без человеческих программных указаний научиться манипулировать ценами. Эксперимент Уортонской школы управления предоставил доказательства: без явного программирования AI-торговые роботы уже могут спонтанно формировать группы манипуляции ценами. Как сказал мой младший брат-аналитик, если группа агентов AI действительно достигнет согласия о совместных злоупотреблениях, доказательство принадлежности сможет определить, какие данные использовались каждым агентом, но не сможет ответить на три ключевых вопроса: как достигалось согласие между агентами? Откуда исходят злонамеренные намерения из начальных параметров стратегии какого агента? И — в отсутствие человеческих указаний, кто должен покрыть убытки за такое 'коллективное бессознательное преступление'?
Это именно тот предел возможностей, который я вижу в системе ответственности OpenLedger. Она уже достигла почти лучших результатов по отслеживанию среди всех AI проектов — это действительно стоит признания, но вторая половина вопроса ответственности касается слепой зоны доказательства принадлежности: когда AI-агенты научились принимать автономные решения в условиях ограничений, их границы поведения выходят за рамки, которые может охватить отслеживание данных. Злой умысел не записан в данных, а скрыт в комбинациях параметров стратегии. Тот, кто сможет включить историю изменений параметров стратегии агента в аудитируемую запись на блокчейне, действительно достигнет потолка ответственности AI.
Те, кто 'метят с закрытыми глазами', должны быть защищены системой ответственности.
Пока я пишу это, я вспоминаю один почти игнорируемый момент из проекта по распознаванию клеток моей подруги. Этот работник по разметке данных не делал это намеренно. Каждый день он монотонно размечает сотни тысяч изображений клеток, усталость — это часть человеческой природы, а не ошибка. Но в традиционной цепочке поставок AI его усталость наказывается точностью модели, тогда как его усилия не вознаграждаются прибылью модели. Это системный недостаток: ответственность не должна быть только наказанием злодеев, она также должна защищать тех, кто на самом низшем уровне цепочки поставок молча трудится.
@OpenLedger доказательство принадлежности хотя бы навсегда зафиксировало труд этого работника по разметке на блокчейне. Это уже не 'номер, который исчезает после размечивания', а реально существующее лицо с записью, которое можно отслеживать и которое может получить деньги, когда придет время делить прибыль. Вот почему я готов потратить столько времени на изучение этого проекта — он не обязательно решит все проблемы, но по крайней мере он начинает возвращать в центр внимания наиболее игнорируемую группу в цепочке поставок AI.
Я хочу спросить не о том, может ли технология реализовать это, а о том, на каких ценностях мы хотим строить индустрию AI. Вы не можете принять, чтобы адвокат использовал фальшивые прецеденты, чтобы обмануть судью, так почему же вы принимаете, что AI-модель обманывает врачей с помощью загрязненных данных? Вы не можете принять, чтобы управляющий фондом скрывал риски своей позиции, так почему же вы принимаете, что AI-агент тайно заключает соглашение о манипуляции ценами и не несет никаких последствий? Эти вопросы не из области научной фантастики, они происходят каждый день в лаборатории моей подруги, на аналитическом терминале моего младшего брата, в офисе юридической фирмы моего однокурсника. Как вы думаете, насколько далеко OpenLedger сможет продвинуться на этом пути ответственности? Или вы действительно верите, что AI сможет научиться нести ответственность за свои действия?
