Новый выпуск этой недели затрагивает схождение двух важных и актуальных тенденций: искусственного интеллекта и блокчейн-технологий/криптовалют. Эти направления в совокупности оказывают значительное влияние на нашу повседневную жизнь; поэтому этот выпуск идеально подходит для тех, кто проявляет интерес или уже работает в этой сфере. В разговоре рассматриваются темы, начиная от deepfakes, ботов и необходимости проверки человечности в мире ИИ, и заканчивая большим объемом данных, крупными языковыми моделями, такими как ChatGPT, контролем пользователей, управлением, приватностью и безопасностью, знанием без знания и zkML; а также MEV, средствами массовой информации, искусством и многим другим.
В беседе с ведущей Сонал Чокши примут участие следующие эксперты:
Дэн Боне, профессор Стэнфордского университета (и старший научный консультант в компании a16z crypto), криптограф, работающий над блокчейнами более десяти лет и специализирующийся на криптографии, компьютерной безопасности и машинном обучении, — все эти области пересекаются в этом эпизоде;
Али Яхья, генеральный партнер a16z crypto, ранее также работал в Google, где занимался не только распределенной системой для парка роботов (своего рода «коллективное обучение с подкреплением»), но и участвовал в разработке Google Brain, где был одним из основных разработчиков библиотеки машинного обучения TensorFlow, созданной в Google.
Первая половина неформальной беседы между Али и Дэном (которые знакомы как студенты и преподаватели Стэнфорда) посвящена тому, как ИИ может извлечь выгоду из криптовалют, а вторая — тому, как криптовалюты могут извлечь выгоду из ИИ. Общим моментом является противоречие между централизацией и децентрализацией. Таким образом, мы также анализируем, как пересечение криптовалют и ИИ может привести к результатам, которые ни один из этих подходов не был бы возможен по отдельности.
Материалы, упомянутые в этом эпизоде/рекомендуемая литература:
Следующая система киберлогического мышления для обеспечения кибербезопасности (2023) Мохамеда Феррага, Аммара Баттаха, Норберта Тихани, Меруана Деббаха, Тьерри Лестабля и Лукаса Кордейро.
Новая эра в безопасности программного обеспечения: на пути к самовосстанавливающемуся программному обеспечению посредством расширенных языковых моделей и формальной верификации (2023) Яннис Хараламбус, Норберт Тиханьи, Ридхи Джайн, Юченг Сунь, Мохамед Ферраг, Лукас Кордейро
Исправление ошибок в аппаратной безопасности с помощью расширенных языковых моделей (2023) Балиг Ахмад, Шайлджа Такур, Бенджамин Тан, Рамеш Карри и Хаммонд Пирс
Собираются ли пользователи писать менее безопасный код с помощью ИИ-помощников? (2022) Нил Перри, Мегха Шривастава, Дипак Кумар и Дэн Бонех
«Спите за клавиатурой? Оценка безопасности кода, вносимого в GitHub Copilot» (2021) Хаммонда Пирса, Бали Ахмада, Бенджамина Тана, Брендана Долана-Гавита и Рамеша Карри.
Голосование, безопасность и управление в блокчейнах (2019) совместно с Али Яхья и Филом Дайаном.
ТРАНСКРИПЦИЯ:
Добро пожаловать на "web3 с a16z", шоу о создании интернета следующего поколения от криптокоманды a16z, включая меня, вашу ведущую, Сонал Чокши. Сегодняшний новый эпизод посвящен слиянию двух важных передовых тенденций: искусственного интеллекта (ИИ) и криптовалют. Это имеет значительные последствия для нашей повседневной жизни; поэтому этот эпизод предназначен для всех, кто интересуется этой сферой или уже работает в ней.
Сегодня у нас специальные гости: Дэн Боне, профессор Стэнфорда (и старший научный консультант в a16z crypto). Он криптограф, работающий с блокчейнами более десяти лет. Темы этого эпизода тесно переплетены с криптографией, кибербезопасностью и машинным обучением — всеми областями его компетенции. Также с нами Али Яхья, генеральный партнер a16z crypto, который также работал в Google, где не только разработал распределенную систему для робототехники (точнее, своего рода «коллективное обучение с подкреплением», включающее обучение одной нейронной сети, которая вносила вклад в действия целого флота роботов), но и работал над Google Brain, где внес значительный вклад в библиотеку машинного обучения TensorFlow. На самом деле, Дэн и Али знакомы еще со времен, когда Али учился в Стэнфорде, поэтому эта беседа больше похожа на неформальный разговор, к которому я пригласил присоединиться. Мы обсуждаем все: от дипфейков и ботов до доказательства человечности в мире ИИ и многое другое.
Первая половина посвящена тому, как ИИ может извлечь выгоду из криптовалют, а вторая — тому, как криптовалюты могут извлечь выгоду из ИИ; общей нитью является противоречие между централизацией и децентрализацией. Напоминаем: ничто из изложенного ниже не следует рассматривать как инвестиционную, юридическую, деловую или налоговую консультацию; более подробную информацию, включая ссылку на список наших инвестиций, см. на сайте a16z.com/disclosures. Но сначала: мы начнем с пересечения этих двух миров, кратко рассказав об областях (или видениях!), которые их вдохновляют; первым вы услышите голос Али.
Али: Есть очень хороший научно-фантастический роман Нила Стивенсона под названием «Алмазный век», в котором описывается устройство, известное как «Иллюстрированное руководство», — своего рода устройство с искусственным интеллектом, которое выступает в роли вашего наставника и учителя на протяжении всей вашей жизни.
А затем, после вашего рождения, вас связывают с искусственным интеллектом, который, по сути, очень хорошо вас знает, изучает ваши предпочтения, сопровождает вас на протяжении всей жизни, помогает вам принимать решения и направляет вас в нужном направлении.
Итак, существует научно-фантастическое будущее… где вы могли бы создать искусственный интеллект, но вы бы не хотели, чтобы им управлял монополистический технологический гигант. Потому что это дало бы этой компании слишком много контроля, и есть все эти вопросы конфиденциальности и суверенитета, и вам бы хотелось иметь хоть какой-то контроль над ним.
А что, если компания исчезнет, изменит правила или цены? Было бы здорово создать ИИ, который мог бы работать очень долго и узнавать вас на протяжении всей вашей жизни, но которая действительно принадлежала бы вам.
А еще есть такое видение, что это можно сделать с помощью блокчейна: можно интегрировать ИИ в смарт-контракт.
А благодаря возможностям доказательств с нулевым разглашением вы также можете сохранить свои данные в тайне.
А затем, с течением десятилетий, этот ИИ может стать умнее и помочь вам, и тогда у вас появится возможность делать с ним все, что захотите. Или модифицировать его по своему усмотрению; или отключить его.
И это интересная долгосрочная перспектива для ИИ, который постоянно развивается и совершенствуется: было бы лучше, если бы он не контролировался одной централизованной компанией.
Конечно, это очень фантастическая идея, потому что она связана со многими проблемами, включая проверку и обеспечение конфиденциальности данных с помощью криптографии, а также возможность выполнения вычислений над этими данными, возможно, с использованием полностью гомоморфного шифрования. <Sonal: м-м-м> Все эти проблемы остаются, но это не является чем-то немыслимым.
Дэн: Вау! Мне нравится видение Али!
Сонал: Мне тоже очень нравится, особенно учитывая цитату (кажется, Азимова) о том, что сегодняшняя научная фантастика — это завтрашняя наука, основанная на фактах.
Али, я знаю, что у тебя есть мета-концепция для осмысления всего этого, о которой я слышал от тебя раньше, можешь поделиться ею и сейчас?
Али: Да, существует более широкая концепция, которая развивается уже довольно давно и сейчас получает гораздо большее освещение в связи с развитием таких программ, как магистратура в области права (LLM).
Сонал: На самом деле, Али, объясни это очень быстро, просто для слушателей, которые еще не знакомы с этим понятием, для контекста.
Али: LLM расшифровывается как «большая языковая модель» и использует некоторые технологии, разработанные в Google в 2017 году. Есть известная статья под названием «Внимание — это все, что вам нужно» (так называлась статья), в которой описываются так называемые трансформеры, которые, по сути, лежат в основе некоторых новых моделей, которые сейчас используются для обучения, включая ChatGPT и другие. Все это — большие языковые модели, или LLM.
<Sonal: ммм!> #BTC
Есть известная цитата, кажется (2018 год), Питера Тиля: «Искусственный интеллект — это коммунизм, а криптовалюты — либертарианство». На самом деле, это очень точно, потому что ИИ и криптовалюты во многом естественным образом уравновешивают друг друга. <Sonal: Ага? И, возможно, мы сможем подробнее рассмотреть каждый из этих примеров в течение подкаста. <Sonal: Да. Но есть четыре основных аспекта, где это верно:
[1] Во-первых, ИИ — это технология, которая процветает и обеспечивает централизованное управление сверху вниз, тогда как криптография основана на децентрализованном сотрудничестве снизу вверх. Фактически, во многих отношениях криптографию можно рассматривать как изучение построения децентрализованных систем, которые обеспечивают крупномасштабное человеческое сотрудничество, где нет центральной точки управления.
И это естественный способ, которым эти две технологии уравновешивают друг друга.
[2] Еще один момент заключается в том, что ИИ — это устойчивая инновация, поскольку он укрепляет бизнес-модели существующих технологических компаний, помогая им принимать решения на высшем уровне. Лучшим примером этого может служить способность Google точно определять, какую рекламу показывать каждому из своих пользователей среди миллиардов пользователей и миллиардов просмотров страниц.
В действительности криптовалюты представляют собой принципиально революционную инновацию, поскольку их бизнес-модель принципиально противоположна модели крупных технологических компаний. Поэтому это движение возглавляют бунтари/маргинальные секторы, а не устоявшиеся компании. <Sonal: мхм> Так что это второй вариант.
[3] Третий пункт заключается в том, что ИИ, вероятно, будет тесно связан со всеми тенденциями к конфиденциальности и будет взаимодействовать с ними… Потому что ИИ как технология включает в себя всевозможные стимулы, которые ведут нас к уменьшению личной конфиденциальности, поскольку у нас будут компании, которые захотят получить доступ ко всем нашим данным; и модели ИИ, обученные на постоянно растущих объемах данных, будут становиться все более эффективными. Поэтому я думаю, что это ведет нас по пути паноптикума ИИ, где данные каждого просто агрегируются для обучения этих огромных моделей и их максимальной оптимизации.
В то время как криптовалюты ведут нас в противоположном направлении, к большей конфиденциальности личности. Это направление к большей суверенитету, где пользователи контролируют свои собственные данные. И я думаю, что эти две тенденции будут очень важны. И это еще один важный способ, которым криптовалюты выступают в качестве противовеса искусственному интеллекту.
(4) И, возможно, последнее связано с этой последней тенденцией в ИИ: тот факт, что ИИ теперь явно является мощной технологией для создания нового искусства; теперь это творческий инструмент <Sonal: мм! совершенно>, который приведет нас к бесконечному изобилию медиа, к бесконечному творчеству во многих отношениях.
Криптография выступает в качестве противовеса этому, поскольку помогает нам анализировать всё это изобилие, помогая отличать то, что создано людьми, от того, что создано искусственным интеллектом. И криптография будет необходима для сохранения и защиты того, что действительно является человеческим, в мире, где в тысячу раз больше контента создаётся искусственно.
Обо всем этом можно поговорить, но я думаю, что здесь присутствует важный метанарратив; и эти две технологии во многом диаметрально противоположны.
Дэн: Итак, Али, в дополнение к этому, это замечательное резюме, и я бы также сказал, что существует множество областей, где методы ИИ оказывают влияние на блокчейны; и наоборот, где методы блокчейна оказывают влияние на ИИ.
Я дам краткий ответ, потому что через минуту мы углубимся в детали; но здесь много точек соприкосновения: я думаю, через минуту мы будем говорить о применении машинного обучения с нулевым разглашением…
Но я также хочу затронуть все эти приложения, где машинное обучение может быть использовано для написания кода. Например, машинное обучение может быть использовано для написания кода на Solidity, который приводит к сбою. Оно может быть использовано для обнаружения потенциальных ошибок в коде и так далее.
Существуют точки пересечения, где машинное обучение может использоваться для создания дипфейков, а блокчейн может помочь защититься от них. Поэтому я ожидаю, что мы рассмотрим все эти моменты, но интересно то, что между блокчейном и машинным обучением существует значительное совпадение.
Сонал: Да, прежде чем мы углубимся в это, Дэн, у меня есть вопрос: вы согласны? Я полностью понимаю точку зрения Али: ИИ и криптовалюты — это естественные дополнения, или противовесы, или же это разные силы, которые сдерживают и уравновешивают друг друга... Но считаете ли вы, что это неотъемлемое свойство ИИ и криптовалют? Или это просто артефакт того, как все устроено сейчас? С какими аспектами вы согласны или не согласны?
Дэн: Да; поэтому я бы сказал, что, если посмотреть на это со стороны… методы, используемые в ИИ, кажутся очень разными по сравнению с теми, которые используются в блокчейнах, верно? Блокчейны фокусируются на криптографии, децентрализации, финансах, экономике и так далее.
В то время как T-233 фокусируется на статистике, машинном обучении, математике и т. д., T-233 фокусируется на больших данных. Эти методы кажутся довольно разными, но существует множество способов, которыми один может помочь другому, и наоборот.
Пожалуй, первое и наиболее очевидное применение, которое давно волнует многих, — это машинное обучение с нулевым разглашением. Это новая область, называемая zkML. Ее привлекательность обусловлена тем, что методы с нулевым разглашением значительно улучшились благодаря их применению в блокчейнах.
То, что произошло за последние 10 лет, невероятно; такое мы видим нечасто: идея доказательств с нулевым разглашением, и системы доказательств в целом, еще десять лет назад считались сугубо теоретическими. А из-за всех их применений в блокчейнах внезапно возникли огромные усилия, чтобы сделать их более практичными и реалистичными. В результате был достигнут колоссальный прогресс (как знают наши слушатели), и теперь эти инструменты внедряются и используются для обеспечения безопасности реальных систем.
Итак, вопрос: можно ли использовать методы нулевого разглашения для повышения эффективности машинного обучения? Есть пара примеров (честно говоря, мы могли бы посвятить весь подкаст только zkML), но, пожалуй, я могу привести один-два примера, где ZK полезен для машинного обучения.
Представьте, что у Алисы есть секретная модель, над обучением которой она долго работала, и она для неё очень важна. Крайне важно, чтобы никто не знал, как она работает. Но при этом она всё ещё хочет обрабатывать запросы Боба, верно? Боб хочет отправить ей данные, а она применит модель к этим данным и отправит ему результат.
Боб понятия не имеет, получает ли он правильные результаты с этой моделью, верно? Может быть, он заплатил за конкретную модель и хочет убедиться, что Алиса действительно её использует, верно? Может быть, он заплатил за GPT-4 и хочет убедиться, что Алиса действительно использует GPT-4, а не GPT-3.
Оказывается, методы ZK могут быть очень полезны в этом случае. Алиса могла бы зафиксировать изменения в своей модели и сделать её общедоступной. Затем, каждый раз, когда Боб отправлял данные, Алиса могла бы запускать модель с этими данными и отправлять ему результаты вместе с доказательством того, что модель была оценена правильно. Таким образом, Боб был бы уверен, что зафиксированная модель — это та же самая модель, которая была запущена с его данными. Верно? Это пример того, как методы ZK могут быть полезны в машинном обучении.
И я хочу подчеркнуть, почему это так важно: <Sonal: Да! > Давайте рассмотрим пример:
Допустим, у нас есть функция, модель, которая фактически используется для влияния на жизнь людей. Представьте, например, что мы используем модель для принятия решения о выдаче кредита или ипотеки; финансовое учреждение может захотеть использовать аналогичную модель. Мы хотим убедиться, что одна и та же модель применяется ко всем, верно? Не так, чтобы одна модель применялась ко мне, а другая к вам. По сути, заставляя банк придерживаться модели, чтобы каждый мог убедиться, что его данные обрабатываются одной и той же моделью, мы можем гарантировать, что одна и та же модель применяется ко всем.
Должен сказать, здесь есть открытая проблема: хотя методы с нулевым разглашением могут гарантировать, что одна и та же модель применяется ко всем, возникает вопрос: является ли модель справедливой? Модели могут быть предвзятыми и давать несправедливые результаты. Поэтому существует целая область исследований, называемая алгоритмической справедливостью; существует множество статей по алгоритмической справедливости, и действительно интересно задать вопрос: теперь, когда у нас есть установленная модель, можем ли мы продемонстрировать, с нулевым разглашением, что модель соответствует какому-либо определению справедливости из области алгоритмической справедливости?
И как мы можем гарантировать, что процесс обучения будет проведен правильно?
Али: Что ж, всё, что вы сказали о #zkml , невероятно интересно. И, как технология, я думаю, она будет способствовать повышению прозрачности и доверия к машинному обучению и искусственному интеллекту в целом, как в контексте криптовалют, так и за его пределами.
Я думаю, что ещё более амбициозное и, возможно, долгосрочное применение ZKML — и некоторых других методов верификации, над которыми работает криптосообщество, — это просто децентрализация ИИ в целом. Как мы уже обсуждали, ИИ — это почти по своей природе централизующая технология, поскольку она процветает за счёт таких факторов, как эффект масштаба, так как размещение всего в центре обработки данных делает его более эффективным. Следовательно, централизованное масштабирование делает его более мощным и, как следствие, более централизованным.
Кроме того, данные часто контролируются небольшим числом средних технологических компаний. Это также приводит к большей централизации.
И наконец: модели машинного обучения и специалисты по машинному обучению, также контролируемые небольшим числом участников.
И криптовалюты снова могут помочь в этом направлении, разрабатывая технологии, использующие такие инструменты, как ZKML, которые могут способствовать децентрализации ИИ.
Таким образом, в ИИ задействованы три основных аспекта: вычислительный аспект, требующий масштабного использования графических процессоров (обычно в центрах обработки данных); аспект данных, который, опять же, контролируется большинством централизованных компаний; и сами модели машинного обучения. <Sonal: да>
Самый простой вариант — это вычисления. Возможно ли децентрализовать вычисления для обучения и вывода моделей машинного обучения? Именно здесь вступают в игру некоторые из методов, упомянутых Дэном, такие как доказательства с нулевым разглашением, которые позволяют продемонстрировать, что процесс вывода или обучения модели был выполнен правильно, что позволяет передать его на аутсорсинг большому сообществу. Можно создать распределенный процесс, в котором любой пользователь с графическим процессором может внести свой вклад в вычисления сети и таким образом обучить модель, не обязательно полагаясь на огромный центр обработки данных со всеми централизованными графическими процессорами.
И главный вопрос остается открытым: будет ли это экономически целесообразно... Но, по крайней мере, при наличии правильных стимулов можно использовать весь этот «длинный хвост»: всю эту простаивающую мощность графических процессоров можно задействовать; все эти люди могут внести свой вклад в вычисления для обучения модели или выполнения вывода; и это может предложить альтернативу тому, что в противном случае контролировалось бы исключительно крупными средними технологическими компаниями. <Sonal: Хм!> Для этого необходимо решить множество серьезных технических проблем.
На самом деле, в этом секторе есть компания Gensyn, которая разрабатывает именно это. Они создают децентрализованную площадку для вычислений на графических процессорах, в первую очередь для обучения моделей машинного обучения. Это площадка, где любой может внести свой вклад, используя свои вычислительные мощности графических процессоров, будь то на личном компьютере под столом или в незадействованном центре обработки данных.
С другой стороны, любой может использовать вычислительные мощности, доступные в сети, для обучения своих больших моделей машинного обучения. Это стало бы альтернативой централизованной системе типа OpenAI/Google/Meta/всеобщий доступ — ну, вставьте сюда название вашей любимой крупной технологической компании <Sonal: Да! (смеется) — которую вам сейчас пришлось бы использовать.
Сонал: Хорошо, прежде чем мы углубимся в эту концепцию децентрализации, Али, вы разбирали вычислительные процессы, и я думаю, вы собирались рассказать о двух других из этих трех столпов. Но прежде чем это сделать… вы оба немного говорили о технических проблемах. Какие технические проблемы необходимо преодолеть, и над чем люди уже работают? (Я хочу, чтобы разработчики, слушающие этот эпизод, также задумались о возможностях в этой области и о том, как они могут решить существующие проблемы; или с какими проблемами они столкнутся при разработке решений.)
Дэн: Да, тогда, возможно, я могу упомянуть два примера, которые, как мне кажется, будут интересны людям.
[1] В принципе, давайте представим, что у Алисы есть модель, которую она хочет защитить. Она хочет отправить ее в зашифрованном виде кому-то другому, например, Бобу. Боб получает зашифрованную модель и должен иметь возможность обрабатывать на ней свои данные.
Как это сделать? Если у вас есть данные, которые вы хотите обработать с помощью модели, но у вас есть только шифрование модели, как это осуществить?
И для этого мы бы использовали так называемый полностью гомоморфный шифр. <Sonal: Да. (FHE).> Это полностью гомоморфный шифр, замечательный инструмент, позволяющий выполнять вычисления с зашифрованными данными.
Кажется невероятным, что это возможно, но можно иметь зашифрованную модель и данные в открытом виде, запустить зашифрованную модель на этих данных и получить зашифрованный результат. Затем этот зашифрованный результат будет отправлен Алисе, которая сможет его расшифровать и увидеть в открытом виде.
Так что это уже существует... на самом деле, на практике на это есть довольно большой спрос; <Sonal: да> нетрудно понять, что Министерство обороны заинтересовано в этом. Существует множество других приложений, где вы можете отправить зашифрованную модель третьей стороне; они запустят зашифрованную модель на своих данных; отправят вам результаты; вы сможете расшифровать их и получить информацию о данных, которые были введены в качестве входных данных для зашифрованной модели.
Вопрос, конечно, в том, как это масштабировать? Сейчас это хорошо работает для моделей среднего размера… и вопрос в том, сможем ли мы масштабировать это на гораздо более крупные модели? Так что это довольно сложная задача: пара стартапов в этом секторе и, повторяю, очень, очень интересная технология; невероятно, что это вообще возможно. <Sonal: Да… действительно. И мы, вероятно, увидим гораздо больше подобного в будущем.
[2] Другая область — это та, которую упомянул Али, еще одна очень важная область: как мы можем знать, что модель была обучена правильно?
Итак, если я отправляю кому-то свои данные и прошу обучить модель на их основе или дообучить её, как я могу быть уверен, что он сделал это правильно? Конечно, он может вернуть мне готовую модель, но как я могу быть уверен, что в ней нет бэкдоров? На самом деле, немало исследований показало, что если обучение выполнено неправильно, то может получиться модель, которая будет корректно работать со всеми тестовыми данными, но будет содержать бэкдор, то есть даст катастрофический сбой при работе с определёнными входными данными. Это возможно, если процесс обучения не контролируется.
И снова, здесь вступает в игру ZKML: мы можем продемонстрировать, что обучение было выполнено правильно; или, возможно, существуют другие методы для демонстрации этого. Но опять же, это другая область — очень активная область исследований — и я бы призвал многих слушателей задуматься о том, что это очень сложная проблема: продемонстрировать, что обучение было выполнено правильно; продемонстрировать, что обучающие данные были собраны и отфильтрованы правильно, и так далее.
На самом деле, это прекрасная возможность начать карьеру, если вы хотите работать в этой сфере.
Сонал: Отлично! Али, что бы ты еще добавил?
Али: Да, безусловно. Что ж, я думаю, если мы продолжим говорить о том, что потребуется для децентрализации стека ИИ, то, на мой взгляд, для децентрализации вычислительной составляющей — а это три важных компонента — если мы хотим децентрализовать вычислительную составляющую, то перед нами стоят две очень важные технические задачи, которые еще не решены.
Первая проблема — это проблема верификации (о которой только что упомянул Дэн) <Sonal: mhm>, для решения которой можно использовать ZKML. В идеале, со временем доказательства с нулевым разглашением можно было бы использовать для демонстрации того, что реальная работа — работа людей, внесших свой вклад в эту сеть, — была выполнена правильно.
Проблема заключается в том, что производительность этих криптографических примитивов далека от уровня, необходимого для обучения или вывода очень больших моделей. Поэтому существующие модели, такие как LLM, которые мы все знаем и ценим (например, ChatGPT), не могут быть доказаны при текущем состоянии ZKML. Следовательно, ведётся большая работа по улучшению производительности процесса доказательства, чтобы можно было эффективно доказывать всё более крупные объёмы данных. Но это открытая проблема, над которой работают многие исследователи.
Между тем, такие компании, как Gensyn, используют другие методы, которые не являются исключительно криптографическими, а основаны на теории игр. Они привлекают большее количество независимых специалистов для выполнения работы и сравнивают их результаты, чтобы убедиться в правильности выполнения. <Sonal: Как интересно! Это более оптимистичный подход, основанный на теории игр, который не зависит от криптографии, но соответствует главной цели децентрализации ИИ или содействует созданию гораздо более органичной, управляемой сообществом, нисходящей экосистемы ИИ, в отличие от нисходящего подхода, предлагаемого такими компаниями, как OpenAI.
Итак, это первая проблема; первая серьезная проблема — это проблема проверки.
Вторая большая проблема связана с распределенными системами: как фактически скоординировать работу большого сообщества людей, предоставляющих графические процессоры для сети, таким образом, чтобы все это выглядело как интегрированная и единая вычислительная платформа? <Sonal: да>
И перед нами встанет множество интересных задач, таких как: логическое разделение рабочей нагрузки машинного обучения; распределение различных частей между разными узлами в сети; поиск эффективных способов выполнения всех этих задач; и, в случае отказа узлов, поиск путей восстановления и назначения новых узлов для выполнения работы, выполненной отказавшим узлом. Таким образом, на уровне распределенных систем компаниям предстоит проработать множество сложных деталей, чтобы создать децентрализованную сеть, способную запускать рабочие нагрузки машинного обучения, возможно, даже более экономично, чем использование облака.
Сонал: Да… Это здорово.
Дэн: …Да, и совершенно верно, что современные технологии ZK справятся с более мелкими моделями, которые используются, но модели LLM, безусловно, слишком велики для этих технологий ZK на сегодняшний день; но, знаете, они постоянно совершенствуются, оборудование улучшается, так что, надеюсь, они догонят.
Сонал: Да; прежде чем мы продолжим, давайте проведем четкую оценку текущего положения дел? Очевидно, вы говорите о том, что существует огромное количество применений на стыке проверяемых общих вычислений, что блокчейны и криптовалюты определенно продвигают и значительно ускоряют развитие всей этой области (мы сами много об этом писали: если вы посмотрите наш канон ZK и категорию нулевого разглашения, вы увидите, что там много этого рассматривается).
Но где именно мы сейчас находимся с точки зрения того, что вы можете сделать? Вы много говорили о том, чего вы пока не можете сделать, и о тех возможностях, которые это открывает, и это захватывающе; но где мы находимся прямо сейчас? Что вы можете сделать на самом деле?
Дэн: Да. Сейчас они могут классифицировать модели среднего размера. Не такие большие, как GPT-3 или 4, но модели среднего размера. <yes> Можно продемонстрировать, что классификация была выполнена правильно. Обучение, вероятно, выходит за рамки того, что можно сделать сейчас, просто потому что оно требует больших вычислительных ресурсов. <Sonal: true> Для тестовых систем мы еще не достигли этого уровня.
Но, как сказал Али, у нас есть и другие способы это сделать. Например, мы можем поручить обучение нескольким людям, а затем сравнить результаты. Верно? Таким образом, теперь существуют игровые стимулы для того, чтобы люди не жульничали. Если кто-то жульничает, кто-то другой может пожаловаться на то, что он неправильно рассчитал обучение, и тогда жульник не получит компенсацию за свои усилия. <Sonal: Да, да, да. Таким образом, у людей есть стимул действительно пройти обучение так, как это было задумано.
Сонал: Верно. И, по сути, это не гибридный этап, а скорее альтернативные подходы до тех пор, пока не будет достигнута большая масштабируемость и производительность не достигнет необходимого уровня.
Дэн: Да; я бы сказал, что для некоторых моделей классификацию сегодня можно доказать, не имея никаких знаний. Для современного обучения нам приходится полагаться на оптимистичные методы.
Сонал: Да, отлично.
Итак, Али, вы упомянули, что вычисления — это один из трех компонентов, а также данные и сами модели машинного обучения: хотели бы вы сейчас поговорить о данных, возможностях и проблемах, которые существуют (в контексте пересечения криптографии и ИИ)?
Али: Да, безусловно. Поэтому я думаю, что, хотя связанные с этим вопросы очень сложны, есть возможность децентрализовать процесс получения данных для обучения больших моделей машинного обучения от более широкого сообщества. Опять же, вместо того, чтобы иметь одного централизованного участника, можно просто собирать все данные, а затем обучать модели.
Это могло бы сработать за счет создания рынка, подобного тому, который мы только что описали для вычислительной техники, но с целью стимулирования людей к предоставлению новых данных для большого набора данных, который затем используется для обучения модели.
Сложность здесь аналогична, поскольку возникает проблема проверки: нужно каким-то образом убедиться, что данные, которые предоставляют люди, действительно качественные (<Sonal: да!>), а не дублирующиеся данные, случайно сгенерированный мусор или просто нереальные данные. Также необходимо гарантировать, что данные не изменяют модель (какая-либо атака отравления), в результате которой модель становится уязвимой, менее эффективной или показывает низкую производительность. Итак, как это проверить?
И это, пожалуй, сложная проблема, которую должно решить сообщество. Возможно, полностью решить её невозможно, и придётся прибегнуть к сочетанию технологических и социальных решений, используя при этом некий показатель репутации. Члены сообщества могут повысить свой авторитет, благодаря чему их данные будут более заслуживающими доверия, чем в противном случае.
Но это позволит вам действительно охватить самый длинный хвост распределения данных.
Одна из самых сложных задач машинного обучения заключается в том, что качество модели зависит от охвата распределения, которое может обеспечить обучающий набор данных. Если входные данные значительно отклоняются от распределения обучающих данных, модель может вести себя совершенно непредсказуемо. Для корректной работы модели в экстремальных случаях (а также в случаях «черного лебедя» или при работе с входными данными, которые могут встречаться в реальном мире) крайне важно, чтобы набор данных был максимально полным.
Таким образом, если бы существовала подобная открытая, децентрализованная площадка для предоставления данных в набор данных, любой человек в мире, обладающий уникальными данными, мог бы внести свой вклад в сеть. Это лучший способ, потому что, если вы попытаетесь сделать это из централизованной компании, вы никак не сможете узнать, у кого есть эти данные. Поэтому, если вы стимулируете людей самостоятельно предоставлять эти данные, я думаю, вы сможете добиться гораздо лучшего охвата «длинного хвоста».
Как мы видим, производительность моделей машинного обучения продолжает улучшаться по мере роста набора данных и увеличения разнообразия его точек данных. Это может еще больше повысить эффективность наших моделей машинного обучения; мы можем получить еще более полные наборы данных, охватывающие все сообщество.
Дэн: Хорошо, давайте я переверну ситуацию с ног на голову...
Сонал: Ооо, давай, Дэн!
Дэн: …Если мы собираемся мотивировать людей предоставлять данные, то, по сути, мы будем мотивировать их создавать фальшивые данные. <Sonal: Да!> чтобы им платили. Верно? Поэтому нам нужен какой-то механизм, чтобы убедиться в подлинности предоставляемых вами данных. <Ali: Именно так>
И вы можете представить себе несколько способов это сделать, верно? Один из способов — полагаться на доверенное оборудование. <Sonal: mhm>: Возможно, датчики интегрированы в доверенное оборудование, которому мы будем доверять только в том случае, если данные будут должным образом подписаны этим оборудованием. Это один из способов.
В противном случае нам потребуется какой-либо другой механизм, позволяющий определить, являются ли данные подлинными или нет.
Али: Я полностью согласен.
Это была бы самая большая нерешенная проблема... И я думаю, что по мере улучшения бенчмаркинга моделей машинного обучения, сейчас в машинном обучении наблюдаются две основные тенденции. <Sonal: yah> –
[1] Методы измерения производительности моделей машинного обучения улучшаются. В случае с моделями машинного обучения с низкой степенью интеллекта (LLM) это все еще находится на ранней стадии, и на самом деле определить их качество довольно сложно. Потому что это не классификатор, где производительность модели четко определена. С моделью LLM это почти как оценка интеллекта человека. Верно? <Sonal: м-м!> Найти правильный способ оценки интеллекта модели LLM, подобной #chatgpt , — это открытая область исследований. Но со временем, я думаю, ситуация будет улучшаться.
[2] Другая тенденция заключается в том, что мы все чаще можем объяснить, как работает модель.
И, учитывая оба этих фактора, в какой-то момент может стать возможным понять, какое влияние набор данных оказывает на производительность модели машинного обучения. <Sonal: Да> И если мы сможем хорошо понять, помог ли или помешал набор данных, предоставленный третьей стороной, производительности модели машинного обучения, то мы сможем вознаградить этот вклад и создать стимул для существования такого рынка.
Сонал: Итак, подводя итог, я поняла, что вы сказали следующее…
Существуют надежные аппаратные средства, которые могут помочь проверить точность предоставленных данных и моделей;
Али, ты вкратце упомянул показатели репутации, и подобные вещи могут помочь;
Вы также упомянули, что, возможно, существует способ (не обязательно сейчас, но в ближайшем будущем) проверить, как данные влияют на результаты конкретной модели, чтобы можно было фактически... это не совсем объяснимо, но идея заключается в том, чтобы можно было установить, что именно этот набор данных вызвал тот или иной эффект.
Таким образом, вы уже поделились множеством различных техник.
Али: И последнее, что вы можете сделать, это применить тот же подход и к третьему аспекту, а именно к моделям.
Представьте себе создание открытой торговой площадки, где люди могут предоставлять обученные модели, способные решать конкретную задачу. Представьте себе создание смарт-контракта на Ethereum, который включает в себя какой-либо тест, будь то когнитивный тест, который может решить модель машинного обучения, или тест классификации, который может решить классификатор машинного обучения (AAP).
А если использовать ZKML, кто-то может предоставить модель вместе с доказательством того, что эта модель способна решить данный тест; с другой стороны, у вас есть необходимые инструменты для создания торговой площадки, которая будет стимулировать людей вносить свой вклад в разработку моделей машинного обучения, способных решать определенные задачи.
Многие из обсуждавшихся нами вопросов и нерешенных проблем, касающихся достижения этой цели, присутствуют и здесь. В частности, в ZKML есть раздел, где необходимо продемонстрировать, что модель действительно выполняет заявленные функции. Кроме того, нам нужны хорошие тесты для оценки качества модели. Таким образом, возможность интегрировать тест в смарт-контракт и затем подвергнуть модель машинного обучения оценке качества — это еще один очень важный аспект всей этой технологической тенденции.
Но теоретически было бы замечательно, если бы мы наконец достигли мира, где существовали бы такие открытые, основанные на инициативе снизу и прозрачные торговые площадки, позволяющие людям вносить свой вклад и получать вычислительные модели, данные и средства машинного обучения для машинного обучения, по сути, снова выступая в качестве противовеса огромным, высокоцентрализованным технологическим компаниям, которые сегодня движут всей работой в области ИИ.
Сонал: Мне очень понравилось, что ты это затронула, Али, потому что это давняя проблема в практическом применении ИИ: он может решить множество задач, например, колоколообразную кривую, среднюю часть нормы, но не крайние случаи. Классический пример — беспилотные автомобили. Можно делать всё, используя определённые стандартные модели поведения, но именно в крайних случаях могут происходить реальные аварии и катастрофы. <Ali: Верно>
Это было очень полезно. Я знаю, вы говорили о согласовании стимулов и о стимулах для предоставления точных, высококачественных данных, и даже о стимулах для предоставления любых данных в целом.
Но, говоря о «длинном хвосте», во время вашего разговора у меня возник вопрос. Он заставляет меня задуматься, кто зарабатывает деньги и где в этой системе. Я не мог не задаться вопросом: как бизнес-модель влияет на прибыльность компаний? Я всегда понимал, что в «длинном хвосте» ИИ (в мире, где доступны такие наборы данных) ваши собственные данные, по сути, являются вашими уникальными знаниями в данной области — чем-то, что знаете только вы в этом «длинном хвосте». Можете дать быстрый ответ?
Али: Я думаю, что идея, лежащая в основе взаимодействия криптовалют и ИИ, заключается в создании набора протоколов для распределения ценности, которую в конечном итоге получит эта новая технология, ИИ, среди гораздо более широкой группы людей. По сути, это сообщество людей, каждый из которых может внести свой вклад и воспользоваться преимуществами этой новой технологии. <Sonal: мхм>
Таким образом, деньги будут зарабатывать те, кто участвует в обработке данных, предоставляет информацию или разрабатывает новые модели машинного обучения для сети, чтобы можно было обучать более совершенные модели машинного обучения и решать более сложные, масштабные и важные задачи.
Другие люди, которые будут одновременно получать доход, — это те, кто находится на стороне спроса в этой сети: те, кто использует ее в качестве инфраструктуры для обучения собственных моделей машинного обучения. <Sonal: да> Возможно, их модель создаст что-то интересное в мире, может быть, это будет что-то вроде следующего поколения ChatGPT. А затем это распространится на различные приложения, такие как корпоративные приложения или любое другое применение этих моделей, и эти модели сами по себе будут создавать ценность, потому что у этих компаний будет своя собственная бизнес-модель.
Наконец, те, кто создает эту сеть, также могут получать доход. Например: для сети создается токен; этот токен распределяется среди сообщества; и все эти люди получают коллективную собственность на эту децентрализованную сеть для хранения данных и создания вычислительных моделей, которые также могут получать часть стоимости всей экономической активности, проходящей через эту сеть.
Таким образом, как вы можете себе представить, любая оплата за вычислительные ресурсы, данные или модели может сопровождаться комиссией. Эта комиссия может поступать непосредственно в казну, контролируемую этой децентрализованной сетью, которой все держатели токенов владеют и к которой имеют доступ коллективно (как создатели и владельцы рынка).
И эта комиссия могла бы поступать непосредственно в сеть. Представьте, что каждая транзакция, проходящая через эту сеть, каждая форма платежа за вычисления, данные или модели, может облагаться комиссией, которая поступает в казну, контролируемую всей сетью и держателями токенов, которые коллективно владеют ею.
По сути, это бизнес-модель самой сети.
Сонал: Гениально!
Хорошо. До сих пор мы много говорили о том, как криптовалюты могут помочь ИИ. Чтобы было понятно, это не односторонний процесс; эти вещи усиливают друг друга, они двусторонние и более интерактивные, чем односторонние.
Но в рамках этой дискуссии мы на самом деле говорим о том, как криптовалюты могут помочь искусственному интеллекту; теперь давайте изменим тему и поговорим немного подробнее о том, как ИИ может помочь криптовалютам.
Дэн: Да, тогда здесь есть пара интересных точек соприкосновения.
Одна из тем, заслуживающих особого внимания, — это идея использования моделей машинного обучения для генерации кода. Многие слушатели, вероятно, слышали о Copilot, инструменте для генерации кода. И что интересно, вы можете попробовать использовать эти инструменты генерации кода для написания контрактов на Solidity или криптографического кода.
И я хочу подчеркнуть, что это действительно опасно.
Сонал: О! Не пытайся повторить это дома! Хорошо! <смеётся>
Дэн: Да. Да. Не пытайся повторить это дома.
Дело в том, что очень часто эти системы генерируют код, который работает, когда вы пытаетесь его запустить (а, как вы знаете, шифрование — это противоположность дешифрованию и т. д.), поэтому код будет работать, но на самом деле он будет небезопасным.
На самом деле, мы недавно написали статью об этом, в которой показали, что если вы попытаетесь заставить Copilot написать что-то такое простое, как функция шифрования, он выдаст вам код, который правильно выполняет шифрование, но использует неправильный режим работы, в результате чего вы получите небезопасный режим шифрования.
Аналогично, если вы попытаетесь сгенерировать код на Solidity, вы можете получить работающий код на Solidity, но он будет содержать уязвимости.
Возможно, вы задаетесь вопросом, почему это происходит? Одна из причин заключается в том, что эти модели в основном обучаются на коде, доступном в репозиториях GitHub. Но многие репозитории GitHub уязвимы для всевозможных атак. Поэтому эти модели учатся на работающем коде, но не на безопасном; это как «мусор на входе — мусор на выходе», верно? <Sonal: Хм!
Поэтому я хочу убедиться, что люди очень и очень осторожны при использовании этих генеративных моделей для генерации кода, что они тщательно проверяют, действительно ли код делает то, что должен, и делает ли он это безопасно.
Али: Одна из идей в этом направлении (мне интересно узнать ваше мнение по этому поводу) заключается в том, что можно использовать модели ИИ, такие как LLM (что-то вроде ChatGPT), для генерации кода, а также другие инструменты, чтобы попытаться сделать этот процесс менее подверженным ошибкам.
И вот один пример, одна идея, <oh> могла бы заключаться в использовании LLM для генерации спецификации для системы формальной верификации: по сути, вы описываете свою программу на английском языке; и просите LLM сгенерировать спецификацию для инструмента формальной верификации; затем вы просите тот же экземпляр LLM сгенерировать программу, которая соответствует этой спецификации. <mm!> А затем вы используете инструмент формальной верификации, чтобы проверить, действительно ли программа соответствует спецификации.
Если будут обнаружены ошибки, инструмент их обнаружит; эти ошибки затем могут быть использованы в качестве обратной связи для LLM. В идеале, LLM сможет проверить свою работу и создать новую, правильную версию кода. И наконец, если этот процесс будет повторяться снова и снова, результатом станет фрагмент кода, который, в идеале, полностью соответствует спецификации и проходит формальную верификацию.
А поскольку спецификация удобочитаема, вы можете просмотреть её и убедиться, что это именно та программа, которую вы хотели написать. И это может быть отличным способом использовать LLM для написания кода, который также менее подвержен ошибкам, чем просто попросить ChatGPT сгенерировать смарт-контракт.
Сонал: Как умно!
Дэн: Да, это здорово, и это на самом деле подводит нас к другой теме, заслуживающей обсуждения, а именно к использованию LLM для поиска ошибок.
Предположим, программист пишет код на Solidity и теперь хочет проверить, является ли этот код корректным и безопасным. Как сказал Али, он может использовать LLM для поиска уязвимостей в этом коде. Была проделана большая работа по оценке эффективности LLM в обнаружении ошибок в программном обеспечении, в смарт-контрактах Solidity, а также в C и C++.
Недавно была опубликована очень актуальная статья: это статья из Манчестерского университета (<Sonal: mhm>), в которой говорится, что если запустить стандартный инструмент статического анализа для поиска ошибок в коде, он обнаружит всевозможные ошибки управления памятью или потенциальные ошибки; просто стандартный инструмент статического анализа; без использования машинного обучения.
Но тогда вы бы использовали LLM, чтобы попытаться исправить код. Верно? <Sonal: мм> <Ali: именно> Он автоматически предлагает решение ошибки. А затем вы бы снова запустили статический анализатор на исправленном коде, <Ali: да> и статический анализатор сказал бы: «О, ошибка все еще есть или ее нет». И вы бы продолжали итерации, пока статический анализатор не сказал бы: «Да, теперь ошибка исправлена и проблем больше нет».
Это была довольно интересная статья; она вышла буквально две недели назад.
Сонал: Итак, что касается обеих статей, которые ты только что упомянул, Дэн, той, что из Манчестерского университета, и той, которую они недавно написали о том, что магистрам права не доверяют писать хороший код (он может работать, но не обязательно быть безопасным), я добавлю ссылки на эти статьи в примечания к выпуску, <Дэн: отлично> чтобы слушатели могли их найти.
И ещё один короткий вопрос, прежде чем мы продолжим… Что касается текущей ситуации, она временная, или вы считаете, что настанет время, когда студентам магистратуры можно будет доверять написание не просто функционального, но и безопасного кода для смарт-контрактов? Возможно ли это, или до этого ещё далеко?
Дэн: На этот вопрос сложно ответить. Вы же знаете, что эти модели значительно улучшаются каждую неделю, верно? <Sonal: Да. Поэтому вполне возможно, что к следующему году эти проблемы будут решены, и мы сможем полагаться на них при написании более безопасного кода. Думаю, сейчас мы говорим о том, что если вы используете текущие модели (GPT-4, GPT-3 и т. д.) для генерации кода, вы должны быть очень осторожны и проверять, действительно ли написанный вами код работает и является безопасным.
Сонал: Поняла.
Али: И, кстати, достигнем ли мы когда-нибудь точки, когда код, сгенерированный программистами с большим опытом, будет содержать меньше ошибок, чем код, сгенерированный человеком? <Sonal: Да! И, возможно, это более важный вопрос, не так ли?
Потому что, как нельзя сказать наверняка, что беспилотный автомобиль никогда не попадёт в аварию, так и действительно важный вопрос: меньше ли вероятность аварии, чем если бы за рулём был человек? <Sonal: Совершенно верно. Потому что правда в том, что, вероятно, невозможно гарантировать, что никогда не произойдёт автомобильной аварии, вызванной беспилотным автомобилем, или что никогда не будет ошибки. <Sonal: верно, сгенерировано LLM, которого вы попросили написать какой-то код.
И я думаю, кстати, что его возможности будут только расти по мере интеграции в существующие наборы инструментов. Как мы уже обсуждали, его можно интегрировать в наборы инструментов формальной верификации. Его можно интегрировать в другие инструменты, например, в тот, который описал Дэн, который обнаруживает проблемы управления памятью. Его также можно интегрировать в наборы инструментов модульного и интеграционного тестирования. Таким образом, LLM не работает изолированно: он получает обратную связь в реальном времени от других инструментов, которые связывают его с реальностью.
И я думаю, что, объединив чрезвычайно большие модели машинного обучения, обученные на всех данных в мире, с этими другими инструментами, я мог бы создать программистов, которые намного превосходят программистов-людей. <mhm> И даже если бы они всё ещё могли совершать ошибки, они могли бы быть сверхлюдьми.
И это станет знаменательным моментом для всего мира разработки программного обеспечения в целом.
Сонал: Да. Отличный снимок, Али…
Итак, какие еще новые тенденции в этой области могут помочь криптовалютам, и наоборот?
Али: Да… Одна из захватывающих возможностей в этой области заключается в том, что мы можем создавать децентрализованные социальные сети, которые будут вести себя очень похоже на Twitter, но где социальный граф будет полностью находиться в блокчейне и представлять собой почти общественное благо, на основе которого любой сможет строить свою работу.
Как пользователь, вы сами управляете своей идентичностью в социальной сети. Вы контролируете свои данные, на кого вы подписаны и кто может подписаться на вас. Существует целая экосистема компаний, создающих порталы в социальной сети, которые предлагают пользователям возможности, аналогичные тем, что есть в Twitter, Instagram, TikTok или любой другой платформе, которую они выберут для разработки.
Но всё это происходит поверх той же самой социальной сети, которой никто не владеет, и нет никакой технологической компании с миллиардным оборотом, которая имела бы полный контроль над ней и могла бы решать, что на ней происходит.
И этот мир захватывает, потому что он может быть гораздо более динамичным; может существовать целая экосистема людей, создающих что-то новое, и каждый пользователь имеет гораздо больший контроль над тем, что он видит и что может делать на платформе. Но также существует необходимость отфильтровывать полезную информацию от шума. И, например, необходимость создания разумных алгоритмов рекомендаций, которые фильтруют весь контент и показывают вам новостной канал, который вы действительно хотите посмотреть.
Это откроет двери для целого рынка, конкурентной среды, где участники будут предлагать вам алгоритмы на основе искусственного интеллекта, которые будут подбирать для вас контент. Как пользователь, вы можете выбрать: вы можете выбрать конкретный алгоритм, например, разработанный Twitter, или алгоритм, разработанный кем-то совершенно другим.
Такая автономия будет замечательной, но, опять же, вам понадобятся такие инструменты, как машинное обучение и ИИ, чтобы отфильтровывать шум и анализировать весь спам, который неизбежно будет существовать в мире, где генеративные модели смогут создавать весь спам в мире.
Сонал: Интересно то, что вы сказали, что дело даже не в выборе между… Это возвращает нас к идее, которую вы упомянули ранее, и вы кратко затронули тему предоставления пользователям возможности выбора между бесплатными площадками для обмена идеями и подходами, на которых они могут остановиться…
Но это также интересно, потому что речь идёт не только о компаниях, но и о том, какой подход подходит именно вам. Возможно, вас больше заинтересует алгоритм коллаборативной фильтрации, существовавший в оригинальных системах рекомендаций, который работает как коллаборативная фильтрация между людьми. <Ali: да> То есть рекомендации ваших друзей — это то, на что вы следуете.
На самом деле, я лично совсем другой человек и гораздо больше заинтересован в графике интересов; поэтому меня могут больше заинтересовать люди со схожими интересами, и я могу выбрать именно такой подход, а не, скажем, гибридный, который будет делать только XY и Z.
Сам факт возможности выбора уже невероятно расширяет возможности. Сейчас это просто невозможно. А возможно это только с помощью криптовалют и ИИ. Так что это отличный пример. <Oh, yes!>
Хотелось бы еще что-нибудь сказать о том, как ИИ может помочь в обеспечении доверия и безопасности?
Али: Мне кажется, что мета-образ заключается в том, что криптовалюты — это Дикий Запад. Поскольку для их использования не требуется никаких разрешений, участвовать может любой; нужно исходить из того, что любой участник может быть противником и, возможно, попытаться манипулировать системой, взломать её или совершить что-то противоправное.
Поэтому существует гораздо большая потребность в инструментах, которые помогают отфильтровывать честных участников от нечестных, и машинное обучение и искусственный интеллект, как инструменты интеллекта, могут быть действительно очень полезны в этом отношении.
Например, существует проект Stelo, который использует машинное обучение для выявления подозрительных транзакций, отправляемых на кошелек, и помечает их для пользователя до того, как они будут отправлены в блокчейн. Это может быть хорошим способом предотвратить случайную отправку пользователем всех своих средств злоумышленнику или совершение действий, о которых он впоследствии пожалеет. И эта компания, по сути, продает кошелькам (таким компаниям, как MetaMask), чтобы MetaMask мог использовать эту информацию и делать с ней все, что захочет: блокировать транзакцию, предупреждать пользователя или, в некотором смысле, переформулировать транзакцию, чтобы она перестала быть опасной. Это лишь один пример.
Существуют и другие примеры в контексте MEV (минимально извлекаемая ценность, <Sonal: yes>) или максимальной извлекаемой ценности, в зависимости от того, кого вы спросите, то есть ценности, которую могут извлечь те, кто контролирует порядок транзакций в блокчейне. Обычно это майнеры или валидаторы блокчейна.
В данном случае ИИ может быть палкой о двух концах, потому что, будучи валидатором в блокчейне и контролируя порядок транзакций, вы можете использовать всевозможные хитрые стратегии для их упорядочивания таким образом, чтобы это было выгодно вам. Например, на Uniswap вы можете продвигать транзакции вперед, задерживать транзакции и чередовать ордера. Существует бесчисленное множество способов создания транзакций, позволяющих использовать эту возможность упорядочивания. Машинное обучение и ИИ могут расширить эти возможности, поскольку они способны искать возможности для получения постоянно растущего объема MEV (минимально жизнеспособных активов).
С другой стороны, машинное обучение может быть полезно и в качестве инструмента защиты. Перед отправкой транзакции вы можете знать, что валидатор может её извлечь. Поэтому вы можете разбить её на несколько транзакций, чтобы ни один валидатор не мог полностью контролировать её, или принять меры для защиты от извлечения данных валидатором на каком-либо этапе процесса транзакции.
Таким образом, это один из аспектов, в котором криптовалюты играют важную роль, когда речь идет о безопасности, доверии и повышении надежности для конечного пользователя.
Сонал: Это пример того, как ИИ усложняет ситуацию в сфере криптовалют, а затем криптовалюты возвращаются и улучшают ее... *смеется*.
Дэн: На самом деле, у меня есть ещё один похожий пример. <Sonal: Да! Точно так же, как модели машинного обучения могут использоваться для обнаружения поддельных данных или, возможно, вредоносной активности, <mm, есть и обратная сторона медали: модели машинного обучения могут использоваться для генерации поддельных данных. <Sonal: Да
Классический пример — дипфейки, верно? Можно создать видео, где кто-то говорит то, чего никогда не говорил, и это видео выглядит довольно реалистично. И что интересно, блокчейн может помочь решить эту проблему. Позвольте мне объяснить один из возможных подходов, где блокчейн может быть полезен:
Представьте, что это решение применимо только к известным личностям, таким как политики или кинозвезды и т. д. <Sonal: м-м-м>. Но представьте политика, который носит камеру на груди и записывает все, что он делает весь день. <Sonal: да>, а затем создает дерево Меркла на основе этой записи и отправляет коммиты дерева Меркла в блокчейн. <mhm>
Теперь в блокчейне есть метка времени, указывающая на то, что в этот день вы сказали то и это; в тот день вы сказали то и это. И если кто-то создаст полностью фейковое видео, где этот политик говорит то, чего он никогда не говорил, политик может сказать: «Смотрите, в то время, когда в видео утверждалось, что я сказал то и это, я на самом деле был совершенно в другом месте, занимаясь чем-то совершенно не связанным с этим».
А тот факт, что все эти данные — реальные, подлинные данные — записаны в блокчейн, может быть использован для доказательства того, что дипфейк на самом деле является подделкой, а не реальными данными. Верно?
Так что этого пока не существует. <Sonal: да> Было бы здорово, если бы кто-нибудь создал что-то подобное, но мне показалось, что это интересный пример того, как блокчейны могут быть действительно полезны <Sonal: да> для борьбы с дипфейками.
Сонал: Есть ли способ решить эту проблему и показать другие временные метки или источники информации, чтобы можно было провести подобную проверку того, что правда, а что нет, без того, чтобы политик ходил с камерой на груди? <Дэн смеется>
Дэн: Да, конечно. Мы также можем полагаться на надежное оборудование; <mhm> Представьте себе, знаете, наши камеры, камеры на наших телефонах и так далее, которые действительно будут подтверждать качество сделанных ими изображений и видео. <Sonal: Да>.
Существует стандарт C2PA, определяющий способ подписи данных камерами; например, сейчас есть камера Sony, которая делает фотографии и видео, а затем создает подписи C2PA на этих видео... Таким образом, теперь у вас есть подлинные данные; вы можете доказать, что данные действительно получены с камеры, поддерживающей стандарт C2PA.
А теперь, Сонал, если ты вдруг прочитаешь газетную статью, и в ней будет фотография, которая, как утверждается, сделана в одном месте, но на самом деле она была сделана в другом, то подпись можно будет проверить по тому факту, что она подписана C2PA.
Здесь много нюансов, C2PA — довольно сложная тема, <mhm> есть много нюансов, которые нужно обсудить, и, возможно, мы не будем их здесь затрагивать;
Сонал: Дэн, я помню, ты говорил со мной об этом проекте раньше (кажется, это было в нашем офисе); но я также помню, что он плохо поддается редактированию. И, как ты знаешь, редакторы вроде меня и других создателей контента, да и вообще практически все (кто пользуется Instagram или любой другой онлайн-платформой для публикации)... никто не загружает ничего в точности так, как это было создано изначально...
Дэн: Да, обычно, когда газеты публикуют фотографии, они не публикуют изображение прямо с камеры, а обрезают его. Есть несколько вещей, которые им разрешено делать с фотографиями: возможно, применять оттенки серого; безусловно, уменьшить разрешение (чтобы избежать чрезмерного использования полосы пропускания).
В тот момент, когда вы начинаете редактировать изображение, получатель (конечный читатель, пользователь браузера, читающий статью) больше не может проверить подпись C2PA. Потому что у него нет исходного изображения. <Sonal: Верно! Итак, вопрос: как позволить пользователю убедиться, что изображение, которое он просматривает, действительно правильно подписано камерой C2PA?
Ну, как всегда, здесь вступают в игру методы нулевого знания, <Sonal: ммм!>: где можно показать, что отредактированное изображение на самом деле является результатом применения только уменьшения разрешения и оттенков серого к большему, правильно подписанному изображению. Верно? Таким образом, вместо подписи C2PA у нас будет доказательство ZK (краткое доказательство ZK), связанное с каждым из этих изображений. И теперь читатели могут убедиться, <mhm> что они просматривают подлинные изображения.
Поэтому очень интересно, что методы ZK можно использовать для борьбы с дезинформацией. Это несколько неожиданное применение.
Сонал: Это просто замечательно.
Али: Кстати, очень похожая проблема — доказать, что ты человек. <Sonal: м-м-м> в мире, где количество дипфейков, создающих видимость человечности, обычно превышает количество людей в соотношении тысяча к одному или миллион к одному. И большинство вещей в интернете могут быть сгенерированы искусственным интеллектом.
Одно из возможных решений, связанное с тем, о чём вы говорите, — использовать биометрию для определения того, является ли человек человеком. Но затем использовать тестирование с нулевым разглашением информации, чтобы защитить конфиденциальность тех, кто использует эту биометрию для доказательства своей человечности.
Один из проектов в этой категории называется WorldCoin <Sonal: да, это тоже проект в нашем портфолио, и он использует этот шар; люди могли видеть его как блестящий серебряный шар, который использует сканирование сетчатки глаза в качестве биометрической информации для подтверждения того, что вы настоящий человек; а также он оснащен всевозможными датчиками, чтобы убедиться, что вы живы и что это не может быть копия глаза. Эта система имеет защищенное оборудование и очень сложна для взлома.
Таким образом, полученные доказательства — тест с нулевым разглашением, скрывающий фактическую биометрическую информацию, — чрезвычайно сложно подделать. Так, политики могли бы, например, доказать, что их видеопоток, подпись или участие в онлайн-форуме действительно принадлежат им и что они являются людьми.
Сонал: Что действительно интересно в том, что ты сказала, Али, так это то, что это отличное продолжение того, о чем говорил Дэн, о способах проверки подлинности медиаконтента на предмет фальшивости или ультра-фальшивости, и об этом мире бесконечного количества медиа (как ты бы сказала), в котором мы живем...
Но каковы другие области применения подобных технологий защиты от подделки личности? Я думаю, это важно, потому что это еще один пример того, как криптография может помочь ИИ в более широком смысле. Возвращаясь к началу... мы спорим, <Ali: да, но это не имеет значения, потому что мы говорим только о действительно интересных приложениях, и точка.
Али: Что ж, это очень хороший вопрос… В мире, где каждый может участвовать в онлайн-мероприятиях, одной из важных вещей станет возможность доказать, что ты человек, для различных целей. Есть известная поговорка из 90-х: «В интернете никто не знает, что ты собака». <Sonal: О, да! И я думаю, что переосмысленная версия этой поговорки звучит так: в интернете никто не знает, что ты бот. <Sonal: Ага? И поэтому, я думаю, именно здесь проекты, подтверждающие личность человека, становятся очень важными. <Sonal: Да! Потому что будет важно знать, взаимодействуете ли вы с ботом или с человеком…
Например, в мире криптовалют возникает целый ряд вопросов управления: как управлять децентрализованными системами, без единого центра управления, снизу вверх, при условии коллективной собственности? Необходима какая-то система управления, позволяющая отслеживать эволюцию этих систем.
Сегодня проблема в том, что если у вас нет доказательств принадлежности адреса одному человеку, вы не можете знать, принадлежит ли адрес одному человеку, группе людей или 10 000 адресов на самом деле одному человеку, которые выдают себя за 10 000 разных людей.
Сегодня, по сути, необходимо использовать количество денег в качестве показателя права голоса, что приводит к плутократическому управлению. <Sonal: Да, именно так. Но если бы каждый участник системы управления мог доказать, что он человек, и мог бы сделать это уникальным образом (чтобы он не мог притворяться более чем одним человеком, потому что у него только одна пара глаз), то система управления была бы гораздо справедливее и менее плутократичной, и могла бы основываться больше на предпочтениях каждого отдельного человека, а не на предпочтении наибольшей суммы денег, заблокированной в смарт-контракте.
Дэн: Вообще-то, чтобы привести вам пример…
Сегодня мы вынуждены использовать принцип «один токен — один голос», потому что у нас нет доказательств существования человеческой природы. Нам бы хотелось использовать принцип «один человек — один голос», но если мы можем притвориться пятью людьми, конечно, это не сработает. Примером этого является так называемое квадратичное голосование. <Sonal: да>
В квадратичном голосовании, если вы хотите проголосовать за что-либо пять раз, вам нужно, так сказать, внести 25 токенов. Но, конечно, вы можете сделать то же самое: притвориться пятью разными людьми, голосующими один раз, что нарушит механизм квадратичного голосования. Единственный способ обойти это — проверка на человечность: чтобы проголосовать, вы должны доказать, что являетесь единым целым, а не сонмом сущностей. И именно здесь проверка на человечность сыграет решающую роль.
В целом, идентификация в блокчейне приобретает все большее значение для управления.
Сонал: Абсолютно... Кстати, это напомнило мне об одном эпизоде, который мы делали много лет назад, Али, с Филом Дайаном. <Али: О, да. Помнишь про "Темные DAO"? <Али: Да... именно. Это был очень интересный разговор. Совершенно актуальный.
Али: Совершенно верно.
Сонал: Кстати, фраза "тест на личность" или "тест на человечность"? В чем разница? Это одно и то же?
Али: Ах, да, люди используют эти слова как синонимы: доказательство человеческой природы, доказательство человечности, доказательство личности.
Сонал: Да, да.
Хорошо, давайте продолжим тему СМИ и этого своего рода «бесконечного изобилия» медиа. Какие еще есть примеры? — И опять же, мы говорим о том, как криптовалюты помогают ИИ, ИИ помогает криптовалютам. <Ali: да. Есть ли еще какие-либо примеры, которые мы здесь не затронули, где пересечение криптовалют и ИИ может породить то, что невозможно при использовании каждого из них по отдельности?
Али: Безусловно. Еще одно следствие этих генеративных моделей заключается в том, что мы будем жить в мире бесконечного изобилия медиаконтента. И в этом мире такие аспекты, как сообщество, окружающее определенный медиум, или нарратив, окружающий определенный медиум, будут приобретать все большее значение.
Если говорить точнее, вот два хороших примера: Sound.xyz разрабатывает децентрализованную платформу потоковой передачи музыки, которая позволяет артистам (по сути, музыкантам) загружать музыку и напрямую взаимодействовать со своими сообществами, продавая NFT, предоставляющие определенные привилегии их участникам. Например, возможность оставлять комментарии к песням на сайте Sound.xyz, чтобы любой, кто их слушает, тоже мог их увидеть. (Это похоже на старую функцию SoundCloud, которую вы, возможно, помните, где можно было получить полноценный социальный опыт, слушая музыку на сайте.)
Эта возможность позволяет людям взаимодействовать со средствами массовой информации и друг с другом, зачастую недорого, поскольку они, по сути, покупают этот NFT у артиста. В результате они поддерживают артиста, помогая ему обеспечить устойчивое развитие и создавать больше музыки.
Но самое замечательное во всем этом то, что это предоставляет артистам площадку для взаимодействия со своим сообществом. И артист — это человек. А благодаря участию криптовалют вокруг музыкального произведения может сформироваться сообщество — такое, которое автоматически не возникло бы вокруг музыкального произведения, созданного моделью машинного обучения без какого-либо человеческого фактора, без сообщества, окружающего его.
Поэтому я думаю, что в мире, где большая часть музыки, с которой мы сталкиваемся, полностью создается искусственным интеллектом, инструменты для создания сообществ и рассказывания историй об искусстве, музыке и других медиа будут иметь решающее значение для различения медиа, которые действительно важны для нас и в которые мы хотим инвестировать и которым хотим посвящать время, от медиа, которые, хотя и очень хороши, просто другого рода. Это медиа, созданные ИИ, с меньшим человеческим элементом. <yes> И, кстати, между ними может быть некоторая синергия:
Вполне возможно, что большая часть музыки оптимизирована или сгенерирована искусственным интеллектом. Но если присутствует и человеческий фактор — например, если создатель использует инструменты ИИ для создания нового музыкального произведения — и при этом имеет аккаунт на Sound, страницу исполнителя, создал сообщество и имеет подписчиков, то между двумя мирами возникает своего рода синергия. В обоих мирах есть лучшая музыка, усиленная сверхспособностями, которые им дарует ИИ; но также присутствует человеческий фактор и общая история, скоординированная и реализованная посредством криптографического аспекта (который позволяет объединить всех этих людей на одной платформе).
Дэн: Поразительно, что даже в мире музыки — как и в мире программирования, где работа программиста-человека дополняется такими инструментами, как Copilot, генерирующими код, — мы видим подобные вещи: работа артиста дополняется системами машинного обучения, которые помогают в написании музыки (или, по крайней мере, часть музыки пишется и генерируется системой машинного обучения). Так что мы определенно вступаем в новый мир в плане создания контента. В основном, будет много спама, созданного с помощью машинного искусства, которое люди могут ценить меньше, чем искусство, созданное человеком.
Возможно, иначе это можно сформулировать так: одной из целей NFT была поддержка художников. <Sonal: Да> Но если сами художники теперь являются моделями машинного обучения, кого именно мы поддерживаем? <laughs> <Sonal: Да… да> Итак, вопрос в том, как нам отличить, как нам различить созданное человеком искусство, нуждающееся в поддержке, <Sonal: Да> от искусства, созданного машиной.
Сонал: Что ж, это философская дискуссия, за которой можно выпить, но я бы осмелилась предположить, что человек, который задает этот вопрос, в некотором смысле тоже художник. <Али: Да. И, по сути, я бы сказала, что этот человек — художник. И то же самое происходило с… поскольку это дискуссия и спор, старые как мир: речь идет просто о новых технологиях, старых моделях поведения. Это то же самое, что происходит веками. И то же самое относится к писательству и т. д., безусловно.
Дэн: Совершенно верно.
Али: Ну, это на самом деле открывает двери для коллективного искусства, <Sonal: м-м-м>, для искусства, которое создается в результате творческого процесса всего сообщества, а не одного художника;
На самом деле, уже существуют проекты, которые это делают: в рамках этого процесса сообщество, посредством некой цепочки голосования, влияет на то, каким будет сообщение для модели машинного обучения, такой как DALL-E. Затем DALL-E использует это сообщение для создания произведения искусства (возможно, не одного, а 10 000), а затем другая модель машинного обучения, также обученная на основе отзывов сообщества, выбирает лучшее из этих 10 000.
Итак, теперь у вас есть произведение искусства, созданное на основе предложений сообщества; оно также было отобрано и проанализировано из набора из 10 000 вариантов этого произведения искусства (да, действительно), также с использованием модели машинного обучения, обученной сообществом, для создания финального произведения искусства. В некотором смысле, это результат этого коллективного сотрудничества.
Это невероятно.
Сонал: Мне это очень нравится. Что ж, ребята, это отличный способ закончить; спасибо вам обоим за то, что поделились всем этим со слушателями "web3 with a16z".
Дэн: Спасибо, Сонал.
Али: Большое спасибо.
Мнения, выраженные здесь, принадлежат сотрудникам AH Capital Management, LLC («a16z»), а не компании a16z или ее аффилированным лицам. Часть информации, содержащейся в данном документе, получена из внешних источников, включая портфельные компании фондов, управляемых a16z. Хотя эта информация получена из источников, считающихся надежными, a16z не проводила независимую проверку этой информации и не гарантирует ее постоянную точность или пригодность для какой-либо конкретной ситуации. Кроме того, данный контент может содержать рекламу третьих лиц; a16z не проверяла и не одобряет такую рекламу.
Данная информация предоставляется исключительно в ознакомительных целях и не должна рассматриваться как юридическая, деловая, инвестиционная или налоговая консультация. Пожалуйста, проконсультируйтесь со своими консультантами по этим вопросам. Ссылки на ценные бумаги или цифровые активы носят исключительно иллюстративный характер и не являются инвестиционной рекомендацией или предложением услуг по инвестиционному консультированию. Данная информация не предназначена для инвесторов или потенциальных инвесторов и не должна использоваться в качестве основы для принятия решения об инвестировании в фонд, управляемый a16z. (Предложение об инвестировании в фонд a16z будет сделано только посредством меморандума о частном размещении, соглашения о подписке и другой соответствующей документации этого фонда, и его следует прочитать полностью.) Упомянутые, упомянутые или описанные инвестиции или портфельные компании не представляют собой все инвестиции в инструменты, управляемые a16z, и нет гарантии, что инвестиции будут прибыльными или что другие будущие инвестиции будут иметь аналогичные характеристики или результаты. Список инвестиций, осуществленных фондами под управлением Andreessen Horowitz (за исключением инвестиций, по которым эмитент не предоставил a16z разрешения на публичное раскрытие информации, а также необъявленных инвестиций в публично торгуемые цифровые активы).
