Anthropic призывает топовые AI-лаборатории мира создать систему, которая позволит всем одновременно приостановить разработку AI. В своем новом отчете они предупреждают, что AI уже способен улучшать себя с такой скоростью, что машины вскоре смогут проектировать и обучать своих собственных преемников. И как только этот цикл замкнется, небольшие ошибки могут накапливаться из поколения в поколение, пока люди не смогут больше понять или исправить то, что делают эти системы.
Приостановка призвана выиграть время для исследований безопасности и для того, чтобы правительства подготовились до того, как мы достигнем этой точки.
Но глобальная пауза не просто удержит ИИ на уровне, где он сейчас находится. Уровень надзора, необходимый для обеспечения этого, и власть решать, когда она будет снята, изменят, кто вообще сможет строить ИИ, с последствиями, которые простираются далеко за пределы лабораторий и в руки разработчиков и обычных пользователей.
ИИ уже выполняет большую часть работы по созданию ИИ.
Отчет, составленный соучредителем Anthropic Джеком Кларком и Мариной Фаваро из Института Anthropic, измерил, сколько из разработки ИИ теперь осуществляется самим ИИ, а не людьми. В прошлом месяце Клод написал более 80% кода, объединенного в продукт Anthropic, по сравнению с низкими однозначными цифрами до запуска Claude Code в начале 2025 года. Каждый инженер теперь отправляет примерно в восемь раз больше кода за квартал, чем в 2024 году, что Anthropic признает преувеличением реального прироста производительности, но все же показывает, что все ускоряется.
В апреле Клод выпустил более 800 исправлений, которые уменьшили класс ошибок API в тысячу раз, работа, которую инженер, контролирующий это, оценивал, что потребует от человека четырех лет. Когда одно из этих обновлений начало вызывать сбои десятков тысяч рабочих мест, Клод проследил это до одной неясной настройки и исправил это за примерно два часа вместо обычных двух или трех дней.
Тем не менее, Клод все еще испытывает трудности с суждением, что является частью, которая больше всего интересует Anthropic. Знать, какая проблема стоит решения, какому результату доверять и когда прекратить бесполезные попытки. Это суждение - последнее, что системе нужно, чтобы спроектировать своего преемника без участия человека, и Anthropic беспокоится, что это навык, который ИИ сейчас не хватает, но он может быстро освоить. Увеличьте это достаточно, и вы достигнете того, что называется рекурсивным самоусовершенствованием - по сути, ИИ, который строит и обучает своего собственного заменителя.
Мы явно еще не там, но никто не знает, как скоро мы окажемся. Что пугает Anthropic, согласно их отчету, так это то, что небольшие несоответствия, которые мы можем поймать в сегодняшних моделях, могут накапливаться на протяжении поколений, пока никто не сможет их исправить.
Отчет описывает три будущих сценария:
Тенденция останавливается. Прогресс достигает потолка, и сегодняшний темп выравнивается. Anthropic считает, что это наименее вероятно.
Это продолжает накапливаться, пока люди все еще управляют. Их ставка. ИИ продолжает ускорять свое собственное развитие, что может ускорить лечение болезней, но так же легко может поддерживать надзор и манипуляции, настроенные под каждого человека.
Это переходит в полное самоусовершенствование. ИИ начинает проектировать и тренировать свои собственные последователи с минимальным человеческим участием. Это то, чего они боятся больше всего, потому что это имеет наивысший уровень риска, учитывая повсеместное распространение ИИ.
Anthropic хочет, чтобы крупнейшие лаборатории координировали паузу.
Anthropic не делает паузу и не просит никого делать паузу сейчас. Кларк описал этот момент на CNN как вождение автомобиля с педалью акселератора и без тормоза. Предложение заключается в том, чтобы ведущие лаборатории создали систему, которая позволит им замедлять работу вместе и проверять, действительно ли они это сделали, при этом Anthropic останавливается только если ее соперники тоже остановятся, и только если лаборатории по всему США и Китаю примут участие. Реалистично, это крайне маловероятно.
Пауза одной лаборатории просто изменит, кто впереди. Скоординированная пауза замораживает, кто впереди. Тот, кто ведет, когда все останавливаются, остается на этом месте. Трудно игнорировать, что отчет пришел примерно через неделю после того, как Anthropic конфиденциально подала заявку на выход на биржу с оценкой почти в триллион долларов, и Хольгер Мюллер из Constellation Research откровенно спросил, является ли целью закрепление лидерства. Структура делает это независимо от намерений.
Принуждение к паузе означает мониторинг того, кто строит мощный ИИ.
Пауза нацелена только на разработку на передовом уровне, поэтому в начале кажется, что это может позволить открытым источникам и меньшим лабораториям догнать замороженного лидера. Проблема в обеспечении. Пауза бесполезна, если вы не можете поймать кого-то, кто ее нарушает. Обнаружить скрытую тренировку ИИ в данный момент практически невозможно. Оборудование общего назначения, тренировки легко скрыть, и тот, кто тихо продолжает, выигрывает крупно.
Принуждение к этому будет означать возможность обнаруживать масштабные тренировки по всему миру, поэтому Anthropic называет это проблемой контроля вооружений. Как только такое оборудование появится, оно не должно оставаться нацелено только на передовые позиции. Система, которая может обнаружить крупные тренировки где угодно, - это система, которая может следить за каждым, кто строит в масштабах, и планка, что считается "крупным", продолжает снижаться, так что со временем под нее попадают все больше строителей. Мониторинг также не исчезает, когда пауза заканчивается. Как только вы сможете видеть, кто тренирует мощный ИИ, следующая борьба развернется вокруг того, кому разрешено это делать.
Режим паузы также дает лабораториям причину скрываться. Как только тренировка контролируется и ограничивается, у каждого серьезного игрока появляется стимул скрывать то, что он строит, и собственный отчет Anthropic признает, что этот стимул огромен, поскольку тот, кто продолжает работать, пока другие останавливаются, наследует лидерство. Переносите передовую работу в тайну, и вы переворачиваете всю суть паузы. Наиболее способные системы в конечном итоге строятся с меньшей внешней видимостью и меньшим независимым контролем, именно там, где риск наибольший.
Более безопасное будущее ИИ должно оставаться открытым, а не запертим за несколькими лабораториями.
Такая пауза никогда не остается простым замораживанием. В каждой версии предложения ответ на риск заключается в том, чтобы сосредоточить контроль над тем, кто строит ИИ, в меньшем числе рук. Для разработчиков это означает меньше компаний, допущенных к созданию наиболее способных систем, и слой мониторинга, который рассматривает независимую работу как то, что нужно отслеживать. Для всех остальных это означает больше из самых мощных ИИ, принадлежащих небольшой группе гигантов, которым вам придется доверять ваши данные, доступ и приватность.
Наиболее вероятный сценарий Anthropic - это мир, где ИИ может проводить надзор и персонализированные манипуляции на уровне, который ни одна человеческая команда не сможет сравнить. Стоит задаться вопросом, является ли концентрация такой силы в меньшем числе рук самым безопасным ответом или, возможно, более безопасным будет гарантировать, что ни одна компания или небольшая группа не окажется владельцем всего.
Ничто из этого не требует мчаться вперед без ограждений. ИИ может быть проверяемым и подотчетным, с ограждениями, которые можно реально обеспечить. Открытый вопрос заключается в том, где живет эта подотчетность. Ответ Anthropic указывает на небольшой круг передовых лабораторий и глобальный режим мониторинга. Другой путь - это открытая инфраструктура, которую может использовать, проверять и владеть любой, и здесь ИИ и блокчейн лучше всего сочетаются, чем когда-либо намекала крипто-шумиха. Оба работают лучше всего, когда никому не нужно доверять посреднику. Публичная, проверяемая запись позволяет любому проверить, что ИИ действительно сделал, какие модели и данные он использовал и следовал ли он правилам, не маршрутизируя это доверие через одну лабораторию.
С этими строительными блоками разработка ИИ может стать все более доступной и справедливой. Это дает людям реальные варианты, вместо того чтобы заставлять их арендовать доступ у контролера, и сохраняет их данные в их собственных руках. Sahara AI строит эту инфраструктуру, чтобы ИИ мог быть доступным, справедливым и совместным, оставаясь при этом проверяемым и подотчетным. ИИ должен принадлежать всем, а не нескольким лабораториям на вершине.
О компании Sahara AI: Sahara AI - это агентный ИИ-компания, посвященная тому, чтобы сделать ИИ более доступным и справедливым. Мы создаем основные протоколы, инфраструктуру и приложения, которые позволяют личным агентам предвидеть и выполнять действия от вашего имени. Для этого инфраструктура должна быть надежной: проверяемое выполнение, обязательные политики использования и автоматическое распределение ценности по каждому инструменту, модели и сервису, с которым работает агент. Sahara строит растущий набор приложений на основе агентов на этой основе, включая Sorin, вашего личного агента для глобальных цифровых рынков. Наши решения в настоящее время обеспечивают ИИ-агентов и высококачественные данные для потребителей, предприятий Fortune 500 и ведущих исследовательских лабораторий, включая Microsoft, Amazon, MIT, Motherson и Snap.