На выходных я создал демку идеи, которую обдумывал три месяца: персональный помощник по юридическим консультациям. Бэкэнд работает на @OpenGradient , фронтэнд — на Next.js, развернут на Vercel. Целевая аудитория — это обычные люди, которые не хотят платить за консультации юристов, но у них есть простые юридические вопросы. Ключевое преимущество — "ваши консультационные данные не попадают в руки сервису". Выбор технологического стека был быстрым. SDK $OPG имеет высокую совместимость с OpenAI на стороне TypeScript, я сразу скопировал дизайн openai-node и изменил уровень транспортировки. Версия Llama-3.3-70B, настроенная на юридический корпус, уже есть в главной сети, можно вызывать напрямую, не нужно тонкая настройка. x402 использует стабильные монеты на базе сети для расчетов, пользователи привязывают кошельки, а не кредитные карты, такой процесс онбординга дружелюбен для крипто-нативных пользователей, но для обычных пользователей порог входа довольно высок. В воскресенье вечером я проверил весь процесс от конца до конца, протестировал несколько реальных вопросов, качество превзошло ожидания. Модель хорошо понимает основы китайского контрактного и трудового права, юридическая терминология переводится точно, отказ от ответственности также добавлен надежно. Я сам работал годом помощником юриста, и, посмотрев на выходные данные, я почувствовал, что качество достигло уровня "заменителя начальных юридических консультаций"; хотя это не может заменить настоящего юриста, оно покрывает большинство распространенных вопросов, и это сильнее, чем те юридические AI, которые просто используют шаблоны промптов. #OPG меня действительно привлекает не технология, а возможность бизнес-модели. Традиционные юридические технологические компании предлагают либо подписку, либо оплату за раз, а я с помощью x402 могу делать "оплату за вопрос"; пользователь, имея несколько стабильных монет в кошельке, может задать вопрос, не регистрируя аккаунт, не привязывая карту и не соглашаясь на длинные условия конфиденциальности. Такой UX в эпоху централизованных SaaS просто недоступен, а инфраструктура @OpenGradient впервые позволяет совместить микроплатежи и приоритет конфиденциальности, а не выбирать одно из двух. Сложность заключается в образовании пользователей. Обычные люди не понимают, что такое кошелек, они закрывают всплывающее окно metamask. Я планирую сначала запустить это на крипто-твиттере для тестирования крипто-нативными пользователями, если отзывы будут положительными, тогда рассмотрю интеграцию fiat onramp. Такой путь роста от крипто-нативных пользователей имел несколько успешных примеров в кругу Web3 SaaS, которые стоит скопировать. Код загружен на GitHub, README написан, отправил твит. Кот спит рядом с клавиатурой, выходные принесли немного плодов.
Если проверяемая индукция не важна, почему компании за последние 18 месяцев постоянно увеличивают бюджет на соблюдение норм? Если централизованные LLM-сервисы достаточно безопасны, почему Samsung, JPMorgan, Apple создают свои частные решения? Если цепочка аттестации не имеет ценности, почему NVIDIA после H100 встроила конфиденциальные вычисления во все свои GPU для дата-центров? Если архитектура @OpenGradient является чрезмерным инженерным решением, почему принципы проектирования Apple Private Cloud Compute так сильно совпадают с ней? Если крипто-родные потребности — это всего лишь мыльный пузырь, почему объем вызовов агентами на цепочке за последние 12 месяцев растёт быстрее, чем у человеческих пользователей? Если токен $OPG не имеет модели захвата ценности, что тогда представляют собой три слоя: потребление вызовов на уровне протокола x402, заморозка стейков узлов и вес управления? Если маркетинговая сдержанность проекта равна отсутствию бизнеса, почему Stripe в начале тоже была сдержанной в маркетинге, а сейчас это компания на сотни миллиардов долларов? Если краткосрочные колебания цен равны качеству проекта, тогда оценка таких компаний, как Cloudflare, Atlassian и Stripe, на ранних стадиях должна была бы заставить их быть невыгодными для инвестиций, но на деле всё наоборот. Если давление разблокировки #OPG является абсолютным медвежьим сигналом, почему большинство успешных инфраструктурных токенов после пиков разблокировки наоборот запускают основной бычий тренд (поскольку после шока предложения концентрация активов уменьшается, что благоприятно для долгосрочных инвестиций)? Если крипто-AI гонка — это фикция, почему a16z, Paradigm и Multicoin включили конфиденциальный AI в свои ключевые темы для инвестиций в 2025 году? Если все вышеуказанные риторические вопросы верны, почему моя собственная позиция составляет лишь 8%, а не 50%? Ответ на последний вопрос: потому что я признаю, что все вышеуказанные риторические вопросы не являются доказательством "непобедимости". Они лишь служат доказательством "достойного участия". Достойное участие не равно "всё вбросить". Между ними лежит дисциплина по управлению позицией. Дисциплина по управлению позицией на 99% времени выглядит как слабость. На 1% времени она может спасти тебе жизнь. Я предпочитаю 99% времени выглядеть как трус, чем 1% времени быть ликвидированным рынком. Победители в крипто гонке чаще всего выглядят скучно. Скука — это маскировка альфа. Стимул — это маскировка бета. Переверни восприятие стимула и скуки. А затем реши, как участвовать в OpenGradient или любом проекте. Ценность этого мышления значительно превышает возврат от любого отдельного проекта.
"Самый большой риск инфраструктурных проектов - это умереть на рассвете." Это слова Кристофера Диксона, партнера по инвестициям a16z, которые он сказал в подкасте в прошлом году, комментируя сектор криптоинфраструктуры. Я прикрепил эту фразу в верхней части своих исследовательских заметок и постоянно перечитываю, когда смотрю на проекты типа @OpenGradient . Что такое умереть на рассвете? В конце 90-х годов создатели протокола BitTorrent сделали все правильно, но коммерциализация не удалась, настоящие деньги заработали позже Spotify и Netflix. Большинство компаний, которые рано начали коммерциализацию SSL-протокола, исчезли, а такие как VeriSign, которые выжили, не стали победителями масштаба AWS. Проклятие категории инфраструктуры заключается в том, что правильная инженерия не всегда приводит к правильной коммерческой отдаче, потому что скорость, с которой то, что вы построили, становится бесплатным товаром, может быть быстрее, чем ваша скорость коммерциализации. $OPG Реальная уязвимость под этим проклятием очевидна. Ядро технологии verifiable inference зависит от аппаратных возможностей NVIDIA Confidential Computing и AMD SEV-SNP, эти возможности являются товаром, любой конкурент может создать аналогичный продукт на той же аппаратной базе. Это проклятие не обязательно. Cloudflare создал очень глубокую защиту на рынке CDN, который выглядит как товар, благодаря глубине продукта и опыту разработчиков. Stripe добился успеха в области платежей, которая выглядит еще более товарной, став компанией стоимостью в сотни миллиардов долларов, благодаря эстетике API и корпоративным услугам. Смогут ли инфраструктурные проекты дожить до момента получения отдачи, ключевым переменным является глубина продукта и отношения с разработчиками, а не оригинальность технологии. #OPG В настоящее время показатели по этим двум переменным выглядят осторожно оптимистично. Качество документации выше среднего среди аналогичных проектов, дизайн SDK учитывает опыт разработчиков, плотность инженеров в сообществе Discord выше, чем плотность маркетинга. Эти сигналы указывают на то, что "команда проекта знает, что они занимаются инфраструктурой, а не маркетингом". Но это суждение следует принимать с осторожностью, потому что между "зная, что ты делаешь" и "рынком, признающим, что ты делаешь" лежит 18-36 месяцев долины смерти. В этой долине команда проекта сталкивается с испытанием, наблюдая, как конкуренты рассказывают истории, токены взлетают, а их собственные токены стоят на месте, это место, где основатели инфраструктурных проектов чаще всего терпят неудачу. Сможет ли команда OpenGradient пройти этот этап, пока нет ответа. Это ключевая переменная, важнее любых ценовых индикаторов.
Наша команда M&A в бутиковом стиле помогает одному европейскому стратегическому покупателю приобрести стартап в США в области AI SaaS. За последние три года ARR целевой компании показал неплохой рост, и сейчас переговоры о оценке переходят в практическую стадию. Я как ведущий советник в среду должен представить клиенту меморандум по корректировке оценки, где основным вопросом будет влияние текущего выбора AI инфраструктуры целевой компании на риски интеграции после покупки. В настоящее время целевая компания на 100% работает на OpenAI, покупатель - немецкая компания, и с точки зрения GDPR этот факт является основанием для снижения оценки. Централизованная LLM впервые станет явным пунктом в оценке M&A в 2024 году. Юристы покупателя на этапе LOI заявили, что "AI инфраструктура целевой компании должна быть перенесена с OpenAI в течение 18 месяцев после завершения сделки", поскольку материнская компания в Германии не может нести сопутствующую ответственность за услуги облачных провайдеров в США в условиях GDPR. CTO целевой компании оценил стоимость миграции в 800 000 евро и 6 месяцев времени на инженерные работы, что будет напрямую включено в предполагаемые затраты TSA и вычтено из оценки. Если бы целевая компания изначально работала на enclave-bound вычислительной сети @OpenGradient , этот раздел обсуждения оценки вообще не возник бы. Архитектура HACA $OPG является структурно дружелюбной при трансакциях между юрисдикциями, покупателям из Германии, Сингапура или Японии не нужно беспокоиться о том, "используете ли вы AI от какого-то конкретного облачного провайдера", так как доверие в цепочке аттестации основано на криптографии, а не на коммерческих сущностях. Я специально добавил раздел в меморандум, чтобы обсудить "выбор AI инфраструктуры как премию за возможность приобретения" - это новая важная тема. В разделе caveats меморандума #OPG я также честно указал на это. Преимущество в возможности приобретения через путь OpenGradient в настоящее время является теоретическим, так как фактическое количество случаев M&A слишком мало, и понимание этой технологической траектории у покупателей разнится; некоторые консервативные покупатели наоборот могут снизить оценку за "зависимость от крипто", поскольку у них есть опасения по поводу соблюдения норм в отношении криптографического стека. Документ @OpenGradient практически не освещает поддержку соблюдения нормативных материалов для корпоративных пользователей в контексте M&A, это нужно будет дополнительно проработать в финансовой проверке. Клиент в письме напомнил о завтрашнем конференц-звонке, нужно разослать финальную версию меморандума #opg .
Мы подключили @OpenGradient к нашей пред-продукционной среде на две недели наблюдения. Коллеги по эксплуатации каждый день собирали группу данных, а в выходные подводили итоги. Задержка p50 была около 800 мс, p99 составила 2.4 с, при этом последняя превышала OpenAI в два раза, но стабильность была приемлемой. Доступность за эти две недели составила 99.7%, было одно 30-минутное снижение из-за периодического сбоя сервиса аттестации в одном из регионов, клиентский SDK автоматически переключился на вторичный регион, полных сбоев не было, PagerDuty на стороне бизнеса не сработал. Сеть $OPG имеет отличительные характеристики распределения задержек по сравнению с централизованным API. У OpenAI задержка стабильная с пиковыми значениями, p99 смещается на 50% от p50. У OpenGradient из-за того, что аттестация происходит при первом вызове с одноразовыми затратами, длительные сессии обеспечивают последующие вызовы, близкие к нативной задержке, но холодный запуск новой сессии имеет длинные пиковые значения. Эта особенность благоприятна для долгих чат-сессий, но не очень подходит для коротких запросов с множеством пользователей, поэтому продукт решил сначала сосредоточиться на долгих сессиях. Стоит отметить, что наблюдаемость переключения узлов в $OPG . Инциденты централизованного API мы получаем пассивно через страницу статуса OpenAI, среднее время уведомления составляет десятки минут. У OpenGradient статус аттестации узлов представляет собой событие на блокчейне, мы написали watchdog, который прямо подписан на события цепочки, и если какой-то узел отключается, мы можем это обнаружить на SLO dashboard за 5 секунд, что быстрее на два порядка, чем страница статуса. Эта активная наблюдаемость является дополнительной ценностью децентрализованной инфраструктуры, эксплуатационная сторона впервые получила такую степень видимости. Необходимо честно сказать о мертвых зонах. Две недели — слишком короткий срок, мы не проверили, выдержит ли низкоактивный пул узлов в условиях стресс-тестирования. Мы целенаправленно не запускали пиковый трафик в период окна, и в первый месяц после запуска продукта мы будем использовать реальный трафик для вторичной оценки. Документация @OpenGradient оптимистично описывает кривую емкости пула узлов, но для реального объема нужно полагаться на данные. Условия контракта SLA, которые мы подписали, составляют 99.5%, сначала мы дадим клиенту немного консервативное обязательство, а затем, когда данные это подтвердят, увеличим его. В пятницу эксплуатационная команда завершит анализ данных за эти две недели и отправит их по электронной почте, в понедельник на совещании по принятию решений по продукту будет представлен вывод. #opg
Мало кто открыто обсуждает проблему задержки @OpenGradient . Я сам провел некоторые расчеты и понял, что это важная, но избегаемая тема. Дополнительная задержка из-за TEE Расходы AWS Nitro Enclaves тоже немаленькие. Каждое развертывание требует аттестации, проверки подписей и копирования защищенной памяти. Для задачи, которая изначально выполняется за миллисекунды, TEE может добавить от 50 до 200 мс дополнительной задержки. Задержка из-за расчетов на блокчейне Если вызывающей стороне нужно ждать подтверждения платежа, чтобы получить результат, это добавляет время на подтверждение в блокчейне. Даже на самом быстром L2 это все равно будет затратно по времени в секундах. Влияние на разные сценарии В чат-приложениях пользователи практически не ощущают задержку в несколько сотен миллисекунд, тут все в порядке. Вызовы DeFi на блокчейне и так предполагают задержки в масштабе времени блока, поэтому это приемлемо. В высокочастотной торговле задержка критична, архитектура #OPG практически не подходит. Для голосовых и видеоприложений требуются отклики менее 100 мс; путь через TEE с трудом справляется, но оставляет очень мало времени для бизнес-логики. Что значит эта характеристика задержки $OPG не может обслуживать все сценарии AI-инференса; у него есть собственный "диапазон задержек" — примерно от нескольких сотен миллисекунд до нескольких секунд. В этом диапазоне достаточно приложений: генерация контента, оценка рисков, поддержка принятия решений, соблюдение норм и обработка документов. Но приложения вне этого диапазона, независимо от того, как проектная команда будет оптимизировать, не должны быть их целевым рынком. Стремление захватить все сценарии только размоет позиционирование продукта. Совет для проектной команды @OpenGradient должен активно публиковать "рекомендуемый список подходящих сценариев", четко сообщая разработчикам, какие сценарии подходят для миграции, а какие нет. Такая честность на самом деле поможет завоевать доверие разработчиков. Скрывать данные о задержках и не публиковать их, чтобы разработчики приходили и уходили, когда поняли, что это не подходит, — это двойные потери для экосистемы.
В аэропорту на посадочной площадке, перевернув отчет о сканировании вредоносных моделей HuggingFace от JFrog, выпущенный в феврале 2024 года. Исследователи обнаружили более 100 открытых репозиториев с файлами .bin и .pkl, в которые были внедрены полезные нагрузки для десериализации Python pickle; любой разработчик, который загружает с transformers, немедленно подвергается RCE. Формат pickle с ранних времен ML уже вызывал предупреждения, но на HuggingFace до сих пор много моделей его используют. Прочитав половину объявления о посадке, я понял, что такая "загрузка модели равносильна выполнению произвольного кода" в процессе загрузки, ограниченном enclave в OpenGradient, была жестко изолирована. Сначала я думал, что это проблема сканера платформы HF, но после сопоставления документа @OpenGradient о безопасной загрузке моделей с отчетом JFrog, я осознал, что риск формата pickle связан с историей всего инструментария ML. Локальная команда .from_pretrained() для разработчика равносильна sudo выполнению кода незнакомца; централизованные платформы могут провести сканирование, но не полностью, а продвижение нового формата safetensors также требует времени. $OPG в HACA принудительно проходит через процесс управления enclave. Модельные веса #OPG десериализуются внутри enclave; даже если файл весов содержит полезную нагрузку pickle, выполнение ограничено процессом enclave, и хост-машина с соседними enclaves не получает контроля. x402 перед вызовом выполняет проверку attestation на хэш модели; любой вторичный выпущенный хэш с внедренной полезной нагрузкой не совпадает с заявлением в блокчейне и отклоняется. Радиус действия уязвимости RCE pickle сужается от всей машины разработчика до временного экземпляра enclave. Уязвимость все еще существует. RCE pickle внутри enclave также может влиять на вывод текущей инференции, просто загрязнение не будет проникать между сессиями; изоляция между пользователями защищена. На этапе локальных экспериментов разработчиков, не проходящих через процесс enclave, все еще остается зона высокого риска; руководство по рабочему процессу на этапе разработки в документе @OpenGradient недостаточно полное. Когда объявили мою ряд, я встал. #opg
В лифте офисного здания меня зажали в угол, читаю сборник исследований по косвенной инъекции запросов Саймона Уиллисона за 2024 год. Злоумышленники прячут вредоносные команды в метаданных PDF вложений, скрытых div на веб-страницах, EXIF изображений и подписях к письмам. Такие корпоративные AI помощники, как Copilot, могут непреднамеренно выполнять команды, когда пользователи просят "подвести итоги сегодняшних писем", что может привести к отправке личных сообщений, изменению календаря или пересылке финансовых отчетов злоумышленникам. Лифт доехал до 23 этажа, я, выходя, размышляю о том, что суть этой атаки в том, что "границы доверия не были четко установлены", OpenGradient может добавить уровень защиты в аттестацию источников данных. Сначала я думал, что это просто старая проблема инъекции LLM, но просмотрев документы @OpenGradient и сопоставив происхождение данных с деревом атак косвенной инъекции, я понял, что вопрос сложнее. Централизованные помощники объединяют все источники данных (письма, файлы, веб-страницы) в одном контексте запроса, и модель не может семантически различить "легитимные команды от босса" и "поддельные команды из PDF от незнакомого отправителя"; доверительное и недоверительное содержимое на уровне токенов равноправны. $OPG в HACA создали метки источников данных в виде аттестации. Каждый фрагмент контекста, входящего в enclave #OPG, имеет метку происхождения, которая создается на основе подписи оригинального источника. Шаблон запроса может обрабатывать содержимое по-разному в зависимости от метки, а "незаверенное внешнее содержимое" обернуто в ограниченную роль. Провенанс хеш-цепочка, прикрепленная к вызову x402, доступна для проверки, и последующий аудит может точно определить, "какое письмо стало причиной этой иллюзорной утечки". Уязвимость все еще существует. Пока экосистема подписей происхождения не будет создана, множество исторических писем останутся без подписей, и вопрос о том, как устанавливать значения по умолчанию для меток, остается открытым. Соблюдение модели ограниченной роли не составляет 100%, защитные границы на семантическом уровне должны накладываться друг на друга. Двери лифта закрываются, я направляюсь к своему рабочему месту. #opg
Очередь на зарядные станции в аэропорту, перевернем 2024 год, когда разработчик раскрыл, что ChatGPT macOS клиент хранит всю историю чатов в виде чистого текста в ~/Library в каталоге без песочницы. Любое локальное приложение, любой фоновый скрипт могут напрямую получить полный доступ к истории чатов, и OpenAI в ту ночь срочно обновила систему, добавив Apple Encrypted API. Прочитав это, я усмехнулся, так как шифрование локального хранилища на Mac и изоляция пользовательских данных от рабочей среды — это два разных уровня, но дизайн OpenGradient также оказывает влияние на клиентскую сторону. Сначала я думал, что это просто ошибка инженера настольных приложений, которая не связана с архитектурой сервиса, но прочитав главу о клиентском SDK в документе @OpenGradient , я осознал, что проблема хранения на клиенте в централизованных продуктах была скрыта. Логика продуктов OpenAI заключается в том, что "в любом случае сервер имеет полную копию, локальное хранилище — это кэш", поэтому локальное шифрование оказалось на заднем плане. Но с точки зрения пользователя, локальная копия и серверная копия — это два равнозначных актива приватности, тогда как с точки зрения OpenAI — это только одна копия. $OPG Поскольку серверная сторона держит зашифрованный blob, клиент, в свою очередь, стал единственной стороной, владеющей открытым контекстом. #OPG SDK по дизайну должен сделать локальное шифрование по умолчанию, ключ сессии, предоставленный enclave, сам по себе рекомендуется сохранять в системном keychain, а не в открытом файле, это четко указано в документации. На этом маршруте x402 серверная сторона не может полагаться на "у меня есть копия", и это заставляет клиентскую инженерию работать более серьезно. Места без выхода ясны. Если клиентский SDK сам по себе имеет баг и записывает ключ сессии в ~/Library в открытом файле, то даже чистота со стороны enclave не спасет пользователя. Качество реализации SDK стороннего интегратора не может быть проверено с помощью attestation, это проблема программной инженерии, а не криптографии. Трансляция — это посадка, закройте компьютер. #opg