最近我花了一些時間通過OpenGradient來路由工作負載，給我留下深刻印象的並不是模型性能，而是工作實際發生的地方。
我跟蹤的一批大約1,200個推理請求並沒有像大多數人假設的那樣表現出去中心化AI系統的行爲。有些請求通過可驗證的執行路徑移動並生成證明。其他請求似乎是在優先考慮延遲而非可見驗證的基礎設施層上進行了優化。最終用戶的體驗幾乎是相同的。響應時間大多保持在400–900毫秒之間。除非你在積極檢查執行細節，否則你可能不會注意到。
這就是有趣的張力。
大多數討論集中在AI是否去中心化上。實際上，OpenGradient似乎在圍繞一個不同的問題進行構建：用戶願意爲速度犧牲多少驗證，直到他們完全不在乎。
從工程的角度來看，混合結構是有道理的。到處都有純驗證是昂貴的。但這也造成了可見性問題。系統越流暢，用戶就越難以區分那些經過加密驗證的請求和那些僅僅快速到達的請求。
在頭幾天，我發現自己檢查證明輸出的頻率遠高於以往。到第二週時，我跟大家一樣，主要關注延遲和可靠性。
這種轉變發生得比我預期的要快。
這讓我想知道，真正的挑戰是否不是構建可驗證的AI基礎設施。可能是保持驗證足夠可見，以便人們繼續注意到它的存在。
@OpenGradient $OPG #OPG
我跟蹤的一批大約1,200個推理請求並沒有像大多數人假設的那樣表現出去中心化AI系統的行爲。有些請求通過可驗證的執行路徑移動並生成證明。其他請求似乎是在優先考慮延遲而非可見驗證的基礎設施層上進行了優化。最終用戶的體驗幾乎是相同的。響應時間大多保持在400–900毫秒之間。除非你在積極檢查執行細節，否則你可能不會注意到。
這就是有趣的張力。
大多數討論集中在AI是否去中心化上。實際上，OpenGradient似乎在圍繞一個不同的問題進行構建：用戶願意爲速度犧牲多少驗證，直到他們完全不在乎。
從工程的角度來看，混合結構是有道理的。到處都有純驗證是昂貴的。但這也造成了可見性問題。系統越流暢，用戶就越難以區分那些經過加密驗證的請求和那些僅僅快速到達的請求。
在頭幾天，我發現自己檢查證明輸出的頻率遠高於以往。到第二週時，我跟大家一樣，主要關注延遲和可靠性。
這種轉變發生得比我預期的要快。
這讓我想知道，真正的挑戰是否不是構建可驗證的AI基礎設施。可能是保持驗證足夠可見，以便人們繼續注意到它的存在。
@OpenGradient $OPG #OPG