我不關注TPS。我在跟蹤AI計算如何避免驗證者重新執行而不破壞驗證,因爲這正是大多數區塊鏈風格的AI設計所遇到的瓶頸。
@OpenGradient 完全繞過了這一點,將GPU重負荷的工作轉移到專門的推理節點。全節點不重新運行模型。它們驗證證明,結算結果,並維持共識。
這種拆分很重要,因爲輕量級分類器和70B模型對硬件的需求完全不同。一個驗證者集無法高效地承載這兩種負載。
這個部分很多交易員會忽略,延遲不在關鍵路徑上。請求直接發送到推理節點。響應首先返回。驗證稍後通過TEE證明、ZKML證明或簽名輸出到達,這取決於工作負載。可以想象成檢查貨物清單,而不是在港口重新打開每個集裝箱。
我在基礎設施敘述中待得夠久,知道擴展的聲明通常隱藏着某個瓶頸。在這裏,有趣的部分不是更大的硬件,而是專業化。推理、驗證、數據訪問和存儲各自處於獨立的車道,而不是強迫每個參與者都做所有事情。
這對於大規模AI工作負載來說,是一條比通用重新執行更清晰的路徑。值得跟蹤。不是因爲聽起來不錯,而是因爲架構承認了AI計算實際上在哪裏崩潰。
@OpenGradient #OPG $OPG
@OpenGradient 完全繞過了這一點,將GPU重負荷的工作轉移到專門的推理節點。全節點不重新運行模型。它們驗證證明,結算結果,並維持共識。
這種拆分很重要,因爲輕量級分類器和70B模型對硬件的需求完全不同。一個驗證者集無法高效地承載這兩種負載。
這個部分很多交易員會忽略,延遲不在關鍵路徑上。請求直接發送到推理節點。響應首先返回。驗證稍後通過TEE證明、ZKML證明或簽名輸出到達,這取決於工作負載。可以想象成檢查貨物清單,而不是在港口重新打開每個集裝箱。
我在基礎設施敘述中待得夠久,知道擴展的聲明通常隱藏着某個瓶頸。在這裏,有趣的部分不是更大的硬件,而是專業化。推理、驗證、數據訪問和存儲各自處於獨立的車道,而不是強迫每個參與者都做所有事情。
這對於大規模AI工作負載來說,是一條比通用重新執行更清晰的路徑。值得跟蹤。不是因爲聽起來不錯,而是因爲架構承認了AI計算實際上在哪裏崩潰。
@OpenGradient #OPG $OPG