大多數人認爲,AI基礎設施的擴展靠的是增加更多GPU。
我認爲,更大的瓶頸在別的地方:協同延遲。
當AI代理開始調用其他代理時,每一次推理都會變成更大工作流的一部分。如果請求花在等待路由、驗證和排序上的時間,比實際計算的時間還多,那麼即便增加更多硬件,用戶體驗也幾乎不會改善。
這就意味着:編排(orchestration)同計算一樣重要。$OPG
讓我對OpenGradient產生關注的不只是“去中心化推理”。更重要的是,它的理念是讓推理、驗證與執行能夠適配爲一個可編程的鏈上流水線,而不是以彼此隔離的服務形式存在。
新一代的AI基礎設施,可能不會由擁有最大集羣的人贏得。
而是由能最大程度降低智能決策之間摩擦的人贏得。
@OpenGradient #OPG #AI #DeFAI #Crypto
我認爲,更大的瓶頸在別的地方:協同延遲。
當AI代理開始調用其他代理時,每一次推理都會變成更大工作流的一部分。如果請求花在等待路由、驗證和排序上的時間,比實際計算的時間還多,那麼即便增加更多硬件,用戶體驗也幾乎不會改善。
這就意味着:編排(orchestration)同計算一樣重要。$OPG
讓我對OpenGradient產生關注的不只是“去中心化推理”。更重要的是,它的理念是讓推理、驗證與執行能夠適配爲一個可編程的鏈上流水線,而不是以彼此隔離的服務形式存在。
新一代的AI基礎設施,可能不會由擁有最大集羣的人贏得。
而是由能最大程度降低智能決策之間摩擦的人贏得。
@OpenGradient #OPG #AI #DeFAI #Crypto