我以前以為,AI 基礎設施主要就是多一些 GPU。
在閱讀 OpenGradient 的文件後,我才發現事情比那更複雜。
執行一個 AI 模型只是流程的一部分。
必須有人把這個模型提供給開發者。必須有人提供一種方式來支付推論費用。必須有人驗證計算是否如預期發生。而所有這些部分都需要協同運作,同時避免讓網路變得不必要地慢。
也許因此,我一直反覆回到架構本身,而不是那些標題。
白皮書並沒有把 @OpenGradient 描述成單一的 AI 應用程式。它描述的是一個網路,其中不同元件各自承擔不同的責任,從模型託管與推論,到驗證與結算。
我想,這個細節很容易被忽略。
我們大多只會接觸到 AI 模型的最終回覆,很少去思考:正是哪些系統,才讓那個回覆成為可能。
我讀到像 OpenGradient 這樣的專案越多,就越能理解——使用者在第一次輸入提示詞之前,那些工程層面的決策。
這些決策不像新的模型發佈那樣顯眼。
但它們正是原因:讓開發者能夠在網路之上放心地建立應用。
這也是我最近開始更感興趣的 AI 那一面。
$OPG #OPG #OPG
在閱讀 OpenGradient 的文件後,我才發現事情比那更複雜。
執行一個 AI 模型只是流程的一部分。
必須有人把這個模型提供給開發者。必須有人提供一種方式來支付推論費用。必須有人驗證計算是否如預期發生。而所有這些部分都需要協同運作,同時避免讓網路變得不必要地慢。
也許因此,我一直反覆回到架構本身,而不是那些標題。
白皮書並沒有把 @OpenGradient 描述成單一的 AI 應用程式。它描述的是一個網路,其中不同元件各自承擔不同的責任,從模型託管與推論,到驗證與結算。
我想,這個細節很容易被忽略。
我們大多只會接觸到 AI 模型的最終回覆,很少去思考:正是哪些系統,才讓那個回覆成為可能。
我讀到像 OpenGradient 這樣的專案越多,就越能理解——使用者在第一次輸入提示詞之前,那些工程層面的決策。
這些決策不像新的模型發佈那樣顯眼。
但它們正是原因:讓開發者能夠在網路之上放心地建立應用。
這也是我最近開始更感興趣的 AI 那一面。
$OPG #OPG #OPG
