最近我注意到了一些事情,但我還不太確定怎麼完全表達出來。

我使用的大多數AI工具都是像軟件訂閱一樣出售的。無論我實際使用多少,都是一個固定的月費。有些月份這個費用感覺合理,而其他月份我在想這個定價模式是否是圍繞這些工具的實際使用情況設計的——還是隻是借鑑了軟件行業,因爲它很熟悉。

這就是我被@OpenGradient 在推理結算方面的做法吸引的部分原因。

按請求付費而不是按月付費的想法感覺更像是我們爲公用事業支付費用的方式。你消耗一個單位,你就爲那個單位支付。賬單反映的是實際使用情況,而不是假定的消費模式。

至少原則上是這樣。

我還記得大多數關於AI定價的對話幾乎完全圍繞哪個層級解鎖哪個模型。最近感覺,定價背後的基礎設施變得同樣重要。

如果計費模型假設另一端是一個人訂閱者,系統就會圍繞這個假設進行設計。如果不是,可能會出現不同的情況。

我一直在思考的是,OpenGradient似乎是AI消費結構更廣泛轉變的一部分。不僅僅是哪些模型在運行,而是請求是如何發起、結算和驗證的,而每一步都不需要一個人賬戶持有者。

我仍在弄清楚這在規模上意味着什麼,以及真正的摩擦在哪裏。

我可能過於簡化了協調成本。每個請求的鏈上結算帶來的開銷是一個固定訂閱所不需要吸收的——而我並不完全確定這在高頻工作負載中是如何運作的。

也許問題不是如何讓AI更便宜,而是我們一直以來支付的方式是否真的設計成適應它正在緩慢演變的樣子。

我一直在想,當發起請求的不是人類時,AI基礎設施最終會是什麼樣子。

#OPG $OPG