大多數人認爲長上下文推理不過是個更大的發票：輸入更多的代幣，輸出更多的計算，最後成本更高。我過去也是這麼想的。看起來整個問題僅僅是效率。

但當我開始關注@OpenGradient 實際上在優化什麼時，這種觀點開始顯得不夠完整。有趣的地方不僅僅在於“讓推理更便宜”。而是讓長上下文推理變得更可靠、更可用，以及更有經濟意義。

舉個簡單的例子：想象一個財政合約需要審覈一段長時間的提案、投票和支出模式歷史，然後才能批准新的行動。顯而易見的問題是，“模型能讀懂這些嗎？”更深層次的問題是，“有沒有人能信任模型在整個上下文中的推理？”

這對我來說是一個轉變。真正的瓶頸不僅僅是吞吐量。它是原始模型輸出與可驗證決策之間的差距。在長上下文環境中，模型往往承載着記憶，而不僅僅是在生成文本。而記憶就是信任變得脆弱的地方。

大多數人忽視的是，這裏的優化不僅僅是技術性的。它是結構性的。當推理能夠在長上下文中更智能地處理時，你不僅僅是在節省代幣。你正在改變哪些類型的決策可以安全地委託給系統。

這感覺比發票要重要得多。雖然也許我仍然低估了未來有多少是由這一點決定的。

#opg $OPG @OpenGradient