大約一年前，我曾使用一個AI工具來審覈一份合同條款。返回的答案詳細且自信。我依賴了這個答案，直到事後才意識到我沒有辦法覈實這個模型實際上是如何得出這個答案的。

大多數人不會長時間停留在這個空白上。我們使用AI就像使用電梯一樣，隨意進入而不閱讀檢驗證書，信任某個地方的人在我們到達之前進行了檢查。機制運行良好，所以我們繼續前進。信任變得無條件。

但在這種便利之下，潛藏着一個值得思考的不對稱性。模型所呈現的信心幾乎與這種信心是否可驗證沒有關係。一個模型可以以一種感覺上與正確無異的方式出錯，而在使用時沒有任何東西將二者區分開。

第二階效應更微妙。如果市場獎勵自信的表現而非可驗證的表現，激勵結構會悄然向前者傾斜。感到權威的模型被更頻繁地使用，無論它們的輸出是否可以檢查。這不是任何人設計的bug。它是當驗證沒有基礎設施時發生的事情。

opengradient正在爲AI推理構建一個驗證層，不是爲了訓練或模型權重，而是爲了輸入變爲輸出的特定步驟。這個步驟是黑箱工作的地方，而且在大規模審計時是最難以審覈的。

我有時仍然想着那份合同條款。不是因爲它出錯了，而是因爲我無法知道它是否正確。這個區分是實際風險存在的地方，而今天大多數生產系統沒有任何方式來解決這個問題。

如果這個層次有效，它將改變在實踐中什麼是值得信賴的。建立在聲譽上的信任將被建立在檢查記錄上的信任所取代。更困難的問題是，大多數用戶在有真實選擇的情況下是否願意進行驗證。便利和確定性已經捆綁了這麼久，以至於人們並不清楚他們依賴的是哪一個。

@OpenGradient $OPG #OPG $BICO $BTW