我們正在靜悄悄地建立驗證債務
最近，在觀察AI代理在小組中協調的早期實驗時，有一個問題變得難以忽視。我們在提升這些代理的能力方面投入了大量資金。而在使他們的決策可驗證方面，我們的關注則少得多。
在大多數傳統系統中，當出現問題時，我們通常可以追蹤推理過程。對於許多當前的AI代理，這種可追蹤性仍然有限。一旦這些代理開始管理共享資源、激勵措施或爭議，缺乏可驗證推理將對所有相關人員造成真實風險。
來自致力於可驗證推理的項目的公開更新表明，已經處理了數百萬次此類計算，並附有密碼學證明。這表明，超越盲目輸出在技術上是可行的。更重要的問題是，在不可驗證決策的後果變得昂貴之前，我們是否會優先考慮這些方法。
在加密領域，我們早就瞭解到，沒有可驗證記錄的行爲會造成脆弱性。這個原則現在同樣適用於自主代理。沒有問責的智能可以擴展，但很少安全地擴展。未來真正的選擇是，我們是否繼續構建僅僅行動的代理，還是我們也構建能夠被審查決策的代理。這個選擇將在很大程度上決定這些系統最終值得多少信任。
@OpenGradient #OPG $OPG
最近，在觀察AI代理在小組中協調的早期實驗時，有一個問題變得難以忽視。我們在提升這些代理的能力方面投入了大量資金。而在使他們的決策可驗證方面，我們的關注則少得多。
在大多數傳統系統中，當出現問題時，我們通常可以追蹤推理過程。對於許多當前的AI代理，這種可追蹤性仍然有限。一旦這些代理開始管理共享資源、激勵措施或爭議，缺乏可驗證推理將對所有相關人員造成真實風險。
來自致力於可驗證推理的項目的公開更新表明，已經處理了數百萬次此類計算，並附有密碼學證明。這表明，超越盲目輸出在技術上是可行的。更重要的問題是，在不可驗證決策的後果變得昂貴之前，我們是否會優先考慮這些方法。
在加密領域，我們早就瞭解到，沒有可驗證記錄的行爲會造成脆弱性。這個原則現在同樣適用於自主代理。沒有問責的智能可以擴展，但很少安全地擴展。未來真正的選擇是，我們是否繼續構建僅僅行動的代理，還是我們也構建能夠被審查決策的代理。這個選擇將在很大程度上決定這些系統最終值得多少信任。
@OpenGradient #OPG $OPG