幾周前,我在設置一臺新筆記本電腦時,不小心同時運行了兩個AI助手來處理同一任務。一個助手給出的答案很自信,另一個則給出了不同的答案,同樣自信。我坐在那裏盯着這兩個迴應,思考我到底應該信任哪個?最後我選了一個感覺更熟悉的。這個讓我比預期的更困擾。#OPG
這讓我想到OpenGradient正在悄悄努力實現的一個目標:可驗證的AI推理。模型輸出不僅應該被傳遞,它們還應該是可以證明的。從表面上看,這聽起來是個顯而易見的好事。但我認爲更有趣的張力就在於此。
大多數人將可驗證性框架視爲信任問題。證明模型運行正確,證明輸出沒有被篡改,搞定。但可驗證性並不自動告訴你模型本身是否足夠好。你可以得到一個經過完美驗證的錯誤答案。執行的加密證明與推理質量的證明不是一回事。
這就是OpenGradient的基礎設施層在值得深入思考的地方變得真正複雜的原因。如果開發者開始將經過驗證的輸出視爲天生可靠的輸出,你可能會得到一個培育新的錯誤自信的系統。這並不是因爲有人不誠實,而是因爲驗證儀式開始取代了實際的批判性評估。
OpenGradient正在構建的基礎設施至關重要。去中心化的模型部署、鏈上推理記錄、可組合的AI原語——這些都是嚴肅的架構選擇,而不是營銷幻燈片。
但更困難的設計問題並不是網絡能否證明AI的運行,而是它是否能夠幫助用戶理解何時“經過驗證”和“值得信賴”不是同一個詞。@OpenGradient #opg $OPG