#opg $OPG @OpenGradient
我在使用AI進行加密貨幣研究大約六個月後意識到了一些不舒服的事情。
我問的每一個問題都在訓練一個關於我的畫像。並不是出於偏執的想法。就是字面上的——模型知道我對某些敘述是看漲的,對某些團隊持懷疑態度,對某些風險非常敏感。在數週的對話中,我的偏見逐漸成爲了上下文的一部分。而答案開始悄悄地反映這些偏見。
這是一個微妙的事情。AI沒有在撒謊。它是在爲我個人的相關性進行優化。但研究不應該是個性化的。研究應當是誠實的,即使誠實讓人感到不舒服。
我曾經有一次對話,我詢問了一個我已經在投資的項目。迴應非常全面、平衡、專業。同時也恰好強調了我已經相信的觀點,並輕描淡寫了反對意見。我只注意到這一點是因爲我請朋友隨機運行同樣的查詢並進行比較。
輸出結果有顯著不同。
這就是上下文崩潰——當系統對你瞭解得足夠多時,客觀性悄悄地向舒適彎曲。這感覺像是良好的用戶體驗。但它在你最需要準確性的時候花費了你準確性。
讓我對@OpenGradient 產生興趣的是chat.opengradient.ai背後的架構。在查詢到達模型之前身份被剝離。沒有持久的個人資料。沒有會話記憶在對話之間泄漏。每次推理都是乾淨的,由TEE證明。
誠實的警告是:一個乾淨的會話並不能修復一個有偏見的問題。你如何框定查詢仍然極其重要。
但是,一個不知道你是誰的模型與一個已經悄悄學習了你幾個月的模型之間是有真實區別的。
你上次向AI詢問一個你真正不知道答案的問題是什麼時候——並相信它也不知道?
我在使用AI進行加密貨幣研究大約六個月後意識到了一些不舒服的事情。
我問的每一個問題都在訓練一個關於我的畫像。並不是出於偏執的想法。就是字面上的——模型知道我對某些敘述是看漲的,對某些團隊持懷疑態度,對某些風險非常敏感。在數週的對話中,我的偏見逐漸成爲了上下文的一部分。而答案開始悄悄地反映這些偏見。
這是一個微妙的事情。AI沒有在撒謊。它是在爲我個人的相關性進行優化。但研究不應該是個性化的。研究應當是誠實的,即使誠實讓人感到不舒服。
我曾經有一次對話,我詢問了一個我已經在投資的項目。迴應非常全面、平衡、專業。同時也恰好強調了我已經相信的觀點,並輕描淡寫了反對意見。我只注意到這一點是因爲我請朋友隨機運行同樣的查詢並進行比較。
輸出結果有顯著不同。
這就是上下文崩潰——當系統對你瞭解得足夠多時,客觀性悄悄地向舒適彎曲。這感覺像是良好的用戶體驗。但它在你最需要準確性的時候花費了你準確性。
讓我對@OpenGradient 產生興趣的是chat.opengradient.ai背後的架構。在查詢到達模型之前身份被剝離。沒有持久的個人資料。沒有會話記憶在對話之間泄漏。每次推理都是乾淨的,由TEE證明。
誠實的警告是:一個乾淨的會話並不能修復一個有偏見的問題。你如何框定查詢仍然極其重要。
但是,一個不知道你是誰的模型與一個已經悄悄學習了你幾個月的模型之間是有真實區別的。
你上次向AI詢問一個你真正不知道答案的問題是什麼時候——並相信它也不知道?