OpenGradient 在消息層面仍然可能失敗,在模型獲得一個令牌進行預測之前。
我在聊天流程中陷入了困境,因爲風險並不是最終答案。它是塑造它的消息堆棧。
構建者可以調用 llm.chat()。請求可以包含系統、用戶和助手消息。它還可以包括工具和工具選擇。結果可以帶有支付證明和TEE支持的提示驗證。
這聽起來很完整,直到代理開始從中做出決策。
如果錯誤的系統消息位於用戶請求之上,模型可能會遵循錯誤的權威。如果之前的助手消息在線程中停留,應該被清除,那麼下一個答案可能會繼承過時的上下文。如果工具選擇推動了錯誤的功能路徑,代理可以在最終輸出看起來正常的情況下采取行動。
構建者不能僅僅證明 OpenGradient 運行了提示。
他們必須證明在做出決定時模型實際上看到了哪個對話框架。
這是我關心的後果。一個錢包風險代理、審計助手或路由機器人可以產生一個驗證的答案,但仍然可能是錯誤的,因爲輸入調用的消息角色是錯誤的。
如果對話框架被污染,簽名答案是不夠的。
#OPG $OPG @OpenGradient $LINK $BLESS