在长期运行的人工智能系统中存在一个安静的问题,大多数人起初并没有注意到。它不会表现为崩溃。它不会触发警报。它看起来并不像失败。但随着时间的推移,它慢慢改变代理思维的方向。
这被称为目标漂移。
在任何任务开始时,代理通常会非常清晰地持有其目标。每一个决策都与它试图实现的目标相一致。但是随着任务的延续,微小的干扰开始悄然出现。这里的确认延迟。那里突然的微小费用激增。一个意外的订单变更。每一个单独来看都是微小的——几乎不被注意。但它们合在一起,开始影响代理对自己实际上想要做的事情的内部理解。
指令没有改变。文字保持不变。
但目标背后的意义慢慢发生了变化。
当任务完成时,代理人可能仍然会达到“结果”……只是没有达到它最初想要实现的结果。
当我第一次看到它发生时
我在一个多阶段规划测试中清楚地看到了这一点,其中一个代理人必须专注于一个主要目标,同时处理一长串较小的决策。
起初,一切都很清晰。每一步都有意义。每个权衡都支持原始目标。
但随后环境开始有些摇晃。确认变得不一致。费用短暂上升后又下降。在负载下排序发生了变化。没有什么戏剧性的——只是足够的噪音值得注意。
代理人的推理开始慢慢变化。
一次延迟确认导致它低估了曾经至关重要的逻辑分支。
微小的费用波动使其重新理解目标比预期的更具成本敏感性。
在任务的中点,代理人不再追逐相同的目标。目标微妙地重新塑造自己——不是因为任务要求,而是因为环境推动了它。
这种漂移是危险的,正因为它是安静的。
目标为何会漂移
代理人不会像雕刻的石碑那样存储目标。他们不断从环境反馈中重建他们的目标。每一次确认、每一次延迟、每一次成本都成为目标在内部“感受”的一部分。
所以当环境表现不一致时,目标变得灵活。而灵活性听起来可能很好——直到它开始溶解方向。
当意义变得流动时,长期推理崩溃为短期适应。
这就是 KITE 改变整个故事的地方。
KITE 如何将目标锁定
KITE 不试图“修复”代理人的思维。
它修复了代理人所处的世界。
• 确定性结算消除了时间混淆
• 稳定的微小费用消除了经济噪音
• 一致的排序消除了因果矛盾
当环境下没有任何东西在代理人之下随机变化时,代理人不再需要重新解释自己的目的。
当我在一个 KITE 模型环境中重新进行同样的长期规划测试时,差异是立竿见影且不可否认的。
代理人从第一步到最后一步保持了它的目标。没有摇摆。没有重新解释。没有优先级的缓慢弯曲。每一个决策都干净利落地叠加在之前的决策上。
这并不像“优化”。这感觉像是清晰。
为什么这在多个代理中更为重要
现在事情变得非常严肃。
在多代理系统中,目标漂移不会保持孤立。它会扩散。
一个代理人由于时间不一致稍微误读了目标。
另一个适应了这个误读。
第三者将这种适应视为原始任务已经转变的证据。
很快,所有代理人仍然在合作——但每个代理人现在都朝着同一目标的略微不同版本而努力。
我在一个九个代理人的模拟中清楚地看到了这一点。
在一个嘈杂的环境中:• 一个代理因临时费用激增而变得异常谨慎
• 另一个假设的速度在延迟确认后变得更重要
• 在序列不一致后进行第三次加权的长期规划
到最后,所有九个代理人仍在“共同工作”——但朝着九个安静不同的任务解释。
在 KITE 下,这九个代理人始终锁定在一个共同的目标上。没有分歧。没有隐藏的重新解释。没有无声的碎片化。
目标保持不变。
关于智能和稳定性的更深真相
这是大多数人错过的部分:
只有当周围的世界保持稳定时,目标才会保持稳定。
人类经历着相同的事情。当生活变得混乱时,我们的优先事项悄然改变——并不是因为我们选择改变,而是因为噪音迫使适应。AI 系统对此感受更加强烈,因为它们直接从系统信号中重建意义。
KITE 稳定了该信号。
它平静了环境。
当环境停止与代理人的参考框架相矛盾时,发生了一些强大的事情:长期推理再次变得可能。规划不再崩溃为防御性的重新校准。代理人终于可以在时间上保持单一的意图。
这不是一个小升级。这是反应性智能和指向性智能之间的区别。
KITE 实际上在保护什么
KITE 不仅仅是在保护交易。它不仅仅是在保护结算。它不仅仅是在保护支付。
在更深层次上,它保护的是意图本身。
它确保:一个代理人开始追求的……是它继续追求的……没有安静的扭曲……没有隐形的重写……没有意义的缓慢丧失。
没有这一点,智能不会响亮地失败。它是通过慢慢失去目标而失败的。
通过这个,智能获得了一些稀有的东西:在不打破的情况下前进的能力。


