价值函数能帮助 AI 提前判断方向，但目标是否正确仍需另行验证

把生物类比收束为可检验的问题

该公众号提出，可以从生物学习与合作机制中寻找提升 AI 能力和实现对齐的启发。其中值得继续追问的是：智能体能否在最终结果出现前，判断当前行动是否值得继续？Ilya Sutskever 在原始访谈中用学驾驶时的自我判断解释价值函数的潜在作用。我的判断是，这个切口有研究价值，因为它指向了反馈如何产生、何时产生的具体机制；但它还不足以把学习效率、泛化与目标选择合并成一个已经找到答案的问题。

依据：[5] [3]

多巴胺实验支持了什么

Schultz、Dayan 和 Montague 发表于 1997 年的论文记录了猴子奖励学习中的变化：意外出现的果汁引发部分多巴胺神经元的短暂反应；学会提示后，反应转移到提示出现时；预期果汁没有出现，活动则在应得奖励的时刻下降。作者用奖励预测误差解释这些现象。这里最有启发性的联系，是学习信号可以来自结果与预期之间的差异。证据范围仍须保留：这是特定实验中记录到的神经元活动，不能据此解释所有多巴胺功能，也不能直接把多巴胺称为负责价值估计的 Critic。

依据：[1]

中途估值的作用与前提

该论文中的价值函数估计未来奖励的折扣累积期望，时序差分误差则把当下奖励与相邻时刻的价值估计联系起来。由此可以推断，智能体即使尚未完成任务，也可能利用估值变化更新判断。这个机制的吸引力在于减少完全依赖终点反馈的等待，但它依赖估值能够有效反映后续回报。Ilya 在访谈中的表述也保留了边界：价值函数可以提高强化学习效率，没有它也可能更慢地完成相关工作；他更根本的担心仍是模型泛化弱于人类。因此，效率上的帮助不能直接当作泛化问题已经解决的证据。

依据：[1] [3]

经验学习仍是一项研究议程

Silver 和 Sutton 在《Welcome to the Era of Experience》中主张，让智能体从与环境互动产生的持续经验中学习，并讨论价值函数、探索、世界模型与长期决策。这使价值函数处在一组相互关联的研究问题之中，尚不能据此认定它单独就足以实现持续学习。作者同时指出，长时间自主行动会减少人类介入机会，并增加信任、责任与解释方面的要求。由此推断，评价经验学习系统时，既要看它能否从后果中改善行为，也要看人类能否及时理解和干预；自主行动时间更长，本身不能证明系统更可靠。

依据：[2]

长期回报与道德价值必须分开

价值函数所估计的，是指定奖励下的未来回报；奖励目标是否值得追求，仍需独立判断。把回报估计得更准确，逻辑上并不保证目标更符合人的意图。Anthropic 在 2026 年 1 月 22 日的新宪法说明中称，训练设计增加了对行为意图与原因的解释，希望模型能在新情境中运用原则，同时为部分高风险行为保留硬约束。公司也承认，实际输出可能达不到宪法理想。这支持一种有边界的判断：解释原则背后的理由是一项训练设计变化，其有效性仍须由行为表现证明，不能直接视为模型已经具备可靠的道德判断。

依据：[1] [4]

什么证据会使判断更进一步

目前更稳妥的结论是，生物奖励学习提供了有内容的计算启发，价值函数也值得作为提高学习效率的机制继续研究。要把判断推进到持续学习突破，需要公开算法与可复现的比较，说明效率收益能否延续到新的任务和环境；要推进到安全对齐，则还需要证明系统在目标冲突或原则难以适用时如何行动。这些是本文提出的验证要求。Ilya 的研究直觉、Silver 和 Sutton 的研究展望，以及 Anthropic 的训练设计说明，各自提供了方向，尚未共同构成上述能力已经实现的证明。

依据：[3] [2] [4]

接下来关注什么

• 是否出现公开、可复现的价值函数实验，能够区分学习效率改善与跨任务泛化改善。
• 持续环境学习的收益能否在新环境中保持，并同时保留有效的人类介入机会。
• 解释原则背后的理由，能否在陌生情境和目标冲突中带来可重复的行为改善。