自动实验已有闭环，智能进步的复利仍待证明

先区分两种进步

该公众号提出，递归自我改进（RSI）与持续学习可能形成相互强化的飞轮：模型帮助研发更好的模型，使用经验再成为能力增长的来源。这个设想值得讨论，但判断它是否成立，需要区分实验流程的自动化与学习效果的改善。autoresearch 展示了代理执行实验的机制；持续学习综述则要求考察新任务学习、旧能力保留及迁移表现。由此可以推断，两者存在相互帮助的可能，但不能用自动运行的实验数量替代学习效果。

依据：[5] [1] [4]

闭环成立，依赖明确的评估边界

Karpathy 的 autoresearch 把每次实验限定在单 GPU、5 分钟训练墙钟时间内，启动和编译不计入。代理只能修改训练文件，不能修改数据准备和固定评估；验证指标改善就保留改动，相同或更差则撤销，结果相当时也允许保留更简洁的实现。这说明，在目标与权限清楚的环境中，实验可以由代理连续推进。我的判断是，这种机制能减少人工逐次操作，但它没有直接测量每单位算力产生了多少有效发现。即使指标不断改善，也仍需检验改进能否离开这套评估设置。

依据：[1]

生产迁移让乐观判断有了边界

Anthropic 的自动对齐研究提供了更具体的检验。代理提出方法、运行实验、分析结果，并通过专门服务器获得评分。最有效方法在保留的数学和编程数据上取得迁移效果，次优方法在编程任务上却变差；最有效方法进入 Claude Sonnet 4 的生产训练测试后，也没有获得统计显著改善。这不能说明自动研究普遍无效：生产测试只覆盖一个想法，评分也较简单。但它足以提醒我们，受控任务中的胜出方法仍是候选方案。从这些结果推断，自动化研究的价值取决于筛选指标能否预示目标环境中的真实收益，扩大搜索本身尚不能保证这一点。

依据：[2]

能在线更新，还不等于能长期积累

TTT 原论文让隐藏状态本身成为可学习模型，在测试序列中通过自监督损失更新，每条输入序列产生各自的隐藏状态权重。这为模型利用当前序列提供了具体机制。论文主要检验语言建模和长上下文困惑度，固定大小的隐藏状态仍有实际计算时间与内存读写限制。因此，这项工作的证据范围应停在序列内更新，不能直接延伸为跨会话经验保留或陌生任务中的通用学习能力。局部适应能否留下长期有用的知识，仍需另外设计实验。

依据：[3]

判断持续学习，要同时看学到了什么、丢掉了什么

该公众号把经历能否立即转化为知识作为持续学习的分界，这一定义偏窄。持续学习综述允许新数据分批或按任务整体到达，关注的是动态数据分布下的顺序学习，以及旧样本不可得或只能有限访问时的表现。沿用这个框架，更有用的判断标准是：新经验是否改善后续任务，旧能力是否保留，能否向新任务迁移，以及存储和计算代价是否可接受。若系统声称能跨会话积累，还应按这一使用范围检验保留效果。我的判断是，只有这些结果共同成立，才有理由把一次局部更新解释为可积累的能力进步；更新发生得快，单独看并不足够。

依据：[5] [4]

接下来关注什么

• 自动研究筛出的方案，能否在保留任务和目标生产环境中重复获得改善，并说明失败条件。
• 声称能够持续积累经验的系统，能否同时展示新任务收益、旧能力保留与跨任务迁移。
• 效果改善是否伴随可接受的计算和存储成本；声称跨会话学习时，经验能否在后续会话中继续发挥作用。