LLM 能选择机器人动作,还不足以取代实时控制
GPT-6 Astra 在 RoboDojo 的实验说明,通用模型可以承担部分动作选择,但其成绩依赖特定输入与执行系统,也未完成正式真机测试。结合 RTC、原始 Helix 和 UMI 的实验,更有依据的判断是:动作决策的能力边界正在变化,及时、连续地执行动作仍需单独验证。

争论需要落到具体控制环节
该公众号提出,LLM 开始生成机器人动作,可能动摇任务规划与动作模型之间的分工。GPT-6 Astra 的研究确实为这个问题提供了证据,但“生成动作”需要拆开理解:实验中,冻结的语言模型选择末端执行器目标,再由非学习的路径转换程序执行,随后接收观察和错误反馈。因此,我认为这项研究支持通用模型进入动作决策环节,却不足以证明它已经接管完整控制链。是否还需要独立机器人模型,取决于哪些环节已被覆盖、哪些能力仍由外部系统承担。
成绩值得重视,比较条件也必须保留
Astra 论文的 2026-09-21 版本报告,medium 推理、零样本设置下,平均得分为 28.97,成功率为 22.48%。得分记录部分完成进度,成功率要求完整完成任务,整体指标按五个能力维度等权平均。它领先于论文选取的 2026-09-10 公开策略榜条目,但 Astra 获得了从 wiki 整理的任务步骤与评分阶段说明,基线没有在等价文本输入下重跑。这使结果足以说明该方案值得继续研究,却无法单独回答:优势有多少来自模型本身,又有多少来自额外任务说明。
反馈已经存在,可靠执行仍未得到证明
该公众号提出,更好的检查与纠错机制可能继续提高成绩;不过,论文中的执行框架已经返回动作后的观察、误差和拒绝执行信息,不能把现有结果描述为完全没有反馈的动作输出。更关键的是,论文仍报告精细操作、动态任务和双臂协调方面的弱点,真机测试因安全原因停止,未完成正式协议。RoboDojo 的仿真与真机任务也没有逐项配对。因此,从仿真表现推断真实部署可靠性,仍缺少直接证据;增加反馈后的收益同样需要实验确认。
实时性是整套系统的能力
Physical Intelligence 的 RTC 工作展示了另一类问题:模型推理下一段动作时,机器人可以继续执行当前动作块,但直接切换可能造成不连续。RTC 保留已经承诺执行的动作,并协调重叠部分,使推理与执行能够并行。这说明,判断下一步动作是否合理,与让动作及时衔接,是需要分别处理的问题。其真机实验使用同楼工作站和局域网,不能据此断言互联网云端控制已经可靠,也不能把具体测得的延迟推广为所有机器人系统的固定限制。
模型分工应由任务要求检验
Figure 在 2025-02-20 披露的原始 Helix 提供了具体实例:机载 System 2 以 7–9 Hz 运行,通过异步更新的语义潜变量指导以 200 Hz 输出动作的 System 1。这里的分工对应不同响应节奏,两者都在机载运行。这些频率只属于该架构,不能成为机器人统一门槛。我的推断是,即使通用模型能承担更多动作决策,是否合并控制层仍应依据响应时间、动作连续性和任务表现来决定;模型能力增强本身,不能证明某种架构必然胜出。
数据接口仍会影响动作质量
UMI 的实验进一步说明,执行质量还取决于示范如何表示、如何与机器人对接。其接口采用相对轨迹,并匹配观察与动作执行时延;动态投掷中去掉时延匹配后,抖动更明显,双臂叠衣中去掉夹爪间相对姿态后,协调性变差。这些结果支持一个有限判断:即便动作意图已经给定,时间与空间关系的处理仍会改变表现。它们没有证明 UMI 对所有任务都更优,也没有验证人类视频与 UMI 数据之间的通用小时换算。要判断通用模型能替代多少专用能力,仍需在相同输入、执行接口和任务条件下比较完整系统。
接下来关注什么
- 提供等价任务说明并重跑基线后,Astra 的比较优势是否保留。
- 完成正式真机测试后,精细操作、动态任务和双臂协调的表现能否支持部署判断。
- 在相同任务与硬件条件下,统一模型与分层控制方案的响应时间、动作连续性和完整成功率如何变化。
- UMI 的时延匹配与相对姿态表示,能否在更多任务和机器人平台上重复获得收益。
来源与核验
选题起点:海外独角兽,原文发布于 2026-11-06 17:08(UTC+8)。正文按以下原始资料重新组织,事实与判断分别阅读。
- An Unexpected Robot Policy: Early Evaluations of GPT-6 Astra on RoboDojo and Beyond
- RoboDojo: A Unified Sim-and-Real Benchmark for Comprehensive Evaluation of Generalist Robot Manipulation Policies
- Real-Time Action Chunking with Large Models
- Real-Time Execution of Action Chunking Flow Policies
- Helix: A Vision-Language-Action Model for Generalist Humanoid Control
- Universal Manipulation Interface: In-The-Wild Robot Teaching Without In-The-Wild Robots
- 和 Robotic × LLM 研究员聊:LLM 会“吃掉”机器人模型吗?