【5001拉斯维加斯】RobotAgentBench:评测机器人开放世界自主决策水平

【5001拉斯维加斯】RobotAgentBench:评测机器人开放世界自主决策水平

自主智能体 ·阅读约 2 分钟 ·5001拉斯维加斯

新基准从家庭场景出发,系统检验机器人从指令执行转向自主完成复杂需求的各项能力。

需求理解:机器人需自主发现并规划家庭任务

用户提出高层请求后,机器人必须先观察周围环境,再结合上下文推断出相关子目标,并把这些目标转化为连贯动作序列。

在整个过程中,系统还要实时监测执行状态,一旦出现偏差便立即调整后续步骤。

机器人基准
机器人基准

RobotAgentBench为此设计了操作、发现、推理、恢复与鲁棒性五个维度,覆盖从简单抓取到多步交互的各类家庭活动。

5001拉斯维加斯 研究团队以此为基础构建了包含长程场景的完整评测体系。

环境搭建:从真实住宅生成50种交互布局

研究人员采用real-to-sim流程,先在真实居室采集空间数据,再通过智能体辅助与人工校验重建仿真场景,并扩展出多样化家具与光照变化。

50种布局覆盖不同房间结构与物体位置,确保评测能考察机器人面对熟悉物品移位或光线改变时的适应表现。

框架设计:整合规划执行与验证的多类智能体

基准采用统一循环结构,让规划器拆解需求、执行器完成物理动作、验证器检查结果并反馈修正。

实验对比了纯学习策略、纯代码控制、混合执行以及加入递归自我改进的方案,考察不同组件组合对整体表现的影响。

结果分析:独立模型在任务发现上仍存明显短板

单独VLA或WAM策略在开放场景中往往长时间停滞,任务发现得分极低,难以主动启动系列操作。

引入代码智能体后,混合配置在任务级平均分与场景综合得分上均取得最高值,显示系统级设计可有效弥补底层策略不足。

持续优化:递归改进提升执行经验积累

通过多轮反馈迭代,智能体逐步优化可复用控制函数并降低停滞比例,任务完成度随之提高。

真实家庭测试显示仿真排名基本保持一致,但物理交互复杂性仍会放大现有系统的局限,5001拉斯维加斯 后续工作将继续探索从仿真到实物的迁移路径。

机器人基准开放世界自主智能体VLA模型任务规划