机器人只把东西推到一半,程序可能已经亮起绿灯;换一种同样有效的方法完成动作,也可能拿不到分。研究人员对照任务说明和判定代码,构造两者可能冲突的场景,在模拟器里运行原判定器,再从多个视角检验动作。
经过画面复核和去重,49 项任务中出现 40 处把未完成当完成的缺陷,以及 21 处漏判成功的缺陷。这里统计的是被找到的独立缺陷,无法直接换算成机器人平时被误判的概率。
论文第一幅图给了很直观的例子:任务要把瓶子拿起来摇动,系统只拿起瓶子也可能通过。另一个例子是两只瓶子都被拿起来了,却因为抓取位置偏离预设中心而被拒绝。前一种误判会给取巧的策略加分,后一种则惩罚了可行的替代动作。
