企业官网建设流程全解析

做具身智能这几年，我反复被一个问题砸中：你的策略到底在真机上表现怎么样？仿真实验再漂亮，日志再完整，一到真机就会被线缆缠住、被金属反光晃到、被重力教做人。所以圈里慢慢形成一个共识——真正有参考价值的对比，必须落到真机评测基准上。真机评测基准不是“把机器人放出来跑几下”这么简单，它意味着固定的硬件布局、明确的任务定义、可复现的评测协议，以及一套能让人信服的统计指标。

这篇文章就围绕“具身领域的真机评测基准都有哪些”展开，把目前业界和学术圈常见的评测路线按设计逻辑梳理清楚，内容包括真机评测为什么重要、基准怎么分类、主流路线各自在测什么、怎么亲手跑通一个任务，以及我踩过的坑。不管你是刚进实验室的学生，还是快要交付产品的工程师，读完都能少走不少弯路。

1. 真机评测为什么突然成了具身领域的关键词

1.1 模拟器再像，也替不了真机

先聊一个最基础的问题：既然仿真平台那么成熟，为什么大家非要做真机评测？答案是“仿真到真机的鸿沟”从来都没有被真正填平过。

模拟器里光照是理想化的，物体表面是完整无损的，机械臂的关节不会发热，线缆不会挂在物体边缘，桌面不会因为上一轮实验留下划痕。可现实世界里这些东西全都会跑出来干扰你。我见过很多项目，策略在仿真里跑出九成以上的成功率，放到真机上直接掉到两成以下，而且不是某个特定环节崩了，是崩得非常均匀——感知错、规划错、执行也错。这就是典型的“物理交互失真”。

拿考驾照打比方：仿真测试相当于科目一理论考试，你背得再熟，也不代表你能在雨天高架路上安全变道。真机评测才是科目三路考，它把真实的重力、摩擦力、形变、光线、噪声全部纳入打分。只有真机评测通过，才能说明策略真的学会了解问题，而不是仅仅学会了解模拟器。

1.2 评测基准解决的三个核心问题

真机评测和随便在实验室里跑几次完全是两回事。评测基准本质上是一套“标准化考卷”，它要解决三个层面的问题。

第一层是可对比性。今天你在自己的机器上测了个结果，明天另一个团队在另一个平台上也测了个结果，两个数字有没有可比性？如果任务定义不统一、成功标准含糊、初始状态随意，那这两个数字就是自说自话。基准把任务、物体、布局、指标都固定下来，各个团队才能在同一张考卷上比拼。

第二层是可复现性。论文里写“成功率85%”，读者想知道凭什么。评测基准要求你把初始位姿、随机种子、回合数量、超时阈值、感知配置全部写清楚，别人照着搭一台类似的机器就能复现你的实验。没有这层约束，很多结果其实是“独家秘方”，换个环境就失灵。

第三层是可诊断性。一套好的基准不只是一个分数，它把任务拆成多个维度，让你能看出策略究竟在哪个环节掉链子。是物体识别错了，还是轨迹规划撞到了桌子，还是末端执行器夹不住东西？这些信息比一个综合成功率有用得多。我自己跑评测时，记录失败原因的时间甚至比跑任务本身还长，因为后续改进全靠这些诊断数据。

2. 真机评测基准怎么分类才看得清

2.1 按任务类型分：从桌面操作到全身运动

接触具身领域，最先遇到的分类是按任务类型切。不同任务对应的硬件形态、感知难度、评价维度完全不同，混在一起比较没有意义。

桌面单臂操作是最常见的入门任务。典型的场景是一只六轴机械臂固定在桌面上，面前摆着若干物体，任务包括抓取、放置、插孔、推方块、摞杯子。这类任务的核心难点在视觉识别、抓取姿态规划和位姿精度，评测指标相对简单，成功率、单次耗时、超时率就够了。

双臂协同操作比单臂高一个难度等级。拧瓶盖、倒水、开盒子、叠毛巾、套垃圾袋，这些任务都需要两只手臂在空间上配合，同时还涉及持续接触力的控制。难点在于自碰撞规避、相互遮挡和力位混合控制，评测时除了成功率，还要额外关注碰撞次数和任务完成质量。

移动操作任务则把“走到目标点”和“抓取或操作”串起来。机械臂装在一台移动底盘上，任务是导航到某个货架、抽出指定物体、再送回来。这类基准贴近仓储、巡检、家庭服务等真实场景，难点是定位漂移和长程组合误差，评测维度除了操作成功率，还要看导航耗时和整体成功率。

灵巧手和人形全身运动是两个更难的方向。灵巧手任务比如穿针引线、插拔不同规格的线缆、整理柔性线束，难点在手指间的接触感知和精细力控。人形运动任务则是站起来、平稳行走、上下斜坡、扛住外部扰动不倒。这两个方向硬件成本高，评测周期长，但恰恰是现在讨论热度最高的领域。

2.2 按评测协议分：固定任务、随机泛化和跨本体

除了任务类型，还可以从评测协议的角度做另一种分类。同样是抓取，不同基准的设计哲学可能完全相反。

固定任务集型协议是最保守的做法。任务列表、物体集合、初始摆放全部规定死，机器人每次以几乎相同的姿势开始，评测结果反映的是策略在“标准化环境”中的稳定执行能力。这类协议复现成本低，适合算法对比，但容易被过拟合，策略可能只是背下了这个特定场景。

随机化泛化型协议刻意增加变化，物体种类随机、初始位姿随机、光照条件随机、甚至桌面纹理都会有几种版本。评测目标从“能不能完成”变成“换了没见过的情况还能不能完成”，反映的是策略的泛化能力。显然难度高很多，很多在固定场景里成绩不错的策略，一上这种协议就露馅。

跨本体统一型协议是近年兴起的方向，核心思路是让同一套任务定义和数据协议适配多种不同机器人。评测时不同团队可以带着各自硬件来考，也可以直接提交策略让别人代跑。这类协议的价值在于检验策略是不是真正学到了任务本质，还是仅仅拟合了某一台机器的运动学特性和感知布局。

3. 主流评测路线的设计拆解

3.1 桌面单臂操作基准：最普及的“入场券”

如果你想快速入局真机评测，桌面单臂路线是最合适的起点。这类基准的典型硬件配置是：一只六轴协作机械臂，两个固定视角的相机（一个俯视一个侧视），一套标准化物体夹具，外加一块固定尺寸的桌面工装。整体成本可控，搭建周期一周以内，很多团队还直接复用机器人厂商自带的视觉模块。

任务集通常控制在五到十个之间，比如抓取固定物体、把积木块堆到指定高度、将销钉插入孔位、把物体推到目标区域。每个任务都定义得非常具体：物体从哪拿、放到哪、允许的偏差是多少、超时时间多少。评测时一般会跑二十到三十个有效回合，初始位姿在协议规定范围内做小幅度随机，最后统计成功率。

这类基准最大的好处是干扰因素少，能比较干净地拆出策略本身的水平。我第一次搭建时就把“台面反光”这个变量忽略掉了，结果物体换一批就抓不准，后来才意识到评测环境必须把材质和光照条件写进协议。桌面单臂基准的另一层价值是有很多历史结果可以对比，你的策略能跑到什么位置，对照一下就能知道大致水平。

3.2 双臂协同操作基准：离家务活最近的一块

如果说桌面单臂是“写字”，双臂协同就是“双手配合干活”。这个方向的基准任务通常取材于家务场景：拧开瓶盖、往杯子里倒水、把物体从一个容器转移到另一个容器、打开纸盒取出内容物。拧瓶盖这个任务特别典型，一只手臂固定瓶身，另一只手臂旋转瓶盖，两只手必须同时协调用力，否则瓶身会跟着转，任务直接失败。

双臂评测的核心难点不在单个动作，而在于两只手臂在共享空间里的协调。自碰撞是常见的失败来源，两只机械臂靠得越近，规划器的压力越大，末端还不时互相遮挡相机视野。评测时除了记录成功率，我建议额外统计“碰撞报警次数”和“任务中是否需要人工重置”，这两个数据能说明策略在协调性上的真实水平。

还要提一个问题：双臂平台的数据采集成本比单臂高不少，很多团队用低成本的遥操作示教方式采集演示数据，一手控制一只手臂，效率很高。但在评测环节要特别小心“示教取巧”——如果任务判定标准太宽松，操作者可以靠微调姿态来拼成功率，指标就会虚高。所以协议里一定要写清楚“允许的调整次数”和“最终状态判定标准”，模糊不得。

3.3 移动操作与跨本体泛化基准：往真实场景再走一步

移动操作基准把评测从桌面搬到了更大的空间。典型任务形态是：机器人在一个室内场地中，从起点出发，导航到指定货架，识别并抽取某个物体，然后带回起点。更复杂的版本还会加入开门、按电梯按钮、在拥挤通道中绕行等子任务。

这个方向评测的难点在于误差是累积的。导航阶段出现几厘米偏差，抓取阶段可能就会偏出几厘米，最后整体成功率下降得很快。我跑这类任务时发现，很多人只关注最终综合成功率，却忽略了分解指标：导航成功率是百分之多少、到达后的目标识别成功率是多少、抓取成功率又是多少。不拆分的话，出了问题很难定位到底在哪一环。

跨本体泛化基准则换了一个思路，重点看策略能不能在不同机器人之间迁移。同一套视觉输入、同一个任务目标，先在一台机器人上训练，再换另一台机器人直接评测。这类基准对数据协议的要求很高，观察空间、动作空间、任务描述必须做到统一抽象。设计得好，它能证明策略学到的是任务本质，而不是某台机器的“肌肉记忆”。这个方向目前还偏早期，但它对行业的意义很大，因为能减少每个团队重复采集数据的工作量。

3.4 灵巧手和人形机器人运动基准：难度最高的硬骨头

灵巧手方向的基准聚焦毫米级甚至更小尺度的精细操作。比如把细线穿过针眼、插拔不同规格的接口、把零散的线束理成固定走向。灵巧手自由度多、手指之间空间狭小，视觉经常被手本身遮挡，很多问题必须靠触觉和力反馈解决。评测指标上，除了任务成功率，还应该记录“是否损伤物体”“接触力是否超限”，因为精细操作的成败往往体现在这些细节上。

人形机器人运动基准这两年热度上升很快，任务按难度递增大致是原地站起、稳定行走、上下斜坡、跨越障碍、扛住外部推搡。评测时最让人头疼的是安全性和疲劳度问题：机器人摔倒一次，硬件可能受损，评测就得中断；电池电压下降，电机输出变化，运动表现也会漂移。所以这类基准的评测回合通常比桌面操作少很多，但每个回合的信息量更大，必须辅以高速录像和传感器日志来还原过程。

坦白说，灵巧手和人形运动基准目前还没有一套公认度极高的标准化方案，很多团队都在用“自建任务加自定指标”的方式在跑。好处是探索空间大，坏处是横向对比困难。如果你准备进入这两个方向，我建议开始之前就把评测协议想透，越早定下来，后面迭代越省事。

4. 跑通一个真机评测任务的完整实操流程

4.1 先把“成功”定义清楚

很多人第一次做真机评测，上来就开机采集数据，结果跑到一半发现连“什么叫成功”都没辩论清楚。这是最大的坑，没有之一。以“抓取积木放置到目标区”这个最简单的任务为例，协议至少要把下面几条写死：积木从哪个起始区域取，放到哪个目标区域，允许的最终位置偏差是多少厘米，积木在搬运过程中掉落后是否允许重新拾起，单次任务超时上限是多少秒。

我自己的习惯是把失败类型也提前定义好。比如“积木掉落”“错放区域”“超时”“机械臂碰撞桌面”各自算一种失败，这样评测跑完能直接生成失败模式分布，而不是只有一个干巴巴的成功率。有一次我们团队一个同学报出来的成功率和另一个同学复测的结果差了一截，究其原因，一个人把“掉落但最终放对了”算成功，另一个人算失败。这就是协议不清晰造成的后果。记住：成功标准越量化，评测结果越可信。

4.2 数据采集与策略部署

定义好任务之后，进入准备阶段。首先是相机标定，这一项做得不扎实，后面所有结果都不可信。真机评测不是只标一次就完事，每次实验前都应该快速验证一下标定误差。我见过一个项目连续跑了一周评测，后来才发现侧视相机因为振动松了一点点，外参已经偏了，抓取成功率的下降根本不是策略问题，而是视觉坐标系漂了。

然后就是采集演示数据。任务不同，需要的演示数量也不同。桌面单臂操作，十个左右物体位姿变体、每种变体采集八到十条演示，总共百来条，基本够用；任务越复杂，演示数量要越多，还要刻意覆盖边界情况。接着部署策略模型，这里注意推理频率，控制器通常需要十赫兹以上的动作输出，推理太慢会让机械臂的动作断断续续，稳定性大打折扣。

严谨的做法是先做全流程安全检查：配置好关节限位、力矩阈值、急停开关，第一次上真机用低速度小幅度先跑通一次，确认没有致命问题再进入正式评测。安全评估不是浪费时间，真机实验出事故一次，损失足够买回十倍的检查时间。

4.3 评测回合设计与指标计算

评测回合设计决定了结果的说服力。桌面操作任务建议跑二十到三十个有效回合，初始位姿在协议允许范围内随机变化，随机种子提前固定。移动操作和人形运动任务因为耗时长、疲劳效应明显，回合数可以适当减少，但每个回合要包含足够多的状态变化。

成功率直接按“成功回合数除以有效回合数”来算，但要注意有效回合的判定：如果起始状态不满足协议要求，这一回合不能算入分母。这个细节经常被忽略，导致数字虚高。除了成功率，我还强烈建议记录中位数耗时、方差、最长单次耗时和失败模式分布，这些信息比单纯一个成功率更能说明策略的稳定性。

评测过程中保留录像和思考日志，每一回合结束记录一个状态标签。这些记录在结果分析时是珍贵的资产。有一次我们花了两天跑完一轮评测，最终成功率不错，但录像回放时发现机器人在某个特定位姿下总是停顿两三秒，问题出在感知延迟上，不靠录像根本定位不出来。

5. 常见问题与排查技巧实录

5.1 现象：仿真满分，真机“全军覆没”

这是最多人问的问题。策略在仿真里成功率高得吓人，上真机却几乎做不成任何一个任务。按照我的经验，先不要怀疑策略本身，而是把问题拆成“感知”和“执行”两段来定位。

最简单的排查手法是给策略喂一个“上帝视角”：人工输入目标物体的真实位姿，跳过视觉识别这一步，直接看后续规划执行能不能完成。如果这一步能跑通，说明问题出在视觉感知，比如光照变化、材质反光、遮挡导致识别不准；如果这一步都跑不通，那问题就在运动规划或控制层面，比如末端轨迹规划碰壁、力控参数不合适。

还有一种情况是动作空间不匹配。仿真里常用的关节速度命令直接搬到真机，会因为控制器频率不足而产生抖动。把动作输出频率降下来，在相邻动作之间做插值平滑，往往就能改善很多。

5.2 现象：同一策略昨天好用今天翻车

真机评测最让人抓狂的就是“昨天还好好、今天突然不行”。这种不稳定性通常不是代码变了，而是环境变了。桌面磨损改变摩擦力，窗外阳光改变了光照分布，电池电量改变电机响应，甚至前一晚有人拧过相机支架的螺丝，都会影响结果。

应对办法是把环境变量尽量锁死：固定光源的位置和亮度，固定窗帘，使用同一批物体，每天正式评测前先跑一个“冒烟测试”任务，确认硬件状态正常。冒烟测试选最简单的一个任务，成功率应该接近百分百，如果连这个都掉链子，说明硬件或标定出了问题，先别跑正式评测。

长期跑评测的记录习惯也很重要。每次评测都记下日期、硬件固件版本、标定误差读数、环境温度和湿度，这些看起来琐碎的数据，在排查隐性问题时价值极大。我在跑人形运动评测时，就是因为注意到“上午成功率普遍比下午高”，才发现是电池在下午电压低、电机输出下降了，调整充电策略之后数据明显稳定下来。

5.3 现象：外人代跑评测，结果对不上

当你把自己的策略交给别的团队评测，或者反过来替别人跑评测，很容易出现“同样的协议、不同的结果”。根源几乎都是任务定义的隐性歧义。

“把积木放好”到底是放正就算好，还是需要对齐到某个刻度线？“搬运过程中掉落但最终成功”算不算成功？“初始位姿随机”的随机范围具体是多少？这些如果只靠口头约定，每个人都会按自己的理解执行。解决办法只有一个：把评测协议写成文档，配上初始位姿照片、物体编号、失败类型清单，以及允许人工干预的环节说明。人工干预只能出现在回合之间的重置阶段，绝对不能出现在任务执行过程中。

我还建议双方先各跑一个简单基线任务做校准，比如“空抓”任务，也就是让机器人执行一个固定轨迹，确认两边硬件状态和标定误差在一个范围内。基线对不上，正式评测就没有意义。

6. 怎么选一个适合自己的真机评测基准

6.1 先看目的再看成本

选基准之前先想清楚你评测是为了什么。如果是给论文提供对比结果，那就优先选能够跟已有结果对齐的路线，任务和指标越标准化越好；如果是给产品做交付验证，那就应该贴合真实使用场景，移动操作或双臂协同更合适；如果是教学和带着新人入门，低成本桌面单臂路线性价比最高。

成本是个很实际的约束。机械臂、相机、夹具、物体套装、场地空间、安全防护，这些都要花钱。桌面单臂方案总投入最低，团队成员一周左右就能搭起来；双臂方案成本高一些，主要是两条臂的协调和示教设备的开销；移动操作再加一台底盘，场地要求也直线上升；灵巧手和人形方案无论是硬件价格还是调试时间，都是另一个量级。选型时把硬件成本和人力成本一起算进去，别只看设备价格。

还要想清楚一个现实问题：你团队里有没有人能力足够稳定地跑完整轮评测并维护记录。很多项目买了高配机器人，结果没人会做系统性的评测流程管理，最后还是只靠几次随机演示撑场子。工具可以买，流程只能靠人扛。

6.2 一张表帮你做决策

下面这张表是我自己整理做选型参考用的，按评测方向、适合人群、硬件门槛、指标重点和容易踩的坑五个维度列了一下，仅供参考。

6.3 一个稳妥的起步路径

如果你还拿不定主意，我的建议是从桌面单臂操作开始。先把一套完整的评测流程跑熟，包括任务定义、数据采集、策略部署、回合设计、结果记录和失败分析。这个过程中你积累的流程经验，后面迁移到双臂、移动操作时都是通用的。

等你觉得桌面任务的瓶颈已经不在流程而在策略本身，再考虑升级到双臂或移动操作。那种一上来就买最贵的人形平台、打算直接做全套运动的做法，我身边见过的成功案例真的不多。硬件越复杂，评测环境的干扰因素就越多，越难判断策略的真实水平，反而会拖慢研究节奏。

最后再分享一个小技巧：无论选哪条路线，正式开测之前先用熟练操作者跑一遍示教，记录人类水平的上限。这个基线数据非常关键，它能告诉你任务的真实难度天花板在哪，也能在后期判断机器人策略是否还有提升空间。我见过不少团队，机器人跑了百分之八十的成功率就觉得不错了，结果一对比人类水平百分之九十五才发现远没到极限。真机评测这件事，比的从来不只是技术的跑分，而是你对“任务到底难在哪”这件事有没有足够清晰的认知。