企业官网建设流程全解析

写在最前面

版权声明：本文为原创，遵循 CC 4.0 BY-SA 协议。转载请注明出处。论文插图归原作者及出版方所有，引用已标明来源。

ECCV 2026 文本到动作生成与全身控制

让人形机器人“向前跳一下”，看起来只需要把一句话变成一段动作。但动作生成模型给出一串合理的姿态，并不意味着机器人的电机、关节和控制器能完成这段运动。起跳时如何发力、落地时能否站稳，都要由真实的身体来回答。

RLPF 提出了一种训练方法：让动作生成器接受机器人在物理仿真中的执行反馈，同时用文本与动作之间的语义匹配约束它。这样，模型既要考虑动作能否被执行，也要保留用户原本的要求。这篇论文的一个关键实验很能说明问题：只追求跟踪成功，模型甚至会学成“无论收到什么指令，都站着不动”。[1]

论文全名为《RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control》，由北京大学、BeingBeyond 等团队完成，收录于 ECCV 2026，正式版本于 2026 年 9 月 25 日上线。下面依据该会议版本，梳理它怎样把动作生成与全身控制连接起来，并讨论这条思路对启元 Q1 动作开发的启发。[1]

1 动作生成为什么需要机器人自己的反馈

文本到动作生成通常称为 T2M，即 Text-to-Motion。它接收自然语言描述，生成随时间变化的人体关节位置或姿态。例如，输入“原地上下跳”，模型就应生成准备、起跳、腾空和落地的连续动作。大量人体动作数据让模型学到了动作的外观和语言含义，但这些数据并不天然适合某一台机器人。[1]

这里有两层差距。人体与机器人的肢体比例、关节结构不同，需要先做动作重定向；而姿态能对应上之后，运动仍可能超过机器人的动力学能力。脚底接触地面的方式、身体重心的变化，以及动作切换的速度，都会影响控制器能否持续跟踪。仅凭动画看起来流畅，很难替代实际的物理检验。

图1 同一指令下的动作生成对比。每帧左侧蓝色人体为 Base Model，右侧粉色人体为 RLPF；上排对应原地跳跃，下排对应向前行走后停止。虚线框标出了基础模型的脚部漂浮或穿地现象。来源：论文原图2，书内第650页。[1]

图1把这种差距表现得很直观：基础模型生成的人体在某些帧中悬在地面上方，或脚部进入地面。对于视频和动画，这些现象是视觉瑕疵；对人形机器人，它们还意味着参考动作可能难以被身体实现。RLPF 因而把问题落实到一个具体对象上：在给定机器人和跟踪策略下，这段动作到底能不能完成。[1]

2 RLPF怎样把执行结果接回动作生成

RLPF 的全称是 Reinforcement Learning from Physical Feedback，可以理解为“基于物理反馈的强化学习”。它把预训练动作模型、机器人动作跟踪器和语义验证模块放进同一个训练流程。理解这套方法，关键是分清每个模块提供什么信息，以及这些信息最终更新了谁。[1]

图2 RLPF 的整体框架。左侧生成动作，中间完成本体重定向并通过跟踪策略在物理仿真中评估，右侧衡量文本与动作的语义一致性。两类奖励共同用于更新动作生成器。来源：论文原图1，书内第642页。[1]

先把连续动作变成可以学习的序列

论文采用 VQ-VAE 作为动作分词器，把连续人体动作编码成离散的 motion tokens。可以把这些 token 理解为动作片段的编码，而不是“挥手”“行走”这样的人工技能标签。模型先读入文本，再逐步预测动作 token，最后由解码器还原成连续动作。[1]

文中的生成骨干是 LLaMA2-7B。它输出的是动作表示，后面还需要重定向和低层控制，才能形成机器人关节的执行指令。这个分工保留了大模型处理语言和动作分布的能力，也给机器人控制器留下了处理身体状态与实时跟踪的空间。[1]

用目标机器人的跟踪结果给动作打分

生成的人体动作先经过重定向。作者先调整人体模型的身形参数，使其更接近目标机器人的比例，再对齐14组具有对应含义的关节位置，求出机器人的根部姿态和关节角度。这样得到的是供控制器追踪的参考运动，动力学可行性还需要继续验证。[1]

负责验证的跟踪策略采用教师与学生两阶段训练。教师在仿真中利用更完整的状态信息，通过 PPO 学习跟踪动作；学生则在自己产生的运动状态上学习教师给出的关节目标位置，并去掉真机无法直接获得的特权信息。论文用这种可部署的学生策略执行候选动作，再根据执行结果形成物理反馈。[1]

高层生成器收到的跟踪奖励很直接：成功为1，失败为0。若机器人失去平衡，或实际状态与参考运动之间的位置偏差超过阈值，就判为失败。它衡量的是当前机器人与控制器对这段动作的执行能力，比单独检查脚是否穿地更贴近后续部署环节。[1]

让动作仍然对应用户的要求

物理奖励只知道动作有没有被成功跟踪，并不知道用户要的是跳跃还是站立。因此，RLPF 还引入了文本编码器和动作编码器，将两者投射到同一个特征空间。文本描述与生成动作越接近，语义得分就越高；论文具体使用特征距离的负平方作为这一奖励。[1]

两种信号通过加权求和共同参与训练：总奖励由跟踪奖励和语义奖励组成，各自带有权重。语义验证在这里是一个可用于优化的匹配分数。它的作用，是让模型在改善可执行性时仍保留文本要求。[1]

比较同一指令下的多个候选动作

动作生成器通过 GRPO 进行强化学习微调。对同一条指令，模型生成一组候选动作，分别计算跟踪奖励和语义奖励，再用组内相对得分判断哪些候选更值得增加生成概率。优化过程还使用裁剪与参考模型约束，限制更新幅度。[1]

这样，执行结果可以改变模型下一轮更倾向生成什么动作。这里的“反馈闭环”主要发生在训练阶段：生成候选、仿真执行、获得奖励、更新生成器。部署时如何根据周围环境规划任务、何时重试，以及是否在线更新模型，属于这篇论文之外的系统设计问题。

3 两类奖励各自解决了什么问题

主实验先看可执行性是否真正改善

普通 RLPF 的主要评估使用 AMASS 动作捕捉数据。作者先在 IsaacGym 中训练和评估，再将策略迁移到 MuJoCo，检查换一个仿真器之后是否仍能跟踪生成动作。表1选取了原论文中的主要对照结果。[1]

阅读这些数字时，需要区分三个维度：SR 是执行过程中既未摔倒，也未发生严重跟踪失败的比例；R@1 是文本与动作的检索匹配指标，越高越好；FID 衡量生成动作与真实动作在特征空间中的分布差异，越低越好。后两者用于评估生成质量，不能直接当作机器人完成自然语言任务的比例。[1]

表1 AMASS 上的动作生成与仿真跟踪结果

来源：论文表1，书内第648页。SR由原表小数换算为百分比。LangWBC直接预测动作，其高层生成指标不适用。RobotMDM在相同LLM骨干上改造；PhysDiff、LangWBC与其他方法的结构并不相同。[1]

相对基础模型，RLPF 的 IsaacGym 跟踪成功率从83%升至95%，增加12个百分点；MuJoCo 从85%升至94%，增加9个百分点。同时，R@1 从0.47提高到0.50。这支持作者的核心判断：执行反馈能够改善可跟踪性，同时维持较好的文本与动作对应关系。[1]

这组比较还说明，简单保留能跟踪的数据再做监督微调，收益与 RLPF 并不相同：SFT-Filter 的两项 SR 分别为85%和87%。不过，RLPF 也没有包揽全部生成指标最优，例如 SFT-Filter 的 FID 略低。更准确的理解是，RLPF 在这组实验中取得了更好的生成质量与执行能力组合，优势尤其体现在跟踪成功率上。[1]

跟踪成功率达到99%时发生了什么

消融实验比单纯列出最高分更能解释方法。作者分别拿掉物理跟踪奖励和语义验证，观察生成质量与执行能力怎样变化。结果见表2。[1]

表2 去掉不同奖励后的变化

来源：论文表3，书内第651页。这里的SR仍是跟踪指标；R@1与FID分别衡量语义匹配和动作分布质量。[1]

去掉物理奖励后，文本匹配指标仍能维持，但跟踪成功率降到50%。这说明动作在语义空间里对应得上，并不能替代机器人执行层面的检验。去掉语义验证则走向另一个方向：跟踪成功率升到99%，R@1却跌到0.07，FID也大幅恶化。[1]

作者在正文中解释，后者退化成了面对不同指令都生成站立动作。站立容易被跟踪，所以它能拿到很高的物理奖励；但当指令要求跳跃时，这样的输出显然丢掉了任务含义。对开发者而言，这个结果提醒我们：一个局部成功指标可以持续变好，而系统离用户目标越来越远。[1]

RLPF 用两类奖励共同约束这种偏移。物理反馈回答“这段动作能否由身体完成”，语义反馈回答“生成的还是不是用户要求的动作”。两者需要一起观察，单独把某一项分数推高，无法完整衡量文本驱动控制的效果。

4 控制器能力不足时让两端一起进步

普通 RLPF 保持跟踪策略不变，只更新生成器。但一次跟踪失败可能有不同原因：动作确实不适合目标身体，也可能是动作原本有机会执行，只是当前控制器还没有学会。若始终把固定控制器的能力当成边界，生成器也会受到它的限制。[1]

正式版本进一步提出 Hierarchical RLPF，即分层协同训练。它交替完成两件事：当前跟踪器提供奖励，更新动作生成器；随后利用当前生成器在训练中采样出的动作，更新跟踪器。两步完成一次算一轮迭代。生成器为控制器提供新的训练动作，控制器再向生成器提供更新后的执行反馈。[1]

作者在 MotionX 的行走子集 MotionX-W 和跳跃子集 MotionX-J 上评估这种迭代。相比动作捕捉数据，论文将这类非动作捕捉来源的数据视为质量更有挑战的场景，适合检查生成端与执行端能否共同改善。[1]

表3 分层协同训练过程中的仿真跟踪与语义指标

来源：论文表2，书内第649页。行走对应MotionX-W，跳跃对应MotionX-J。SR由原表小数换算为百分比。[1]

到 Iter3，行走跟踪成功率从56%提高到93%，增加37个百分点；跳跃从36%提高到84%，增加48个百分点。语义指标大体保持在原有水平，但并非完全不变：行走 R@1 从0.41变为0.39。把这两类指标放在一起，才能看出迭代获得了什么，又付出了多大代价。[1]

还有一个值得追问的问题：两个模块是否只学会了彼此配合？作者为此做了两组拆开评估。一组让不同轮次的跟踪器跟踪未见过的参考动作数据；另一组把不同轮次的生成器接到同一个、未参与协同训练的独立跟踪器上。两组结果都随迭代改善，支持生成端和执行端各自获得了能力提升。[1]

5 从仿真到真机证据走到了哪一步

论文的证据依次覆盖动作生成、跨仿真器跟踪和真实机器人展示。MuJoCo 中的对比尤其有用：作者保持同一个跟踪策略，比较不同生成器给出的动作。基础模型产生的前跳或转体跳幅度、位移过大时，控制器容易失败；RLPF 生成的动作更适合该控制器执行。[1]

图3 MuJoCo 中的跟踪对比。上排是向前跳一次，下排是转体跳；每排左侧三帧为 Base Model，右侧三帧为 RLPF。两者使用相同跟踪策略。来源：论文原图3，书内第651页。[1]

这使读者能够把改善与生成动作本身联系起来：给同一个身体和控制器安排更合适的参考运动，可以提升最终执行表现。随后，作者在 Unitree G1 真机上展示了向前行走后停止、向前跳跃和转体跳等动作。[1]

图4 Unitree G1 真机动作序列。三排依次对应向前走后停止、向前跳一次、转体跳。该图展示文本到动作再到真实执行的可行性，图中机器人为论文使用的G1。来源：论文原图4，书内第651页。[1]

真机部分以动作序列和视频展示为主，95%与94%这两个定量结果仍分别属于 IsaacGym 和 MuJoCo。本文的核心证据支持文本驱动全身动作的可执行性改善，尚不能据此推断家庭操作、环境交互或长任务也获得了相同收益。[1]

方法还有表示层面的约束：当前实现使用有限的离散动作码本，强化学习能够探索的动作空间会受到码本限制。作者把扩展到连续表示更丰富的扩散式动作模型列为后续方向。截至2026年10月18日，项目公开仓库仍将代码标注为待发布。[1—2]

6 对启元Q1动作开发有哪些具体启发

RLPF 与启元的联系，可以直接落到全身动作开发。启元 Q1 探索版的官方介绍包含关节级运控接口；开发者社区提供 Q1 SDK、机器人描述包，以及用于关节运动、轨迹和控制逻辑验证的工具资料。它们为研究“生成动作能否被目标身体执行”提供了工程入口。[3—4]

先让动作适应目标本体

论文在 G1 上完成的动作，迁移到 Q1 时需要重新面对关节结构、身体比例和控制能力。Q1 的公开 URDF 资料包包含机器人描述、网格和 MuJoCo XML 等文件，可以作为核对本体模型、设计仿真验证的起点。[4]

从 RLPF 的方法可以推导出一个开发顺序：先确定动作表示如何映射到目标机器人，再观察当前控制器能否跟踪，最后才讨论怎样调整生成模型。这样，一次失败更容易被定位到本体适配、参考动作或跟踪控制，而不会把所有问题都归给语言理解。

分别记录指令含义与执行状态

启元公开接口说明列出了关节命令与状态反馈话题，例如 /aima/hal/joint/state。对于后续动作验证，可以把参考关节轨迹和实际状态放在一起，观察是否跟得上；同时保留原始指令，单独检查动作方向、类型和次数是否符合要求。[5]

还要区分接口受理和动作完成。截至2026年10月18日查阅的公开说明中，SetMcMotion 的成功响应表示请求已入队；同一节注明当前实现仅调用内置动作，未解析外部 model、resource 路径。这些版本信息决定了具体接入方式，不能仅依据字段名称就假定 RLPF 模型可以直接加载。[5]

这也让论文中的消融结果有了实际意义：如果只记录“接口返回成功”或“轨迹没有失败”，仍可能漏掉用户意图是否实现。执行状态与语义要求应分别保留，后续才能判断改进来自身体执行更稳定，还是动作被改得更容易了。

从一组能比较的动作开始迭代

如果围绕启元 Q1 探索版继续做验证，我会先选少量指令明确、幅度受控的动作，在同一仿真本体和跟踪器下比较候选轨迹，记录跟踪偏差、完成情况以及文本匹配。等设备到位并核对版本后，再检查这些动作在真实执行中的差异。

后续若要引入模型更新，比较条件也应尽量固定：更新生成器时保持跟踪器不变，更新跟踪器时保留一组未参与训练的参考动作，再用独立的指令集合检查语义是否偏移。这样，才能更清楚地判断模型是否学会了适应身体，而不是仅仅学会选择越来越保守的动作。

7 把身体的执行能力纳入生成过程

RLPF 最值得带回开发实践的认识，是动作生成应当持续面对目标身体的执行能力。仿真中的跟踪反馈提高了适合当前机器人与控制器的动作被生成的概率，语义匹配则帮助模型保留指令要求；分层协同训练则进一步让控制器参与能力扩展。

对准备开展启元机器人动作开发的人来说，可以据此把问题问得更具体：生成了什么动作，目标身体能否完成，完成的是否仍是用户要求的动作。这几项信息之间的对应关系，才是从文本生成走向可靠执行时值得持续积累的经验。

参考资料

[1] Yue J, Wang Z, Wang Y, et al. RL from Physical Feedback: Aligning Large Motion Models with Humanoid Control. ECCV 2026, LNCS 17001, pp.638–655. 正式出版日期 2026-09-25。本文方法、图像与实验数据依据该会议版本。 https://doi.org/10.1007/978-3-032-36984-0_35

[2] BeingBeyond. RLPF 项目官方仓库。代码发布状态查阅于2026-10-18。早期预印本为 arXiv 25.06，正式会议版本包含 Hierarchical RLPF。 https://github.com/BeingBeyond/RLPF

[3] 启元机器人 PRIMEBOT. 启元 Q1 探索版官方产品介绍。查阅于2026-10-18。 https://www.primebot.com/q1.html

[4] 启元机器人开发者社区. PrimeConsole 与 SDK 及机器人描述资料包。查阅于2026-10-18。 https://dev.primebot.com/download

[5] PRIMEBOT. q1-dev-guide 接口说明，参见设置全身动作服务与关节状态话题。查阅于2026-10-18，接口适用范围以配套机型和软件版本为准。 https://gitcode.com/primebot/q1-dev-guide

hello，这里是 晓雨的笔记本。如果你喜欢我的文章，欢迎三连给我鼓励和支持：👍点赞 📁 关注 💬评论，我会给大家带来更多有用有趣的文章。

原文链接 👉 https://blog.csdn.net/wtyuong/article/details/168347054，⚡️更新更及时。

欢迎大家点开下面名片，添加好友交流。