企业官网建设流程全解析

前阵子做Unitree H1人形机器人的速度指令跟踪实验，程序能在平地上走得像模像样，一旦切到崎岖地形就原形毕露，不是原地劈叉就是被小台阶绊倒。折腾了一周之后我才意识到：问题不在策略网络，而在于我把地形、奖励和训练参数当成三个独立模块在调，它们其实是互相咬合的。这篇记录一下我在Isaac Lab里训练H1跟踪线速度、横移速度和偏航角速度指令的完整过程，包括环境搭建、地形生成、奖励设计、PPO调参和部署检查，重点讲踩过的坑和判断依据。

如果你之前只跑过四足机器人的RL训练，第一次转人形机器人会有一种“参数全都见过，但策略就是学不起来”的感觉。人形自由度更多、重心更高、落脚误差带来的惩罚更猛烈，所以本文也会专门讲观测缩放、奖励量级、地形课程这些容易被忽视的细节。适合正在做双足/人形机器人强化学习，或者准备在Isaac Lab里跑Unitree系列模型的朋友参考。

1. 为什么我不建议绕开Isaac Lab直接调H1的低层控制接口

1.1 选型时最在意的三件事：并行度、接触稳定性和资产适配

人形机器人的策略学习本质上要靠海量试错，单环境串行采样基本等不起。Isaac Lab基于GPU物理引擎，可以一次拉起上千个环境并行跑PPO，这个吞吐量是传统仿真器没法比的。我对比过MuJoCo和PyBullet：MuJoCo轻量、数值稳定，但大规模并行和地形随机化的生态支持得自己搭；PyBullet上手快，可接触力学的精度和人形双足高频接触场景不太够看。Isaac Lab的好处是底层物理、渲染、场景管理和RL训练框架已经串成一条链，直接写环境和奖励就能开跑。

另一个实际理由是资产适配。Unitree H1的模型在Isaac Lab生态里有现成的接入方式，关节名称、刚体属性、默认姿态都有人维护，省去了从URDF到仿真资产的转换工作。这不是说别的框架不能做，而是从“打开环境”到“跑起第一个PPO实验”的路径最短。

1.2 环境搭建：conda、Isaac Lab和rsl_rl

我用的环境配置大致是这样的：

conda create -n isaaclab python=3.10 conda activate isaaclab # 克隆Isaac Lab并执行自动安装脚本，会拉取匹配的Isaac Sim git clone https://github.com/isaac-sim/IsaacLab cd IsaacLab ./isaaclab.sh -i # 安装核心库和RL runner pip install -e ./source/isaaclab pip install -e ./source/isaaclab-tasks pip install rsl_rl

显卡方面，我的经验是显存12GB起步比较舒服。训练时如果开512个环境、观测维度30左右、网络两层MLP，显存占用大概在6到9GB。24GB显卡当然更宽裕，能多开环境、加更复杂的地形资产。CPU内存16GB以上，物理引擎的刚体数据和渲染资源也会吃一些内存。

这里说一个我自己第一次踩的坑：不要图省事直接用系统Python环境，conda隔离能救你于水火。Isaac Lab对torch、numpy的版本很敏感，系统环境里一旦有别的深度学习包，经常会遇到“编译通过、运行崩”的玄学问题。

1.3 为什么我把决策频率设为50Hz而不是240Hz

物理仿真步长我设置成1/240秒，这是为了保证接触稳定性和力矩计算的精度。但如果让策略网络也按240Hz推理，计算开销和训练时间都会直线上升，而且实机上H1的控制节拍也很难做到这么高。所以我只用240Hz驱动物理，策略推理频率设在50Hz，中间动作通过保持不变来近似。换句话说，每4到5个物理步才更新一次动作目标。

这样做的好处是训练速度明显提升，同时策略输出的动作变化更平滑，不会因为高频抖动把PD控制器逼出极限。后续如果要迁移到真实硬件，50Hz也是很多双足控制器常用的节拍，延迟补偿和插值都好安排。

2. 把Unitree H1模型接进来之前，先改对关节和驱动参数

2.1 模型资产里必须检查的三个地方

Isaac Lab里的H1资产一般会带默认关节配置，但我建议拿到手先检查三件事：关节名称和顺序、关节位置/速度极限、默认关节姿态。关节顺序直接关系到动作维度的映射，错了的话策略学得再好也跑不对；关节极限决定动作裁剪的边界，如果默认值比真实硬件更宽，仿真里能做的动作真机上可能做不了；默认姿态则影响到初始状态，H1如果初始膝关节角度不对，第一步可能直接跪地上。

我自己习惯先加载机器人，然后打印关节信息核对一遍：

for joint_name in robot.joint_names: print(joint_name, robot.joint_limits[joint_name])

核对关节之后，再确认自由度数量。H1是典型的人形结构，腿部左右各多个自由度，加上腰部关节，总自由度接近20个。动作空间我只需要控制腿部和腰部，手臂如果任务不涉及可以锁死或保持零位，这样能减小探索空间，训练收敛更快。

2.2 PD增益：不是越大越好

人形机器人关节驱动一般用位置控制，也就是目标位置作为动作输入，关节PD计算力矩。H1这类机器人的腿部电机力矩比较充裕，但仿真里如果把刚度设得过大，会出现高频抖动，甚至数值发散。我的初始参数大致是：腿部关节刚度在几百量级、阻尼在几十量级，腰椎刚度会让它略小一些，避免上半身太僵硬；关节力矩限制需要设置，防止训练初期策略乱给动作把关节力矩推到不真实的范围。

另一个容易被忽略的参数是armature，也就是电机转子和减速器的等效惯量。它虽然不直接决定目标位置，但会影响关节动力学。H1模型资产里如果缺少这个值，训练出的策略在动态步态上会偏“飘”。我一般会加一个较小的armature值，让关节响应更接近真实电机驱动下的延迟感。

2.3 动作空间用位置增量，别直接输出绝对位置

我采用的是“默认关节位置 + 增量”的表示。策略网络输出的小数值，经过scale之后叠加到参考姿态上，再作为PD控制器的目标位置传入关节。这样做的原因很简单：人形机器人需要一个基本站姿作为支撑，如果直接输出绝对关节位置，策略必须自己学会“先站住再走路”，探索效率会低很多。

增量的尺度我设为0.3到0.5左右，也就是允许关节在默认姿态附近偏离约30到50度，但不会大到让机器人摆出夸张姿势。训练中发现，动作增量过大会造成剧烈摔倒，过小又跟不上地形变化，0.4附近是个比较稳的起点。

3. 速度指令跟踪的观测、动作和奖励：第一版就要把目标拆清楚

3.1 观测空间设计

我一直把观测分成四大块：本体状态、关节状态、历史动作和速度指令。具体维度分布是：

• 机身线速度（x、y、z）和角速度（roll、pitch、yaw）
• 机身姿态的投影重力向量，用来感知机器人是否倾斜
• 所有控制关节当前角度与默认姿态的差
• 所有控制关节的角速度
• 上一帧动作
• 当前速度指令（前进速度、横移速度、偏航角速度）

直接把这些值拼起来扔给网络不是不行，但量纲差异会拖慢收敛。我做了缩放：线速度乘2.0，角速度乘0.25，关节速度乘0.1，关节位置差不做额外缩放。这样每个输入大致落在相近数值范围内，PPO的梯度更新更平稳。

速度指令的采样也很关键。我先给指令设置成均匀采样：前进速度在-1.0到1.0m/s之间，横移在-0.5到0.5m/s之间，偏航角速度在-1.0到1.0rad/s之间。如果只采正向速度，最后策略就只会往前走，横移和转向能力几乎没有。

3.2 奖励函数：先站得稳、再追速度

第一版奖励函数我按重要性排序，放一个参考权重表：

速度误差我用了二次项，也就是实际速度与指令差值的平方和。二次项的好处是误差大时梯度也大，策略会优先把离谱的偏差降下来；误差小时梯度平缓，不会在零点附近反复震荡。

姿态惩罚用的是机身倾斜角的平方，倾斜越小越好。人形机器人一旦机身倾斜过大，重心投影很容易跑出支撑多边形，接下来的步态基本上就是在“摔但还没摔”。力矩正则和动作平滑算是辅助项，权重不能太高，否则策略为了省力直接站原地不动，速度指令一个都完不成。

3.3 奖励尺度的陷阱

我见过很多人奖励函数写得花团锦簇，训练起来却不收敛，十有八九是不同奖励项量级差太多。比如速度误差值最大能到5.0，乘完权重是5.0；pose误差只有0.1，乘完权重是0.05。PPO的loss实际上被大项主导，小项起不到约束作用。

所以我训练时会盯一下每个奖励分量的均值，保证几个同类项的贡献在同一个数量级内。如果发现姿态惩罚完全被速度误差淹没，就把姿态权重提高；反过来如果策略学会了“完美站姿但不动”，就把速度误差权重提高一点。这个平衡只能靠日志判断，没有一套万能系数。

4. 崎岖地形的生成逻辑，比我想象中更影响收敛

4.1 第一版地形：随机高度场

Isaac Lab的地形系统可以按网格生成高度场，我给第一版设置了这样的参数：

terrain_cfg = { "num_rows": 10, "num_cols": 20, "width_per_row": 2.0, "height_scale": 0.05, "slope_threshold": 0.3, "terrain_type": "height_field", }

也就是每块地形大约2米见方，高度起伏在正负5厘米量级，整体坡度限制在30度以内。这样的小起伏看起来不起眼，但对双足机器人来说已经足够让脚底接触反力变得很不规律，比单纯斜坡难处理得多。

高度场生成时会叠加一些噪声函数，制造出碎石地面的效果。需要注意噪声的波长不能太小，否则高度场会出现尖锐毛刺，物理引擎计算接触时容易抖动，训练日志上表现为某几个环境突然出现NaN。

4.2 课程化地形：从平底到碎石坡

我一开始直接用中等崎岖地形训练，策略前两千步基本都在摔，日志里平均回合长度惨不忍睹。后来改成课程化地形，把难度分成了四档：

• 平地：验证基本步态和速度跟踪
• 微起伏（高度5cm以内）：让策略学会适应脚底不平
• 碎石坡：叠加斜坡和随机凹凸
• 混合地形：包含台阶、沟槽和随机障碍物

每一档地形占比会随训练进度调整。前30%训练步数主要在平地和平缓地形，之后才逐步加入更陡地形。课程切换的判据不需要太复杂，我用了平均回合长度和速度误差两个指标，连续若干次评估超过阈值就提升难度。

课程学习在人形机器人上几乎算必需品。因为摔倒样本在学习初期占了大多数，策略梯度会被“止损”类经验淹没，很难学到精细的落脚控制。先把基础步态学好，再接触复杂地形，效果会好很多。

4.3 地形不只是高度，还要随机制造摩擦和障碍

我在地形生成之外，还给每个环境随机分配了地面摩擦系数，范围从0.4到1.2。摩擦系数太低时脚底容易打滑，策略会变得保守；太高则可能学到过度依赖地面摩擦的步态，换到真实地面就不稳。同时随机化摩擦，能让策略学到“无论抓地力如何都要稳住脚步”。

障碍物方面，我不建议直接上大台阶。可以先在地面上撒一些随机小石块，用简单的几何体代替，训练稳定后再替换成复杂模型。对H1这类双足机器人，小块障碍物对落脚规划的挑战足够大，而且不会因为几何嵌入导致物理爆掉。

5. PPO训练参数与分布域随机化：三个坑让我改了三次训练脚本

5.1 基础PPO配置

我用的训练器是rsl_rl，配置大致如下：

ppo_cfg = { "seed": 42, "num_steps_per_env": 24, "update_epochs": 4, "num_mini_batches": 4, "learning_rate": 5e-4, "gamma": 0.99, "lam": 0.95, "clip_range": 0.2, "entropy_coef": 0.005, "max_grad_norm": 1.0, }

learning rate我用了从5e-4到1e-4的线性衰减。早期需要较大的步长去探索动作空间，后期用小步长稳定策略。entropy系数不要一开始就设成0.01，人形机器人动作维度高，熵太大会让策略持续乱晃；0.005起步比较稳，如果发现策略早熟（奖励不再增长）再适当调大。

5.2 坑一：一上来就用崎岖地形，策略根本学不起来

我曾在第4章之前直接铺了中等难度地形，结果训练一万步之后平均奖励还是负的。当时以为是奖励函数写错了，把地形改回平底之后，策略几百步就开始正常跟踪指令。原因很直接：初期策略还在探索“如何维持站姿”，同时面对地面不平、脚底打滑，摔倒概率太高，有效学习信号被淹没了。解决办法就是前面说的课程化地形，不让策略在“学走路”阶段同时处理“走稳”的难度。

5.3 坑二：训练中途loss变成NaN

某个版本我在跑了八千步之后，日志里loss突然变成NaN。排查下来是某几个环境里机器人以异常速度冲下坡，观测里的线速度和关节速度出现了量级很大的数值，后续误差项和惩罚项的梯度直接爆掉。

我把观测做了硬裁剪，速度超过一定范围直接截断；同时在奖励计算里对速度误差做了上限保护，避免单个极端值把loss带飞。另外，reward里如果有除以小数的操作，要特别小心除零和极小值放大。NaN问题靠“减小学习率”或者“换网络初始化”治标不治本，必须从数据边界上堵住。

5.4 坑三：策略只学了向前走，横移和转向几乎不学

跑通平地速度跟踪后，我发现前进指令跟踪得很好，但横移指令误差很大，转向也有明显滞后。看指令采样的分布，才发现横移和偏航角速度在每回合里出现概率虽然存在，但环境数量多时，策略很容易被“前进”这类主要任务主导，次要任务被无视。

解决办法不是在奖励里加大横移权重，而是调整指令采样分布：把横移和转向指令的概率提到和前进同等水平，并在每个训练回合内随机切换指令，而不是一整个回合只保持一个指令。效果立竿见影，横移误差曲线明显降了下来。

5.5 分布域随机化：质量、重心和机身惯量

地形只是域随机化的一部分。我在环境的reset阶段还会扰动机器人本体的质量、重心位置和机身转动惯量：质量按0.8到1.2倍随机缩放，重心在机身边缘几个厘米范围内随机偏移。这些扰动会逼迫策略学出更鲁棒的控制，而不是把某个刚体参数当成固定常数记忆进去。

有一点值得留意：重心偏移太小，起不到域随机化的作用；偏移太大，策略在零偏移的真实环境下反而失去调节余量。我测试下来，机身重心偏移不超过5厘米是比较安全的范围。

6. 从训练日志到部署评估：奖励高不等于跟踪好

6.1 日志应该怎么看

训练日志里最显眼的是总奖励曲线，但只看它容易误判。总奖励包含了各种正则项，曲线平滑上升可能只是策略学会了“少动作、少惩罚”，并不代表速度指令跟踪得好。我习惯额外记录几个子项：前进速度误差、横移速度误差、偏航角速度误差、平均回合长度。回合长度是个很关键指标——如果策略总在几步之内摔倒，回合长度会偏低；能走完全程，至少说明步态维持能力不错。

模型选择上，我不会直接选用总奖励最高的checkpoint，而是综合看速度误差最小的几个checkpoint，再用固定的验证地形集做一次离线评估。

6.2 把策略导出成可部署的模型

训练好的策略可以导出为TorchScript或者ONNX。我用TorchScript比较多：

import torch from rsl_rl.runners import OnPolicyRunner runner = OnPolicyRunner(env, ppo_cfg) state_dict = torch.load("checkpoint_5000.pt", map_location="cpu") policy = runner.get_inference_policy(device="cpu") # 实际部署环境里输入观测，输出动作 with torch.no_grad(): action = policy(obs_tensor)

导出之后，我在一个固定地形测试场景里加载策略，不给任何随机指令扰动，只输入一系列速度指令，看机器人能不能稳定跟踪完整个序列。这一步能暴露训练时被域随机化掩盖的问题，比如策略对固定初始姿态过度依赖。

6.3 sim-to-real之前必须过的三个检查

仿真里跑得稳，不代表能直接上真机。我习惯在准备迁移之前做三个检查：

• 控制延迟注入：在仿真里给观测加上随机延迟并让动作在若干步之后生效，如果策略还能维持稳定，迁移到真实系统会更有底气。
• 观测噪声测试：给机身速度和姿态观测加高斯噪声，观察策略容错能力。人形机器人对姿态噪声尤其敏感，预积分滤波不到位时容易翻车。
• PD参数对比：真机上的关节刚度、阻尼和仿真资产默认值往往有差异，迁移前至少要把PD参数范围拉到和真机一致再训练。

真机验证的话，务必要有悬挂保护、限速和急停开关。先用最低速度指令测试起立和踏步，再逐步加快。直接拿仿真策略全速跑，是对机器人和自己都不负责的做法。

7. 调试H1这类双足机器人时，我强烈推荐保留的三个习惯

第一，一定要把训练过程中的机器人轨迹回放录下来。只看指标曲线，你很难发现策略是不是在用某种奇怪姿势“混奖励”。录一段视频，观察脚步落点、躯干姿态和踝关节动作，很多问题一目了然。

第二，养成做单奖励项消融实验的习惯。把某个奖励项权重设成0，从头训练一小段，看看策略行为有什么变化。这个做法能帮你理解每个项到底在约束什么。比如我发现把动作平滑项去掉之后，训练虽然也能收敛，但步态会变得明显僵硬，这就说明了它的作用。

第三，地形可视化不要省。Isaac Lab自带的渲染功能可以直接看出地形高度是否是预期值，脚底接触是否正常。我在做课程地形时，就靠这个习惯发现一个地形块的坡度和设定值差了近三倍，原因是高度图噪声参数配错了。

调试Unitree H1这类高自由度人形机器人，本质上就是在奖励、地形、动力学参数和PPO配置之间来回拉扯。没有哪个参数组合是永远正确的，但如果你能把每一个改动的因果链条说清楚，训练收敛只是时间问题。希望这份记录能让你少走几段弯路。