企业官网建设流程全解析

如果让我给刚接触强化学习的同学提一条建议，我不会推荐先去啃砖头教材里的公式推导，而是建议先建立一张属于自己的"算法地图"。因为强化学习这个方向最劝退的地方，不是某个算法有多难，而是算法太多了：DQN、PPO、SAC、TD3、IQL、MADDPG、MAPPO……每个都号称"SOTA"，每个都有一堆变体，翻两天资料下来，大部分人连"该用哪个算法解决我的问题"都判断不了。

这份笔记是我在实际项目里反复调参、踩坑之后整理出来的，把强化学习的数学框架、DQN和PPO两个主干算法的来龙去脉、训练曲线的正确分析方式、机械臂从仿真到真机过程中和摩擦力有关的那些坑，以及离线强化学习和多智能体算法的选型逻辑串在一起。适合已经知道强化学习大概是什么、但还在"算法选择"和"训练调参"阶段挣扎的朋友。

1. 强化学习先要建立一张"算法地图"：MDP、贝尔曼方程与三个判断维度

1.1 从MDP开始理解智能体与环境的对话

强化学习问题本质上是一个马尔可夫决策过程（MDP），由五元组组成：状态集合 S、动作集合 A、状态转移概率 P、奖励函数 R、折扣因子 γ。智能体在每个时间步观察状态 s_t，根据策略选择动作 a_t，环境返回下一个状态 s_{t+1} 和奖励 r_t，目标是最大化期望累积折扣回报 G_t = Σ γ^k r_{t+k}。

很多初学者把注意力全放在神经网络结构上，忽略了MDP本身。实际上，你面对的实际问题能不能用强化学习解决，第一步就是能不能把它抽象成标准的MDP。我见过不少项目，连状态定义都没想清楚，就急着套PPO，最后训练出来的策略看起来在涨，换到新场景就崩。状态设计至少要满足马尔可夫性，即当前状态已经包含了决策所需的全部信息，否则后续所有计算都会失真。

折扣因子 γ 的选择也常被忽视。γ 越接近1，智能体越"有远见"，但价值函数的方差会变大，训练更不稳定；γ 太小，智能体只关心眼前收益，容易短视。机器人控制类任务我一般从 0.99 起步，简单栅栏世界 0.9 就够用。这个参数会让同样的算法跑出完全不同的曲线，值得每次实验都记入配置。

1.2 价值函数、策略与贝尔曼方程的关系

理解了MDP之后，第二个绕不开的概念是价值函数。状态价值 V(s) 表示从状态 s 出发，按当前策略行动能够获得的期望回报；动作价值 Q(s,a) 表示在状态 s 执行动作 a 之后再按当前策略行动获得的期望回报。两者满足贝尔曼方程：

V(s) = Σ_a π(a|s) [R(s,a) + γ Σ_{s'} P(s'|s,a) V(s')]

Q(s,a) 的贝尔曼方程也是同理。这个方程最核心的思想是"当前价值可以用下一步价值来表示"，正是这个自举（bootstrapping）结构，让强化学习算法可以逐步逼近真实价值函数，而不是等到轨迹结束才开始学习。

我个人的理解习惯是把贝尔曼方程当成"动态规划"的一种泛化：如果环境模型已知，可以直接用值迭代求解；模型未知，就通过采样来估计。DQN系列本质上是"用神经网络代替 Q(s,a) 表 + 用经验回放近似贝尔曼更新"，而策略梯度系列则是"直接优化策略本身"来判断哪些动作值得增加概率。理解到这一层，后面看任何算法都不会迷路。

1.3 把算法分成三类：基于值、基于策略、Actor-Critic

我在笔记里通常把强化学习算法分成三类，分类维度不是"新旧"，而是"优化对象"：

PPO 同时被归到策略类与 Actor-Critic 类，是因为它有一个 Critic 网络用来估计优势函数，但核心优化目标仍然是策略网络。理解 Actor-Critic 的关键在于"两个网络各司其职"：Actor 决定怎么动，Critic 判断动得好不好。

1.4 如何选择：动作空间、采样成本与数据来源

拿到实际问题，我建议按三个维度做选型判断，比看论文里的 benchmark 表格有用得多。

第一个维度是动作空间。如果是离散动作，比如控制一个开关、选择一份调度方案，DQN 及其变体简单够用。如果是连续动作，比如机械臂关节力矩、车辆转向，DQN 基本不可行，必须直接上连续控制算法，主流是 PPO、SAC、TD3。

第二个维度是采样成本。仿真环境里可以并行采样百万步，直接用 PPO 完全没问题；真实机器人上每步都要耗费时间且可能损坏硬件，需要优先考虑样本效率更高的算法，SAC 通常比 PPO 更省样本，但超参数更敏感。

第三个维度是数据来源。如果只能使用收集好的历史数据，不能与环境在线交互，那就属于离线强化学习范畴，要选 IQL、CQL 这类专门处理分布外动作的算法。很多工业场景恰恰是这种，因为生产线上不允许你随便试验新策略。

2. DQN及其变体：为什么经验回放和目标网络缺一不可

2.1 从Q表到深度Q网络的跨越

经典 Q-Learning 的更新公式是 Q(s,a) ← Q(s,a) + α [r + γ max_{a'} Q(s',a') - Q(s,a)]。这里用一张表格记录每个状态动作对的价值。状态稍微复杂一点，比如一张 84×84 的 Atari 游戏画面，表格直接爆炸。

DQN 的核心贡献是用神经网络 Q(s,a;θ) 来逼近 Q 函数。网络输入是状态，输出是每个离散动作的 Q 值。训练过程看似简单：采样一条经验，计算目标 y = r + γ max_{a'} Q(s',a';θ⁻)，做一次梯度下降。但如果真这么训练，你会发现 loss 反复震荡甚至发散，原因有两个：相邻样本高度相关，破坏了独立同分布假设；目标值也在不断变化，等于"自己追着一个移动的靶子跑"。

2.2 经验回放与目标网络

DQN 引入的第一个机制是经验回放池。把与环境交互得到的四元组 (s, a, r, s') 存进一个循环队列，训练时从中随机均匀采样一个 batch。这样一来，相邻样本的相关性被打散，数据利用率也提高了。实现时值得注意的一点：回放池不要做得太大，我踩过容量设成 1e6 后老样本长期采不到、策略反而学不动的坑；Atari 级任务常用 1e5 或 3e5，如果你的状态维度不高，1e5 起步就够了。

第二个机制是目标网络，用一套参数延迟更新的网络 θ⁻ 计算 Q 目标，而不是直接用在线网络。每隔 C 步，把 θ 硬拷贝给 θ⁻；或者采用软更新 θ⁻ ← τ θ + (1-τ) θ⁻，τ 通常取 0.005 或 0.001。目标网络降低了目标值频繁移动造成的发散风险，这是 DQN 能稳定训练的命根子。

目标网络更新频率我建议记入实验记录。太高等于没有目标网络，太低则目标长期不更新，价值函数会滞后。我调试机械臂环境时发现硬更新每 1000 步一次往往比每 100 步稳定得多。

2.3 Double DQN与Dueling DQN到底改了什么

DQN 还有两个高频变体被论文大量使用。Double DQN 解决的是 Q 值过高估计问题。原版 DQN 在计算目标时直接取 max_{a'} Q(s',a';θ⁻)，噪声会让最大值被系统性高估。Double DQN 的做法是用在线网络选动作，用目标网络评估该动作的价值：a* = argmax_{a'} Q(s',a';θ)，y = r + γ Q(s',a*;θ⁻)。这个简单的"动作选择和价值评估解耦"在不少任务里显著改善了策略质量，几乎零成本，我建议直接作为默认配置。

Dueling DQN 则把 Q 值拆成状态价值 V(s) 和优势 A(s,a) 的和：Q(s,a) = V(s) + A(s,a)。好处是：在某些状态下，无论选择哪个动作都一样关键时，网络不需要为每个动作都维护一套独立的 Q 值；更新更高效。它的实现要点是最后做了优势中心化，避免优势函数在状态上飘移。

实际项目里，我通常 "Double + Dueling + 优先经验回放" 组合着用，但优先经验回放会引入额外的超参数 α 和 β，如果团队没有太多调参耐心，别一上来就加。

2.4 实操中常见的收敛漂移问题

DQN 家族训练时最典型的现象是：Q 值飞涨，但策略表现却没有变好。这时候先不要急着调网络结构，按顺序排查四件事：

• 奖励是否被裁剪到合理范围？我通常把即时奖励 clip 到 [-1, 1]，不然累积奖励尺度差异大，目标值大幅波动。
• 学习率是否过大？DQN 常见稳定学习率是 2.5e-4，哪怕 1e-3 也会在部分环境直接失败。
• 回放池大小是否合适？池太小样本相关性高，池太大旧策略数据过多。
• 目标网络更新频率是否合理？结合你的训练步数，通常每 500 到 2000 步硬更新一次。

额外提醒一个容易被忽略的坑：epsilon-greedy 的退火速度。如果 epsilon 从 1.0 掉到 0.1 只用了几千步，智能体可能在探索不充分的情况下就锁定了次优策略。建议设计一个简单的指数退火函数，让 epsilon 在训练中期才降到 0.1 附近。

3. PPO与策略梯度：从重要性采样到裁剪目标的工程智慧

3.1 策略梯度为什么方差大

策略梯度方法直接优化策略网络的参数 θ，目标是最大化 J(θ) = E[Σ_t γ^t r_t]。推导出的梯度是 ∇J(θ) = E[∇ log π(a|s) A(s,a)]，其中 A(s,a) 是优势函数，表示当前动作相比平均水平好多少。

为什么要减去 baseline？直接用累积回报 G_t 作为权重，梯度方差会非常大。比如某个状态无论选什么动作回报都比较高，策略梯度会因为回报绝对值大而大幅改变概率，但这些变化与动作好坏无关。减去状态价值估计 V(s) 后，只剩"这个动作比平均水平好多少"的部分，方差显著下降。这是所有 Actor-Critic 方法的理论基石。

即便有 baseline，策略梯度的方差依然比 Q 学习大得多，所以 PPO 才需要 GAE（广义优势估计）进一步平滑。GAE 用 λ 参数在偏差和方差之间做权衡：λ=0 时等价于一步 TD 误差，方差小但偏差大；λ=1 时退化为蒙特卡洛回报，偏差小但方差大。我的默认值是 λ=0.95，适合大多数连续控制任务。

3.2 PPO的核心：重要性采样与裁剪目标

PPO 解决了策略梯度一个老大难问题：在线性策略梯度（REINFORCE）中，每一轮采样出的数据用完就扔，样本利用效率非常低。理论上可以用重要性采样把旧策略采到的数据复用到新策略上，把目标改写成 J(θ) = E[ (πθ(a|s) / πθ_old(a|s)) A(s,a) ]，但如果不加约束，新旧策略差异一大，重要性比 r_t(θ) 会巨大，训练直接崩。

PPO 的工程智慧在于对目标函数做裁剪（clip）。它限制重要性比在 [1-ε, 1+ε] 范围内，当新旧策略差异超过阈值时，梯度不再继续"奖励偏离"，只保留安全方向的更新。标准的 PPO 目标是：

L_CLIP(θ) = E[ min( r_t(θ) A_t, clip(r_t(θ), 1-ε, 1+ε) A_t ) ]

其中 ε 通常取 0.2。这个裁剪看起来简单，实际效果极好，既保留了稳定性，又允许比 TRPO 更简单的实现。TRPO 需要求解带约束的优化问题，PPO 只需要做普通梯度上升。

3.3 训练流程与几个容易踩坑的超参

PPO 的训练流程可以用伪代码概括：

for iteration in range(total_iterations): # 1. 在环境中收集一批轨迹 # 2. 用当前价值网络计算 GAE 优势估计 # 3. 将数据打乱并切分成 mini-batch # 4. 对每批数据做多个 epoch 的梯度更新 # 更新 Actor: 最小化 -L_CLIP + coef * entropy_bonus # 更新 Critic: 最小化 MSE(当前回报 - V(s)) # 5. 清空当前批次数据

核心超参数按经验排序，重要性从高到低分别是：

• 学习率。PPO 对学习率很敏感，3e-4 附近是连续控制任务的常见起点，调大很容易出现策略崩坏，我一般只在 5e-5 到 5e-4 之间搜索。
• mini-batch 大小与每批训练 epoch 数。epoch 过多会让策略在旧数据上过拟合，导致策略分布和采样分布差距过大。默认 3 到 10 个 epoch，数据少时取小值。
• GAE 的 λ 与折扣 γ。λ 影响优势估计平滑度，γ 影响远见程度，两者尽量在任务确定后就固定，不要频繁改动。
• 熵系数。策略的熵 bonus 能鼓励探索，通常会随训练衰减；设得太大策略永远随机，太小容易过早收敛。默认 0.01 起步。

一个我经常在别人代码里看到的问题：对 advantage 做了归一化，但把 normalization 的均值和标准差往整个训练历史累积。这样早期和后期尺度不一致，优势估计会失真。正确的做法是在每个训练 batch 内做 norm，或者用一个滑动统计窗口。

3.4 训练曲线怎么看：均值、单次回报与置信区间

很多新手只看最终平均回报曲线，一路绿就以为训练成功了。我试过好几次，平均回报看似收敛，实际单个 episode 的回报剧烈震荡，机械臂末端已经撞到限位好几次。正确做法是同时看三样东西：

1. 单次 episode 返回值的原始曲线，观察方差。
2. actor 的熵曲线，判断策略是否过早确定性。
3. critic 的 loss 或价值估计曲线，判断价值网络有没有跟上策略变化。

更严谨的评估方式是跑多个随机种子，画出置信区间曲线。单一 seed 的结果几乎不能说明算法好坏，我之前排过两个算法，第一个算法单次实验比第二个高 30%，换三个 seed 之后两者几乎重叠，甚至第二个更稳。所以论文中的曲线基本都是多条 seed 取均值和方差。

用 Origin 画置信区间曲线时，我通常是这么操作的：

• 每个算法跑至少 5 个 seed，记录每个训练步的 reward。
• 由于不同 seed 的训练步长可能不一致，先插值统一到公共 x 轴。
• 计算每个 x 点上的均值与标准差，95% 置信区间可用 1.96*std/sqrt(N) 估算。
• 在 Origin 工作表里准备好四列：step、mean、upper、lower。
• 先画 mean 曲线，再选中 upper/lower 列，添加误差棒（Plot: Error Bar），或者在 Origin 的 Plot 里选择 Area 再叠加 Line。
• 如果嫌 Origin 麻烦，Python 里直接用 matplotlib 的 fill_between(x, lower, upper, alpha=0.3) 一行搞定。

有一点要强调：如果两个算法的置信区间有大量重叠，说明差异不显著，不要强行解读成某个算法更好。这个严格的统计意识在工科项目里非常加分。

4. 从仿真到真实机械臂：摩擦、延迟和reward设计的实战教训

4.1 为什么机械臂强化学习这么难

我最早做机械臂项目时，天真地以为在仿真里用 PPO 训练到 90% 成功率，搬到真机就能直接跑。结果真机第一次尝试，末端直接高速撞向目标附近的工作台，把我吓出一身冷汗。机械臂强化学习难，难在四件事叠加：

• 动作空间是高维连续的，通常是 6 到 7 个关节力矩或速度。
• 采样成本极高，真实机械臂一小时可能才跑几百个 episode。
• 仿真模型和真实系统始终存在差异，尤其是摩擦力、间隙、柔性。
• 安全约束严格，训练期间一次失败动作就可能损坏硬件。

因此机械臂项目几乎不能走"纯在线学习"路线。主流方案是先在 MuJoCo、Isaac Gym 这类仿真器里大规模训练，再用 domain randomization 或少量真机微调迁移。

4.2 摩擦：机器人强化学习最容易忽略的物理量

在仿真环境里，默认参数往往没有摩擦力或只有一个极小的线性阻尼。真实的减速器、电机、关节处存在明显的静摩擦（stiction）和库仑摩擦，方向切换时还有不连续的摩擦跳变。

这个差异在运动方向频繁切换的任务里会被无限放大。强化学习策略在仿真里学到的往往是"用微小速度试探、随时反向修正"的控制方式。到真机上，由于静摩擦的存在，微小速度指令可能根本驱动不了关节，而一旦突破静摩擦，关节又突然窜动。我在项目里观察到策略在零速附近反复震荡，表现为高频抖动和异常发热。

解决办法有两步。第一步是在仿真里建立更真实的摩擦模型，通常用库仑-粘性摩擦近似：

τ_friction = f_c * sign(velocity) + f_v * velocity

仿真中可以加入静摩擦项，但数值求解会变慢，许多引擎需要用支持"弹性-塑性摩擦"或自定义摩擦项的求解器。第二步是 domain randomization，在每次训练 episode 开始时从分布中随机采样摩擦系数。例如库仑摩擦系数 f_c 在 [0.1, 0.4] 之间随机，粘性系数 f_v 在 [0.01, 0.05] 之间随机。仿真里"不精确但随机"，比"精确但不随机"迁移效果更好。

另外，真机调试前可以做一次简单的摩擦辨识：让机械臂空载以不同速度匀速运动，记录所需力矩，再拟合力矩-速度关系曲线。这个数据能帮你把仿真摩擦区间校准到真实范围内，而不是瞎猜。

4.3 reward 设计的两个原则

reward design 是机械臂强化学习里最容易被忽视的课题。我总结出两个必须遵守的原则：

第一个原则是"势能函数塑形"。用距离差 r_t = d_{t-1} - d_t 作为奖励，比用距离绝对值要稳定得多。只给 -distance 奖励时，智能体发现"离得越远惩罚越大"，在 Epic 场景里反而可能学习绕远路来降低瞬时惩罚的方差；而势能塑形在理论上不改变最优策略，实际训练也稳定得多。

第二个原则是"明确惩罚每一次危险交互"。末端速度过大、关节力矩超过额定范围、末端离目标过快，这些都要有对应的惩罚项。很多失败项目只给"到达目标"的正奖励，稀疏奖励让智能体很难学到安全动作。我在任务里常用：

r = α1 * (d_{t-1} - d_t) + α2 * (-|τ| - τ_max 的越限惩罚) + α3 * (-末端速度的平方) + terminal_bonus

α1 到 α3 要按任务手动调比例。我通常先只保留距离奖励跑通，再把安全和平滑项逐步加进来，避免一次引入太多项后不知道是哪里把训练带崩。

4.4 从仿真到真机的迁移策略

仿真到真机（sim-to-real）有两条路线：零样本迁移和真机微调。零样本迁移靠的是 domain randomization 和随机化视觉/物理参数，让策略见过足够多变的动态环境；真机微调则是带着安全限制在真实系统上训练少量步数继续优化。

实际项目中我推荐组合使用：仿真里加入摩擦、质量、延迟、观测噪声的随机化，训练一个鲁棒策略；真机上先用 PID 或位置控制确保基本安全，再逐步切换强化学习策略输出，增加力矩限幅。真机微调的学习率一定要比仿真小一个数量级，因为真机采到的数据数据量少且噪声大，学习率一大直接破坏已有策略。

还有一个训练技巧值得记下：动作重复（action repeat）。策略每决策一次，底层控制器把动作重复执行 K 次，K 通常取 5 到 10。这相当于以更低频率做决策，降低了动作延迟带来的非平稳性，也给底层硬件更多响应时间。真机的关节速度控制器频率一般是 100Hz 以上，策略决策频率 10Hz，重复 K 次正好匹配。

4.5 安全限位与状态设定建议

最后，无论是仿真还是真机，机械臂强化学习都要有硬限位保护。在仿真里把关节角度、角速度、力矩全部加上约束，超限的 episode 直接终止并给予大惩罚。真机端必须设置独立的紧急停止系统和关节软限位，优先级高于策略输出，和训练算法完全解耦。

状态设计我建议至少包含：关节角度、关节角速度、末端位置、末端速度、目标位置与末端的相对坐标、上一时刻动作。把上一时刻动作放进观测，能有效缓解实际控制中的延迟问题，因为策略可以从"上一次自己做了什么"推断当前系统的响应阶段。这个经验在几篇机器人强化学习论文里也见过，亲测效果明显。

5. 离线强化学习与多智能体：IQL、MADDPG、MAPPO的选择逻辑

5.1 离线强化学习的核心问题：分布外动作

很多工业场景不允许智能体在线试错，只能从一个固定数据集中学习，这就是离线强化学习。离线强化学习的首要障碍是"分布外动作的高估"：当数据集中没有某些动作的样本时，学习的 Q 网络会对这些未见过的动作给出极高却不真实的 Q 值，策略一旦选中它们，价值函数就崩了。

早期直接把 DQN/PPO 用在离线数据上是行不通的，因为标准 Q 学习更新里的 max_{a'} 会不断访问分布外动作的价值。离线强化学习算法要做的事情就是"约束价值估计对未知动作的过度乐观"。

5.2 IQL的解决思路：不做最大化，用期望分位取代

IQL（Implicit Q-Learning）是一个我比较推崇的离线算法，它实现简单、计算开销小，在不少基准上表现和复杂算法打平。IQL 的核心思路是：不再计算 max_{a'} Q(s',a')，而是只利用数据集中真实出现的动作来更新价值函数。

具体做法是先学一个 Critic V(s)，然后用 expectile regression（分位回归的一种）拟合 Q 值和 V 之间的关系。直观理解是：V(s) 取的是"数据集里所有动作价值的分位数"，而非最大值。这样策略在训练时只提升数据中出现过的、高价值动作的概率，避免了 OOD 动作的高估。

使用 IQL 时要注意它的超参数 expectile τ，τ 越接近 1，优化越激进，但也越容易高估；默认值 0.7 或 0.8 是常见选择。如果你的离线数据集质量参差不齐，先做数据清洗和奖励裁剪再训练 IQL，效果好很多。

5.3 MADDPG：多智能体环境下的集中训练分散执行

多智能体强化学习比单智能体难在环境同时受多个策略影响，每个智能体看到的奖励和状态都在变化，标准单智能体算法在非平稳环境下会学到崩溃。

MADDPG 是目前最经典的多智能体算法之一，结构上是 DDPG 加上"集中训练、分散执行"（CTDE）框架。训练时，每个智能体的 Critic 输入全部智能体的观测和动作，从而知道整个环境的联合状态；执行时，Actor 只依赖自身观测，不依赖其他智能体信息。这解决了"每个智能体把其他智能体当作环境一部分"造成的非平稳问题。

如果你要控制多个机械臂协作，且智能体是同构的，MADDPG 可以归为一类基线。但它在异构任务里收敛速度偏慢，动作空间维度翻倍会让 Critic 的输入维度过大，训练样本需求成倍上涨。

5.4 MAPPO：PPO的多智能体改造

相比于 MADDPG，MAPPO 在近年更受欢迎，尤其在星际争霸、足球、多机器人协作等任务上。它的核心思路非常简单：把 PPO 直接用到CTDE 框架下，每个智能体训练一个策略，但 Critic 接收全局信息，且多个智能体共享策略参数。

MAPPO 能成功的关键不是"加了一个全局 Critic"，而是几个工程细节：共享参数但不同智能体身份用 one-hot embedding 区分；对每个智能体的 advantage 做归一化；训练时把多智能体数据混合成一个 batch；价值函数基于全局状态给出更稳定的估计。如果不用这些技巧，MAPPO 在很多任务里和普通 PPO 没太大差别。

选型上，我的建议是：智能体之间同构、共享观测结构，优先试 MAPPO，它调参简单、稳定；异构明显或需要个体差异化行为的任务，再考虑 MADDPG 这类独立 Actor 的方法。

5.5 离线、多智能体与新的方向：TRL和基于模型的强化学习

顺着离线强化学习的思路，还有一个融合多智能体与离线的方向值得关注：离线多智能体强化学习，直接在多智能体收集的离线数据上训练，逻辑就是上面两者的叠加，难度更大但很有工业价值。

再往前沿看，TRL（Transformer Reinforcement Learning）这个概念是强化学习和语言模型结合的具体库方案，把大模型当成策略网络，把 text 生成序列当成动作，训练目标是用强化学习反馈微调模型对齐人类偏好。虽然和我做的机械臂项目完全属于两个领域，但它的算法核心仍然是 PPO，只是把"状态"换成了 token 序列，把"动作"换成了下一步 token。理解 PPO，对理解这类工具会有很大帮助。

基于模型的强化学习则是另一个分支，用一个世界模型来模拟环境动态，智能体大多时候不跟真实环境交互只跟世界模型交互，大幅降低采样成本。如果预算紧张、真机训练昂贵，我会优先考虑先用世界模型预训练一份策略，再用少量真机样本校正，这也是仿真到真机自然的延伸方向。

最后说一个我自己的体会。搞强化学习，最怕的不是数学看不懂，而是"代码能跑、曲线在涨，但你看不懂它在学什么"。我踩过很多次这样的坑：单次实验表现好，换 seed 就翻车；平均回报收敛，但单 episode 还在剧烈震荡；仿真顺利，真机直接爆炸。所以后来我做任何强化学习实验，都会强制自己做好三件事：多 seed 取置信区间；同时观察 reward、entropy、critic loss；任何改动只动一个变量。这套笔记里的很多东西，其实都是我一遍遍调参、一遍遍记录曲线得出来的教训。希望它能让你少走一些弯路。