企业官网建设流程全解析

CartPole 这个环境几乎是每个接触强化学习的人绕不开的第一道坎。倒立摆本身不复杂：一根杆子铰接在小车上，小车左右移动，目标是让杆子别倒。但真动手写代码的时候，很多人会卡在同一个地方——策略到底怎么评估？回报怎么算？为什么我写的蒙特卡洛版本跑了几千个 episode 还是学不出东西？这篇就围绕蒙特卡洛方法在 CartPole 上的完整落地过程展开，从回报设计、采样逻辑、策略改进，到实测中那些文档里不会写的坑，一次讲透。适合已经看过一点强化学习基础概念、但还没真正把一套算法跑通的人，也适合想回头把蒙特卡洛这条线彻底理清楚的老手。

1. 为什么 CartPole 是蒙特卡洛方法的天然试验场

1.1 这个环境的本质：一个有限步的 episodic 任务

CartPole 有几个非常关键的性质，决定了它和蒙特卡洛方法的契合度。第一，它是episodic 任务，每一局有明确的终止条件：杆子倾斜超过约 12 度，或者小车偏离中心超过约 2.4 个单位，或者步数达到 200（老版本）或 500（新版本）。这意味着每一局都会结束，而蒙特卡洛方法恰恰要求"回合必须终止"才能用完整回报做估计。这一点是它和时序差分最根本的分野——蒙特卡洛必须等一局走完，拿到真实的累计回报，才能更新价值。

第二，它的状态空间是连续的（四个维度：小车位置、小车速度、杆子角度、杆子角速度），但动作空间是离散的，只有两个：向左推、向右推。这个组合很有意思——动作少，策略可以很简单地表示；状态连续，又逼着你必须做离散化或者函数近似，不能像格子世界那样直接开一张表。对蒙特卡洛来说，最朴素的做法就是对状态做分桶离散化，然后维护一张"状态-动作"的价值表。

第三，它的奖励结构极其稀疏又极其简单：每存活一步给 +1，倒了就结束。没有中间奖励，没有惩罚。这种设计让回报的计算变得干净，但也埋了一个坑——回报的绝对值会随存活步数线性增长，如果不做折扣，数值会很大，价值估计的方差也会很吓人。

我一开始就是没想清楚这几点，直接照搬格子世界的蒙特卡洛代码，结果跑了一晚上，策略还是随机乱推。后来才明白，问题不在算法本身，而在于我对"episodic + 连续状态 + 稀疏奖励"这三者叠加后的采样效率估计得太乐观了。

1.2 蒙特卡洛和这个任务的气质匹配在哪

蒙特卡洛方法的核心思想可以用一句话概括：用一整局真实走下来的回报，去估计某个状态（或状态-动作对）的价值。它不需要环境模型，不需要自举（bootstrap），完全靠采样。这个特性在 CartPole 上体现得特别直观——你推一步，环境给你下一个状态和奖励，一局结束后你手里就有一条完整的轨迹，从这条轨迹里能反推出每个访问过的状态-动作对到底值多少。

对比一下时序差分：TD 每走一步就能更新，靠的是"当前奖励 + 下一状态价值的估计"来自举。自举的好处是方差小、学得快，坏处是引入了偏差，而且对价值函数的初始值敏感。蒙特卡洛则是无偏的，但方差大，必须等回合结束。在 CartPole 这种回合长度可能从十几步到几百步不等的任务里，方差问题会被放大——有的局十几步就倒了，回报是十几；有的局能撑到两百步，回报是两百。同一个状态在不同局里的回报可能差一个数量级，这就是方差。

所以选蒙特卡洛做 CartPole，本质上是在用"无偏但高方差"换"实现简单、逻辑清晰"。对于学习目的来说这笔买卖很划算，因为你能亲眼看到回报是怎么算出来的、价值是怎么更新的。但如果追求样本效率，后面肯定要往 TD 或者带基线的策略梯度走。这一点我心里一直有数，所以这篇的重点放在把蒙特卡洛这条链路彻底跑通、跑明白，而不是追求最快收敛。

1.3 先明确我们要实现的是哪种蒙特卡洛

蒙特卡洛方法本身有好几个变种，动手前必须选清楚，否则代码会写得很拧巴。主要分两个维度：

最终我落地的是首次访问、同策略、基于 ε-greedy 的蒙特卡洛控制。这个组合是教科书里最标准的版本，也是理解后续所有改进的基准。选它的理由很实在：首次访问只需要在一条轨迹里记录每个状态-动作对第一次出现的位置，后面的重复访问直接跳过，代码里一个set就能搞定；同策略意味着采样用的策略和评估、改进的策略是同一个，不用处理重要性采样那套权重，逻辑干净。

提示：如果你看到某些实现里对同一条轨迹里重复出现的状态-动作对反复累加，那是"每次访问"版本。两者在理论上都收敛，但首次访问的样本利用率略低、方差略小，初学阶段建议先用首次访问把逻辑理顺。

2. 状态离散化：连续空间落地的第一道关

2.1 为什么必须离散化，以及分桶的粒度怎么定

CartPole 的观测是四个浮点数，范围大致是：小车位置 [-4.8, 4.8]，小车速度 [-3.4, 3.4] 左右（实际会更大），杆子角度 [-0.418, 0.418] 弧度（约 ±24 度，但终止阈值是 ±12 度），杆子角速度 [-3.4, 3.4] 左右。这些值都是连续的，而蒙特卡洛的价值表需要一个可枚举的键。最直接的办法就是把每个维度切成若干段，用段索引组成一个四元组作为字典的键。

粒度怎么定？这是第一个真正的决策点。切太粗，比如每个维度只切 3 段，那总共 3^4 = 81 个状态，表达力太弱，杆子稍微偏一点就落到同一个桶里，策略根本学不出精细的控制。切太细，比如每个维度切 20 段，那就是 20^4 = 160000 个状态，蒙特卡洛靠采样去填这张表，绝大多数格子一辈子都访问不到，价值全是初始值，等于没学。

我实测下来比较稳的一组是：小车位置 6 段、小车速度 12 段、杆子角度 12 段、杆子角速度 12 段，总共 6×12×12×12 = 10368 个状态。这个量级对蒙特卡洛来说是可以接受的——跑几千局之后，高频访问的状态基本都能被覆盖到。角度维度切得细一点是有道理的，因为角度是决定"倒不倒"的最直接因素，分辨率不够的话策略对角度变化不敏感。

具体分桶的代码逻辑是这样：对每个维度给定上下界和段数，用np.linspace生成边界，再用np.digitize找到当前值落在哪一段。这里有个细节必须处理——超出边界的值要截断到边界内，否则digitize会返回越界索引，字典键就对不上了。CartPole 的速度维度实际可能超过理论范围，不截断的话会偶发索引错误。

import numpy as np # 每个维度的下界、上界、分桶数 bins = [ (-4.8, 4.8, 6), # 小车位置 (-3.5, 3.5, 12), # 小车速度 (-0.42, 0.42, 12), # 杆子角度 (-3.5, 3.5, 12), # 杆子角速度 ] def discretize(obs): idx = [] for value, (low, high, n) in zip(obs, bins): # 先截断，防止越界 value = min(max(value, low), high) # 生成 n-1 个内部边界 edges = np.linspace(low, high, n + 1)[1:-1] idx.append(int(np.digitize(value, edges))) return tuple(idx)

2.2 分桶边界的一个隐蔽陷阱

上面这段代码看起来没问题，但有一个非常隐蔽的坑：np.linspace(low, high, n+1)[1:-1]生成的内部边界，配合np.digitize的默认行为（right=False），会让最右端的值落到索引 n-1，这是对的；但如果你把上下界设得比实际观测范围窄，截断之后大量值会堆在边界桶里，导致边界桶的价值被严重平均化。

我踩过一次：一开始把杆子角速度的界设成 [-2, 2]，结果高速旋转的样本全被截断到两端桶，那两个桶里混了各种不同的真实角速度，价值估计完全失真，策略在杆子快速倾斜时反应迟钝。后来把界放宽到 [-3.5, 3.5]，问题才消失。经验是：分桶的上下界宁可放宽一点，让截断尽量少发生，也不要为了"看起来整齐"而收窄。截断是兜底手段，不是常规手段。

另一个相关的问题是角度维度。终止阈值是 ±12 度，约 ±0.209 弧度，但观测里角度可能到 ±0.418。如果你把角度界设成 ±0.209，那所有接近终止的状态都会被截断到边界桶，而这些恰恰是最需要精细区分的关键状态。所以角度界要设到 ±0.42 左右，让终止前的状态有独立的桶。

2.3 用字典还是用数组存价值表

状态离散化之后，价值表有两种存法：字典（键是四元组）或者多维 numpy 数组（形状是 6×12×12×12×2，最后一维是动作）。我两种都试过，说下真实感受。

字典的好处是灵活，不用预先分配，访问不存在的键时用defaultdict或者dict.get(key, 0.0)兜底就行。坏处是每次读写都有哈希开销，而且遍历所有状态做策略改进时不如数组方便。数组的好处是索引快、可以直接做向量化操作、内存连续；坏处是形状固定，分桶方案一改就得重新分配，而且 10368×2 个 float 也就 20 万字节左右，内存完全不是问题。

实测下来，数组版本在几千局的量级上明显更快，因为蒙特卡洛每局要更新几十到几百个状态-动作对，哈希开销累积起来不小。所以我最终用的是 numpy 数组，形状(6, 12, 12, 12, 2)，初始值全设 0。这里初始值设 0 是有讲究的——蒙特卡洛是首次访问、无偏估计，初始值不影响最终收敛（只要每个状态-动作对都被访问足够多次），设 0 最省事。但如果你用的是"每次访问"或者加了常数偏移，初始值的选择就会影响早期行为，这点要注意区分。

3. 一整局的采样与回报计算：蒙特卡洛的心脏

3.1 轨迹的采集与存储结构

蒙特卡洛的每一局，本质上是在采集一条轨迹：(s0, a0, r1, s1, a1, r2, ..., sT)。这里我用 0 基索引表示状态和动作，奖励用下一步的索引，避免混淆。采集的时候要按顺序把每一步的(状态, 动作, 奖励)存下来，因为回合结束后要从后往前算回报。

存储结构我推荐用一个列表，每个元素是(state_tuple, action, reward)。不要在这一步就急着更新价值，因为回报还没算出来。很多人图省事，走一步就用"当前奖励 + 之前累积"去更新，那是 TD 的思路，不是蒙特卡洛。蒙特卡洛必须等整条轨迹完整，这是它的定义决定的，不能偷懒。

采集循环里有一个关键点：ε-greedy 的探索必须作用在动作选择上，而不是状态上。具体做法是，以概率 ε 随机选动作（0 或 1），以概率 1-ε 选当前 Q 值最大的动作。当两个动作 Q 值相等时（比如初始全 0），要有一个确定的打破平局规则，否则行为不可复现。我一般用np.argmax，它在平局时返回第一个最大值的索引，也就是固定选动作 0。这个细节在调试时很重要——如果你发现前期策略总是往一个方向推，很可能就是平局规则导致的，不是 bug。

import random def choose_action(q_table, state_idx, epsilon): if random.random() < epsilon: return random.randint(0, 1) q_values = q_table[state_idx] # 长度为 2 的数组 return int(np.argmax(q_values))

3.2 回报的计算：折扣因子到底该不该用

这是蒙特卡洛在 CartPole 上最容易被忽视、又最影响效果的一个决策。回报的定义是G_t = r_{t+1} + γ·r_{t+2} + γ²·r_{t+3} + ...，其中 γ 是折扣因子。γ=1 表示不折扣，γ<1 表示越远的奖励权重越低。

在 CartPole 里，每步奖励都是 +1，所以如果 γ=1，那 G_t 就等于"从 t 时刻到回合结束还剩多少步"。这个量直接反映了"从当前状态继续走下去能活多久"，语义非常清晰。如果 γ=0.99，那远处的步数会被逐渐打折，G_t 会收敛到一个有限值（大约 100 左右），语义变成"折扣后的存活时长"。

我一开始用的是 γ=1，理由是"存活步数就是最直接的优化目标"。跑下来发现一个问题：不同局之间的回报差异极大（十几到两百），导致 Q 值的方差非常大，策略改进时经常出现"某个状态-动作对的 Q 值被一局超长回合拉得特别高，之后很久都降不下来"的现象。这就是高方差带来的估计不稳。

后来改成 γ=0.99，方差明显下降，收敛也稳了不少。原因很直观：折扣让远处的奖励权重衰减，一条两百步的轨迹对早期状态的价值贡献被压缩了，不会因为偶尔一局超长就把某些 Q 值顶到天上。代价是引入了轻微偏差（因为优化目标从"存活步数"变成了"折扣存活步数"），但在 CartPole 上这个偏差可以接受，因为杆子能撑过 100 步之后，再往后的边际收益本来就在递减。

注意：如果你坚持用 γ=1，那 Q 值的量级会到几百，学习率（步长）要相应调小，否则单次更新就会把估计值拉爆。这是很多人 γ=1 跑崩的直接原因。

3.3 从后往前算回报的实现细节

回报的计算必须从轨迹末尾往前推，因为G_t = r_{t+1} + γ·G_{t+1}。用一个变量G从 0 开始，倒序遍历轨迹，每次G = reward + γ·G，然后把 G 累加到对应的状态-动作对上。这个倒序累加是蒙特卡洛的标准写法，比正序算每个 G_t 再求和要高效得多，因为它是 O(T) 而不是 O(T²)。

首次访问的处理在这里体现：维护一个visited集合，倒序遍历时如果当前(state, action)已经在集合里，就跳过更新（因为我们要的是这条轨迹里第一次出现的位置的回报，而倒序遍历时最后遇到的才是正序的第一次）。等等，这里容易绕晕——倒序遍历时，正序的"第一次出现"是倒序的"最后一次遇到"。所以正确做法是：倒序遍历，遇到没见过的就更新并加入集合，遇到见过的就跳过。这样最终被更新的是正序第一次出现的位置，符合首次访问的定义。

def update_q(q_table, trajectory, gamma, alpha): G = 0.0 visited = set() for state_idx, action, reward in reversed(trajectory): G = reward + gamma * G key = (state_idx, action) if key in visited: continue visited.add(key) # 增量式更新，alpha 是步长 q_table[state_idx][action] += alpha * (G - q_table[state_idx][action])

这里用增量式更新Q += α(G - Q)而不是直接赋值Q = G，是因为蒙特卡洛的每次估计都有方差，直接赋值等于完全相信这一局的回报，波动会非常大。用步长 α 做滑动平均，相当于在多次采样之间做平滑。α 取 0.1 到 0.2 之间比较稳，太小收敛慢，太大震荡。这个 α 在理论上要满足随机逼近的收敛条件（求和发散、平方和收敛），但实操中固定一个 0.1 左右的值就够用了，不必纠结理论条件。

4. 策略改进与探索衰减的节奏控制

4.1 ε-greedy 的 ε 该怎么衰减

同策略蒙特卡洛控制的核心循环是：用当前策略采样一整局 → 算回报 → 更新 Q → 用更新后的 Q 改进策略（ε-greedy）→ 下一局。这里的 ε 控制探索强度，是整个算法能不能学出来的关键旋钮。

ε 太大（比如一直 0.5），策略一直在乱试，Q 值被随机动作的回报污染，学不出精细控制。ε 太小（比如一开始就 0.01），前期 Q 值全是 0，贪心选择永远选动作 0，采样严重偏向一个方向，另一侧的状态-动作对几乎访问不到，价值表一半是空的。所以 ε 必须从大往小衰减。

我实测的衰减方案是：前 500 局 ε 从 1.0 线性降到 0.1，之后保持 0.1 不再降。前 500 局基本是纯探索，把状态空间大致扫一遍；500 局之后开始利用，但保留 10% 的随机性防止陷入局部最优。这个"保留一个下限"很重要——如果 ε 一路降到 0，策略会完全贪心，一旦某个状态-动作对的 Q 值被偶然高估，就再也不会去尝试其他动作，容易卡死。

这个节奏不是拍脑袋定的。500 局大概能让高频状态被访问几十次，Q 值有了初步的区分度；如果状态分桶更细（比如两万多个状态），探索期要相应拉长到一两千局。判断标准很简单：看价值表里非零项的比例，如果还有大量状态从没被访问过，说明探索不够，ε 衰减太快了。

4.2 策略改进为什么不能每局都做

理论上，蒙特卡洛控制的策略改进是在每局结束后、Q 更新完之后立即进行的，因为 ε-greedy 本身就是基于当前 Q 的。但实操中有一个微妙的问题：单局的 Q 更新可能让策略发生剧烈跳变，尤其是早期 Q 值还很不可靠的时候。如果每局都严格按最新 Q 做贪心，策略会在不同方向之间来回横跳，采样分布极不稳定。

我的处理办法是让策略改进"温和"一点：不是每局都重新计算贪心动作，而是依赖 ε-greedy 在动作选择时实时读取 Q 值——也就是说，策略改进是隐式的、连续的，而不是显式地存一张策略表再整体替换。这样做的好处是策略随 Q 平滑演化，不会因为某一局的异常回报就整体翻转。代价是理论上不如显式策略迭代严谨，但在 CartPole 这种小任务上完全够用。

如果你想要更严谨的版本，可以每 N 局（比如每 10 局）才做一次显式的策略评估和改进，中间用固定的 ε-greedy 采样。这种"批量更新"的思路能进一步降方差，但实现复杂度上去了，初学阶段没必要。

4.3 一个反直觉的观察：Q 值不需要精确

跑通之后我盯着价值表看了很久，发现一个有意思的现象：很多状态的 Q 值估计其实相当粗糙，两个动作的 Q 值差距可能只有零点几，但策略依然能撑到两百步。这说明 CartPole 这个任务对价值估计的精度要求并不高，只要在关键状态（杆子明显偏向一侧时）能选对动作，其他时候选哪个都无所谓。

这个观察对调参很有指导意义。很多人花大量时间调 α、调分桶、调 γ，想让 Q 值更精确，但其实收益递减很快。真正决定成败的是关键状态有没有被充分采样——也就是杆子接近终止阈值时那些状态。如果这些状态的价值估计不准，杆子一到临界角度就倒。所以与其全局调精度，不如针对性地保证关键区域的分桶分辨率和采样密度。我后来把角度维度的桶在 ±0.2 弧度附近加密（用非均匀分桶），效果比全局调参明显得多。

5. 实测中的坑与排查链路

5.1 跑了几千局还是不收敛，问题出在哪

这是最常见的情况，我自己也卡过。现象是：训练曲线（每局存活步数）一直在 20 到 50 之间震荡，偶尔冒个 100 多，但整体没有上升趋势。排查这种问题，我总结了一条从外到内的链路，按顺序走一遍基本能定位。

第一步，先确认环境交互本身没问题。写一个纯随机策略，跑 100 局，看平均存活步数。CartPole 随机策略大概能撑 20 步左右。如果随机策略都撑不到 10 步，那可能是环境版本或者重置逻辑有问题，跟算法无关。这一步是排除法的基础，很多人跳过它直接怀疑算法，结果在错误的方向上折腾很久。

第二步，检查回报的计算方向。这是最容易出错的地方。倒序累加时如果写成G = reward + gamma * G但遍历顺序搞反了（正序遍历），算出来的 G 就完全错了。验证方法：手动构造一条三步轨迹，奖励都是 1，γ=0.9，手算 G_0 = 1 + 0.9 + 0.81 = 2.71，然后打印代码算出来的值对比。对不上就是这里的问题。

第三步，看价值表的填充率。统计 Q 表中非零项的比例。如果训练几千局后还有 80% 的项是 0，说明探索严重不足或者分桶太细，采样根本覆盖不过来。这时候要么加大 ε、拉长探索期，要么减少分桶数。

第四步，检查 ε 的衰减曲线。打印每局的 ε 值，确认它确实在按预期衰减。我遇到过一次 ε 衰减写成了epsilon *= 0.999但放在内层循环里，结果一局之内 ε 就衰减到接近 0，等于没有探索。这种 bug 不看打印根本发现不了。

第五步，看关键状态的 Q 值。挑几个杆子角度接近 ±0.2 弧度的状态，打印它们的两个动作 Q 值。如果两个值几乎相等，说明这些关键状态没被充分学习；如果明显偏向"往杆子倾斜的反方向推"，那策略其实是对的，问题可能在别处（比如评估指标）。

5.2 收敛了但表现不稳，忽好忽坏

另一种情况是：训练后期平均步数上去了，但方差很大，有的局能到 200，有的局三十几步就倒。这通常不是算法 bug，而是蒙特卡洛固有的高方差在起作用，加上 ε 保留的随机探索偶尔会选错动作导致翻车。

缓解办法有几个。一是降低 ε 的下限，从 0.1 降到 0.05，减少随机翻车；二是增大 α 的平滑（减小 α），让 Q 值更稳；三是用"多次评估取平均"来判断真实水平，而不是看单局。我一般训练完后，用 ε=0 的纯贪心策略跑 100 局取平均，这个数字才代表策略的真实能力，训练过程中的单局波动不用太在意。

还有一个容易被忽视的点：CartPole 的初始状态是随机的（重置时四个维度都在小范围内随机初始化）。如果某次评估恰好抽到杆子初始角度就偏大的状态，那局本来就难撑。所以评估时样本量要够，100 局起步，否则平均值没意义。

5.3 一个真实踩过的索引错位坑

说一个我自己踩得最惨的坑。早期我用字典存 Q 表，键是离散化后的四元组。有一次为了省事，在采集轨迹时存的是原始连续观测，更新时再离散化。看起来没问题，但离散化函数里我用了np.digitize的默认参数，而采集和更新两处的边界生成方式有细微差异（一处用了n+1个点取中间，一处用了n个点），导致同一个连续观测在两处被映射到不同的桶索引。结果就是：采样的状态和更新的状态对不上，Q 表被更新到了错误的键上，怎么跑都不收敛。

这个 bug 极其隐蔽，因为代码不报错，只是默默地学错东西。定位方法是：在采集和更新两处都打印离散化结果，对比同一条轨迹的同一个状态是否映射到同一个索引。发现不一致之后，我把离散化逻辑抽成一个单独的函数，两处都调用它，问题才解决。教训是：离散化这种"翻译"逻辑必须单一来源，绝对不能在两处各写一遍。

6. 把蒙特卡洛版本跑出效果的关键参数组合

6.1 一套可以直接复现的参数

把上面所有决策汇总成一套可复现的配置，这是我实测下来在标准 CartPole 上能稳定跑到平均 150 步以上的组合：

这套参数不是唯一解，但它覆盖了所有关键决策点，照着填基本能跑出效果。如果你的分桶更细，训练局数要相应增加；如果 γ 改成 1，α 要降到 0.05 以下。

6.2 训练过程该盯哪些指标

不要只盯"每局步数"这一个数字，它波动太大，容易误判。我一般同时看三个：

• 滑动平均步数（窗口 50 局）：看整体趋势，这是主指标。
• Q 表非零率：看探索覆盖度，低于 50% 说明采样不足。
• 贪心策略的评估步数（每 200 局评估一次）：看真实策略水平，排除 ε 探索的干扰。

这三个指标配合起来看，能区分"探索不够"和"价值估计不准"两种不同的停滞。前者表现为非零率低、滑动平均上不去；后者表现为非零率高但贪心评估上不去。对症下药才有效。

6.3 蒙特卡洛之后往哪走

把蒙特卡洛这条线跑通之后，最自然的下一步是对比 TD 方法。同样的离散化、同样的 ε-greedy，把"等回合结束算回报"换成"每步用下一状态价值自举"，你会直观感受到方差和偏差的权衡——TD 通常几百局就能到 150 步以上，比蒙特卡洛快一个量级，但初期波动可能更大。这个对比做一遍，对强化学习里最核心的那个 trade-off 会有肌肉记忆级的理解。

再往后可以试带基线的策略梯度或者 DQN，但那些都需要函数近似，复杂度上一个台阶。我的建议是别急着跳，先把蒙特卡洛版本的各种参数都手动调一遍，亲眼看看 γ、α、ε、分桶粒度各自怎么影响结果。这种"手动建立直觉"的过程，比直接抄一个 DQN 跑通要有价值得多。毕竟算法可以查文档，但"这个参数动了会发生什么"的判断力，只能靠一次次实测攒出来。