企业官网建设流程全解析

先抛一个真实场景：在某片区域内有几十个地面终端需要回传数据，但地面基础设施被破坏或覆盖不足，空中部署几架无人机作为临时基站。地面终端随时在移动和目标变化，无人机既要飞往更合适的位置改善信道质量，又要决定每一时刻允许哪些用户接入、拒绝哪些接入。这两件事不是独立的——飞行轨迹决定了信道和干扰关系，访问控制决定了通信资源分配给谁，单独优化任何一个，另一个都会拖后腿。把它们放到多智能体深度强化学习（Multi-Agent Deep Reinforcement Learning, MADRL）框架里联合求解，就是这篇博客要讲的核心问题。

这篇文章适合两类人：一类是做通信网络优化、无人机辅助通信相关研究的工程师和研究生，另一类是已经在用强化学习做资源调度，但想知道多智能体场景下如何做轨迹设计与接入控制联合优化的实践者。我会从问题拆解、马尔可夫建模、算法选型、训练调参到结果分析一条线走完，尽量把每一步的“为什么”也讲清楚。

1. 为什么空地协同通信需要“轨迹+访问控制”一起优化

1.1 单无人机场景下的两大问题与耦合关系

先看最简单的场景：一架无人机作为空中基站，飞在一块区域内为一群地面用户提供服务。这里有两个问题天然存在。

第一个是轨迹设计问题：无人机飞到哪里，决定了它到用户的信道状态。飞行高度越高，视距链路概率越大，但距离变远后路径损耗也会增加；飞得太低，容易受到建筑物遮挡，信道进入深衰落。这个轨迹不是随便定的，它受到无人机速度、能耗、避撞、作业时限等多个约束，是一个典型的连续控制问题。

第二个是访问控制问题：空中基站的无线资源是有限的，可以用正交频分多址接入技术给不同用户分配子载波，也可以采用非正交多址接入让多个用户共享同一资源块。无论采用哪种方式，每一时刻都必须决定哪些用户接入、哪些用户排队等待。这个决策直接决定系统吞吐量、用户公平性、时延指标，是一个典型的离散资源分配问题。

关键点是，这两个问题高度耦合。无人机飞到某个位置，它的下行信道增益矩阵就确定了；基于这个矩阵，系统需要给出一个“最优”的用户接入选择。反过来，接入选择决定了哪些用户的需求需要优先满足，也就决定了无人机是否应该往某个用户密集区域飞行。把轨迹和访问控制拆开单独调，等于左手不知道右手在做什么，最终效果很难达到全局最优。

1.2 多智能体化之后，问题难度发生了什么变化

当无人机数量从一架变成多架，复杂度不是线性增长，而是组合爆炸。每架无人机的位置、速度、剩余能量构成连续动作空间，所有地面用户的接入状态构成离散动作空间，二者混杂在一起。更麻烦的是，多架无人机之间会互相干扰：一架无人机选择某个频段向覆盖范围内的用户下发数据，另一架无人机如果使用相同频段，在这个区域内就会产生同频干扰。

从强化学习的视角看，多智能体带来的核心困难是非平稳性。单智能体强化学习里，环境转移概率只取决于当前状态和动作；但在多智能体场景里，对任意一架无人机而言，其他无人机也在持续调整自身策略，环境转移概率在它的视角里是不断变化的。这意味着训练过程中，每个智能体的“学习目标”本身一直在动，直接套用单智能体算法很容易训练震荡甚至发散。

所以这个项目里必须采用面向多智能体的深度强化学习方案，用“集中训练，分布式执行”（Centralized Training with Decentralized Execution, CTDE）的思路来应对非平稳性。训练时引入全局信息辅助每个智能体评估策略，执行时每个智能体只依赖自己的局部观测做出决策，这是目前处理空地协同多智能体问题最可靠的技术路线之一。

2. 问题建模：从场景约束到可训练的MDP

2.1 状态空间设计（无人机能看到什么）

把问题塞进强化学习框架，第一步是定义马尔可夫决策过程（MDP）。状态空间要回答一个核心问题：每个智能体在决策时刻，到底能观测到什么信息？

对第架无人机来说，我推荐的状态观测包含以下四类内容：

• 自身状态：三维位置、当前速度矢量、剩余能量/电量比例。这个信息要么来自机载传感器，要么来自飞控系统，属于最容易获得的部分。
• 本地信道信息：它到每个地面用户的信道增益估计值，或者退一步用信噪比代替。实际系统里，无人机可以通过用户反馈的参考信号接收功率来估计。
• 用户队列信息：覆盖范围内各用户的数据队列长度。这个信息对访问控制极其重要——队列越长，说明积压数据越多，越应该被优先调度。
• 邻居智能体信息：在通信半径内其他无人机的位置和速度。完全共享所有信息不现实，但至少在局部范围内互相感知，是避免撞机和干扰协调的前提。

把这些信息拼接成向量后，要做归一化处理。位置统一除以区域对角线长度，速度除以最大速度，能量除以电池总容量，队列长度除以最大队列深度。这一步看着不起眼，实际对训练收敛速度影响巨大——不归一化的话，量纲差异会让神经网络的梯度更新很不稳定。

2.2 动作空间与约束处理（无人机能做什么）

动作空间设计是整个建模过程里最需要斟酌的地方。这个项目里涉及连续和离散两种动作，属于典型的混合动作空间问题。

连续动作部分，我采用的是水平方向的速度指令。具体来说，每架无人机输出两个值：水平速度大小和航向角，或者直接输出x方向和y方向的速度分量。垂直方向上让无人机保持固定高度不变，主要考虑是实际场景中，大多数空地协同通信任务会让无人机在某个安全高度飞行，垂直方向的调整空间不大，加入反而增加学习难度。

离散动作部分，是访问控制决策。假设当前无人机覆盖范围内有个地面用户，系统给每个用户一个接入指令：接入或拒绝。这里有一个典型的组合爆炸问题：个用户对应种选择组合。当无人机数量增加、用户数增加后，动作空间会指数级膨胀。我对这个问题的处理方式是用“选择接入用户上限”的方式降低复杂度：每架无人机每次最多服务个用户，那么动作就从“穷举所有组合”退化成“从个用户中选个”。实际仿真中，我把设为3或4，效果比直接穷举子集稳定得多。

关于约束处理，重点说两个。

速度约束：无人机输出的速度指令必须限制在最小速度与最大速度之间。很多文献直接对输出做个裁剪，这会导致梯度在边界处不连续。我更推荐的做法是用一个带缩放系数的tanh激活函数套在输出层外面，让网络天然输出有界值，再映射到实际速度范围。航向角就更好处理了，直接映射到[0, 2π)。

最小安全距离约束：多无人机之间必须保持安全距离，否则就是机毁人亡。这个约束我在奖励函数里加了避撞惩罚项，当两架无人机距离小于安全阈值时给出一个较大的负奖励。比直接硬约束（强制把动作改掉）效果好，因为硬约束会让智能体感知不到“快撞了”的代价，学不会提前规避。

2.3 奖励函数设计与调权逻辑

奖励函数是强化学习的“指挥棒”，设计得好不好，直接决定了最终学出来的策略是什么样子。这个项目里我用了组合式奖励函数设计，包含以下几个分量：

吞吐率奖励：所有接入用户总吞吐量的归一化值。信道条件好的用户接入后能传输更多数据，这个分量的存在会引导无人机往用户密集、信道条件好的区域飞。

公平性奖励：用Jain公平性指数来度量用户间的资源分配公平程度。只优化吞吐量，很容易让信道条件差的边缘用户被饿死。公平项的存在避免了“少数用户占满资源”的极端情况。

能量消耗惩罚：无人机飞行需要能量，飞行速度越大、机动越频繁，能耗越高。这个惩罚项用速度和加速度的归一化函数来建模，权重不要设太大，否则无人机干脆停在原地不动了。

避撞惩罚：当智能体之间的距离小于安全阈值时给出大额负奖励。

访问控制结构惩罚：如果两个无人机选择接入同一个用户，会产生严重的用户间同频干扰，我对此设计了一个负向惩罚，鼓励不同无人机尽量服务不同用户集合。

总奖励写成： R(t) = α1 * R_throughput(t) + α2 * R_fairness(t) - α3 * E_energy(t) - α4 * P_collision(t) - α5 * P_overlap(t)

权重的设置没啥捷径，我实际的调参顺序是：先只开吞吐和避撞，跑通整个训练流程之后，再逐步加入公平性、能耗和重叠惩罚项。每次只加一个分量并观察训练曲线变化，不要一上来把所有惩罚全开，那样奖励信号过于复杂，智能体根本学不明白。

3. 多智能体DRL算法选型与训练框架搭建

3.1 主流算法对比：为什么首先考虑MADDPG与MAPPO

当前主流的多智能体深度强化学习算法有MADDPG、MAPPO、QMIX、VDN等。这些算法有各自的适用场景，选型时要根据问题的属性来做判断。

先看QMIX和VDN。这两个属于基于值函数分解的方法，思想是把全局Q值分解为各个智能体局部Q值的组合，主要用于完全合作的场景，且动作空间通常是离散的。我们这个项目里，轨迹设计需要输出连续速度指令，所以这两类算法天然不适用，直接排除。

再看MADDPG（Multi-Agent Deep Deterministic Policy Gradient）。这是多智能体连续控制领域的经典方案，核心思想是“集中评价、分散行动”：训练的时候，每个智能体的Critic网络输入所有智能体的观测和动作；执行的时候，Actor网络只依赖自己的局部观测来输出动作。这个思路完美契合混合动作空间和多智能体非平稳性的问题。

MAPPO（Multi-Agent Proximal Policy Optimization）是近几年的热门选择，它在大量合作场景中表现出了比MADDPG更强的稳定性和性能。MAPPO采用策略熵正则化和重要性采样技术，训练对超参数更鲁棒。但我实测下来，MAPPO在适度竞争+合作的混合场景里，收敛速度比MADDPG稍慢，因为PPO类的on-policy算法需要不断地采集新数据进行更新，环境交互的开销更大。

由于本项目中无人机之间既有合作（共同提升系统吞吐）又有竞争（共享频谱资源导致互相干扰），我把MADDPG作为首选基线，同时用MAPPO做了对照实验。如果你想快速出结果，直接跑MADDPG，训练曲线比较平滑；如果你有充足算力并且追求更高的最终性能，MAPPO值得一试。

下面给出MADDPG的策略梯度更新核心公式，这个公式是理解整个算法训练逻辑的关键：

在CTDE框架下，第i个智能体的Critic网络优化目标是： L(θᵢ^Q) = E[(Qᵢ(x, a₁, ..., aₙ) - yᵢ)²] 其中 yᵢ = rᵢ + γ * Qᵢ'(x', a₁', ..., aₙ') | aⱼ' = μⱼ'(oⱼ')

这里的x是所有智能体观测的拼接，γ是折扣因子，μⱼ'是第j个智能体的目标策略网络。可以看到，Critic在训练时用了所有智能体的信息，这就是“集中评价”；而每个Actor在决策时只输入自己的局部观测oᵢ，这就是“分散行动”。

Actor的策略梯度为： ∇θᵢ J(μᵢ) = E[ ∇θᵢ μᵢ(oᵢ) ∇aᵢ Qᵢ(x, a₁, ..., aₙ) | aᵢ=μᵢ(oᵢ) ]

3.2 CTDE框架下的训练拓扑设计

在实现层面，MADDPG里每个智能体都有独立的Actor网络和Critic网络。但这里有个容易踩的坑：直接把所有无人机当作完全独立的智能体来训练，Critic网络会非常庞大，训练速度慢得让人怀疑人生。

我的做法是采用参数共享机制。所有无人机在物理规格、通信能力、控制方式上几乎一样，前几层特征提取网络完全可以共享参数。这样设计的好处是：

• 网络参数量大幅下降，训练速度提升明显；
• 不同无人机的经验可以放在同一个经验池里相互学习，数据利用效率更高；
• 天然适合异构程度不高的空地协同场景。

具体实现时，Actor网络分为共享特征提取层和输出层两部分。共享层负责从观测向量提取特征，输出层根据智能体编号参数化生成。Critic网络的输入是所有智能体的观测和动作拼接，它的输出是当前智能体的Q值估计。

训练拓扑上，我采用集中式经验池+异步采样更新的结构。经验池中包含所有智能体的转移元组(s, a₁...aₙ, r₁...rₙ, s')，每次采样时随机抽取一批数据，分别计算各个智能体的损失并更新参数。训练流程的伪代码如下：

for episode in range(max_episodes): obs = env.reset() episode_reward = 0 while not done: actions = [] for i in range(n_agents): # 每个智能体基于局部观测计算动作 action = agents[i].get_action(obs[i]) # 连续部分添加探索噪声 actions.append(action) # 环境执行所有智能体的动作 next_obs, rewards, done, info = env.step(actions) # 存储转移元组到经验池 replay_buffer.push(obs, actions, rewards, next_obs) # 当经验池中数据足够时，采样更新 if replay_buffer.size() > batch_size: for i in range(n_agents): agents[i].update(replay_buffer.sample(batch_size)) obs = next_obs episode_reward += sum(rewards)

3.3 仿真环境：自建环境的关键模块

框架选好了，接下来要有能跑起来的环境。用现成的仿真平台是一个选择，但问题在于，通用平台很难为你的特定通信场景定制信道模型和干扰计算逻辑。我更建议自己写一个轻量级的Python环境，把核心模块控制住，后面改奖励、改约束都会方便很多。

这个仿真环境我建议至少包含以下模块：

区域与对象管理模块：定义区域大小，管理无人机、地面用户的位置和移动模型。用户移动可以设成随机游走，也可以设成几个热点区域之间切换，模拟真实场景中的用户聚集趋势。

信道模型模块：采用3GPP TR 36.777中针对无人机通信的信道模型。这里有个关键参数——空地视距链路概率与水平距离、高度的关系。在实际仿真里，我会先根据无人机与用户的相对位置计算视距概率，再根据视距/非视距状态叠加路径损耗和阴影衰落。

传输调度模块：根据当前信道条件和每个用户的队列状态，计算每个接入用户的传输速率。这个模块要和访问控制的动作决策对接：哪些用户被允许接入、使用什么频段，都会直接影响速率计算结果。

碰撞检测模块：实时检测无人机之间的距离，在低于安全阈值时给出告警信号，训练回调函数读取这个信号并计算避撞惩罚。

奖励计算模块：设计成可插拔的结构。不同实验需要不同权重的奖励项，直接改模块里对应的函数即可，不需要动环境主逻辑。

我选的仿真步长是0.5秒，每个episode时长100秒，也就是200个决策步。步长太长会让轨迹显得很生硬，步长太短训练成本会急剧上升，0.5秒在两者之间比较平衡。

4. 训练过程的实测经验与调参记录

4.1 训练不稳定：奖励波动大怎么办

训练过程第一次跑起来，你会立刻遇到一个很现实的问题：奖励曲线剧烈震荡，甚至很长时间看不到上升趋势。这种情况我遇到太多次了，先说几个最典型的处理方式。

问题出在经验池采样逻辑上。MADDPG的Critic网络需要学习“给定所有智能体动作组合下的Q值”，但不同智能体动作的分布和尺度差异很大。在空地协同场景里，无人机速度指令取值范围是[0, 30]m/s，而访问控制的离散动作是以one-hot形式编码的0/1值，两者拼接后输入Critic网络时，连续维度上的大数值会主导梯度更新方向。

解决方法是把连续和离散动作分开编码后做归一化处理。速度除以最大值映射到[0,1]区间，离散one-hot向量保持不变。这样输入到Critic网络的值都在同一量级，训练稳定性会明显提升。

第二个常见问题是探索噪声设置不当。MADDPG在训练时会给Actor的输出叠加随机噪声来鼓励探索。空地协同问题中，轨迹控制部分的最优动作范围比较窄，噪声过大会导致无人机频繁机动、消耗能量，奖励长期处于低值；噪声过小则容易陷入次优策略。我用的是衰减的奥恩斯坦-乌伦贝克噪声，初始标准差设为0.3，每1000个episode乘以0.9的衰减因子，最终稳定在0.05左右。这个衰减曲线给了我相对稳定的收敛结果。

4.2 混合动作空间的实现细节

理论上把连续和离散动作拼接起来就能喂给网络，但实际训练时你会发现，Critic网络很难把这两类动作的贡献区分清楚。我踩了几次坑之后，找到了一个更实用的实现方式：把访问控制当作“可微调的离散决策”，也就是通过Gumbel-Softmax采样实现端到端的梯度传播。

具体做法是：Actor网络输出两个分支，一个分支输出速度指令的连续值，另一个分支输出每个用户被占用的概率分布。对于用户接入决策，用Gumbel-Softmax对概率分布做松弛化采样，得到近似one-hot的连续向量。这个向量既保留了决策的离散语义，又能够直接参与反向梯度传播。

这种方案比直接拼接离散动作好在哪？直接拼接时，Critic网络学到的是“所有用户接入状态组合”的Q值，状态空间巨大且稀疏；用了Gumbel-Softmax后，访问控制部分是一个从概率分布到松弛向量的连续映射，梯度可以更平滑地传递给Actor网络。

松驰采样的温度系数也很关键。初始温度设置较高（比如2.0），让采样结果接近均匀分布，探索性强；随着训练推进逐渐降温到0.5，让采样结果趋近真正的one-hot决策。温度下降太快会导致训练初期策略固化，下降太慢则最终收敛时决策不够清晰。我在温度系数上采用了跟探索噪声类似的衰减策略，效果不错。

4.3 一个值得注意的坑：异构智能体的奖励归一化

在纯同构的多无人机场景里，每个智能体看到的观测维度完全一样，奖励函数也一致，训练过程相对顺畅。但在接入控制部分，不同无人机覆盖的用户数量可能差别很大——一架无人机周围有10个用户，另一架只有3个，此时如果不做奖励归一化，用户少的那架无人机会发现无论自己做什么，奖励值都远小于用户多的无人机，梯度方向会被后者主导，前者学不出有效策略。

我的解决办法是给每个智能体的奖励除以它当前覆盖用户数加一个小常数，做一个简单但有效的归一化： r_i_normalized = r_i / (N_i + 1)

这样用户数差异对奖励尺度的影响被消除，每架无人机都可以在自身局部任务中优化。这个改动看起来微不足道，但对多智能体协同的最终的公平性和系统总吞吐都有显著提升。

4.4 训练步数与学习率的参考配置

给出一份我经过多轮实验后相对可靠的超参数参考配置，方便你作为初始值直接使用：

有两点值得额外说明。第一，Critic学习率设成Actor的10倍并不是随便选的：Critic需要快速准确地逼近Q值，为Actor提供清晰的梯度方向，而Actor更新过快容易导致策略震荡。第二，软更新系数τ=0.01在MADDPG场景里算比较常规，如果你发现训练后期性能抖动，可以试着调到0.005，牺牲一点收敛速度换取稳定性。

5. 仿真结果分析与方案有效性验证

5.1 与基线方案的对比维度

训练完成后，必须做对比实验来验证方案的有效性，否则很难说明“多智能体DRL联合优化”真的比传统方法强。我的对比维度主要有四个：

系统总吞吐量：所有用户完成传输的数据总量，这是最直观的性能指标。

能量效率：单位能量消耗下完成的数据传输量，用于衡量“省电飞行”和“高效通信”的平衡效果。

用户公平性：Jain指数，反映用户间数据传输量的均衡程度。

接入成功率：整个仿真周期内，成功接入系统的用户请求比例。

基线方案我只选了三个最经典、最容易复现的实现：直线飞行+轮询接入，即无人机沿预设直线轨迹飞行，用户按轮询方式依次接入；悬停优化+最近用户优先接入，即无人机飞到用户密度最高的位置悬停，优先接入距离最近的用户；单智能体DRL方案，即把多机联合优化拆成多个单智能体，各自独立训练，忽略智能体间的干扰关系。

5.2 轨迹设计与访问控制的耦合收益

从实验结果看，最让我印象深刻的是多智能体联合优化方案与“悬停优化+最近用户优先接入”的对比。

悬停优化方案很直观：哪里用户多就飞到哪里，接入选最近用户。但实测总吞吐量明显偏低，原因是它忽略了一个关键因素——信道状态。最近用户不一定是信道条件最好的用户，尤其是在有遮挡的城市环境里。无人机悬停在一个位置时，不同方向的用户视距链路概率差别很大，只按距离选择接入用户，实际上浪费了大量频谱资源。

联合优化方案学到的策略很有意思：无人机不会长时间悬停在一个点上，而是沿着一条“往返巡游+重点驻留”的轨迹飞行。它会在用户密集区域减速悬停一段时间，完成大量数据传输，然后飞到另一个区域服务那边的用户。访问控制决策也有明显规律——它在每个位置都会优先选择信道条件好、队列积压量大的用户接入，公平性惩罚避免了饥饿，能耗惩罚限制了过度机动。这种策略恰恰是人工设计很难提前规划出来的，因为它需要综合考虑信道时变特征、用户队列动态和无人机能量约束的三方耦合。

单智能体DRL方案在训练时收敛得很快，但最终性能明显比多智能体方案低10%到15%。原因也不难理解：每架无人机只优化自己的奖励，完全忽略了其他无人机对信道的污染。在真实电磁环境中，同频干扰是全局性的，只顾自己很容易导致多架无人机飞到同一块区域争抢用户和频谱。

5.3 对实际部署的启发

仿真结果验证了方案的理论可行性，但真正部署到实际系统，还有几个很现实的问题值得提前考虑。

模型迁移问题。仿真环境训练出的策略直接拿到真实环境里，会因为信道模型偏差、传感器误差等原因效果大幅下降。业内常用的做法是采用“仿真训练+真实环境微调”的两段式路线：先在仿真环境里把基础策略训练好，再部署到实际系统后用小规模真实数据做在线微调，让策略自适应真实环境。这个思路在机器人控制领域已经很成熟，空地协同通信完全可以借鉴。

计算开销问题。训练MADDPG需要较大的计算资源，但部署阶段的推理开销并不大。训练完成后，每架无人机只需要运行自己的Actor网络，一次前向推理在一个CPU核上只需要毫秒级时间，完全能够满足实时决策需求。所以真正配置在线系统时，关键在于把分布式执行架构做好，而不是担心模型跑不动。

安全约束问题。仿真里可以只通过奖励函数加避撞惩罚，但实际飞行中，算法的输出必须经过飞控层的安全校验才能执行。我建议在算法输出和飞控指令之间加一道硬保护逻辑：如果指令会导致无人机距离小于安全阈值或超出飞行边界，飞控层直接覆盖算法输出。这类“软约束+硬兜底”的双层设计，是实际系统落地时必须考虑的安全性增强措施。

6. 最后的经验与扩展方向

整个项目做下来，我最深的一个体会是：多智能体强化学习在通信网络领域最难的往往不是算法本身，而是环境建模的合理性和奖励函数设计的完整性。算法有成熟的开源实现可以借鉴，环境才是决定你最终结果上限的东西。信道模型是否贴合实际、用户移动模型是否符合业务规律、约束项是否完备，这些看起来不如算法“高大上”的细节，恰恰是决定论文能不能复现、项目能不能落地的最关键因素。

有几个扩展方向我认为价值很高。如果业务场景对时延敏感，可以把部分车辆用户或者高移动性用户加入进来，此时轨迹设计需要同时兼顾三维移动性和切换成本。如果希望系统更接近真实部署，可以考虑加入频谱感知和动态定价机制——无人机根据实时频谱占用情况调整接入用户的服务优先级，甚至在不同无人机之间动态分配频段资源。这个方向把多智能体DRL和频谱管理相结合，实际应用价值很大。

另一个值得尝试的方向是引入分层架构。上层用集中式优化器做长周期规划，确定无人机大致的飞行路径和热点区域；下层用多智能体DRL做短周期调度，执行细粒度的轨迹修正和用户接入决策。这种分层思路一方面降低了DRL问题的动作空间复杂度，另一方面也更贴近真实网络的控制逻辑，落地阻力会更小。

如果你决定在这个方向继续深入，我建议从一开始就把仿真环境写规范，环境代码就是你的“实验台”，一个好的实验台能让你日后改算法、换场景的边际成本大幅降低。把环境、算法、可视化分开组织，训练时记录好每一次超参数变更和对应的曲线，这些记录会帮你少走大量弯路。