企业官网建设流程全解析

1. 连续像素级预测到底在预测什么：先厘清问题边界

我最早接触"连续像素级预测"这个概念，是在做单目深度估计的时候。当时的需求很简单：给一张RGB图，让网络输出每个像素对应的深度值。这个值和分类任务的本质差异在于——它不是离散的类别，而是一个连续的标量。你没法像语义分割那样，给每个像素打一个类别标签就完事。深度、光流、法线估计、表面曲率、人才关键点热图回归……全都属于这个范畴。它们共享同一个底层逻辑：每个像素都要输出一个或多个连续数值，而且这些数值之间往往存在空间上的相关性和结构上的连续性。

坦白说，在Transformer大规模进入视觉领域之前，这类任务几乎是FCN、U-Net这类卷积网络的天下。CNN靠局部感受野堆叠起来，天然适合"相邻像素值相近"这样的先验。但问题也随之而来：CNN的感受野始终是有限的，即便Dilated Convolution能扩大视野，在长距离依赖建模上仍然吃力。比如深度估计里，一个物体内部的深度通常是平滑连续的，但物体和物体之间、前景和背景之间的深度跳变却异常剧烈。这种"既要全局一致性，又要局部锐利边界"的需求，恰恰是CNN的软肋——浅层特征看不见全局，深层特征丢失了细节。

Transformer-Based Attention Networks之所以能切入这个领域，核心原因在于注意力机制本身是在建模"任意两个位置之间的关系"。这个能力放到连续像素级预测上，正好命中了一个关键需求：网络需要知道远处某个物体的存在，才能判断当前像素是否处于深度不连续处；需要参考远处平面的纹理信息，才能准确估计当前区域在连续表面上应该落在什么位置。换句话说，注意力机制给了模型一个机会，去主动发现那些跨越长距离的几何和语义线索，而不是靠卷积一层层"摸"过去。

不过我必须先把话说明白：Transformer不是银弹，它不是来"取代"CNN的，而是来补位的。实际落地中最有效的方案，往往是混合架构——用卷积做底层特征提取，用Transformer做全局关系建模，再用卷积或者上采样操作恢复到逐像素输出。这篇文章我就围绕"连续像素级预测"这个具体问题，把Transformer注意力网络从原理、架构到手写实现和训练细节完整拆一遍，重点会放在那些文档里通常不会写、但实操时一定会踩的坑上。

2. 从ViT到Swin再到超图学习：密集预测的Transformer架构演进逻辑

2.1 Patch Embedding和位置编码：连续值预测的前置假设

Vision Transformer（ViT）最早是给图像分类设计的。它把一张图切成16×16的patch，展平成token序列，送进Transformer Encoder，最后取CLS token过一个分类头。这个设计放到像素级预测上，第一个要解决的矛盾就是"序列化带来的空间精度损失"。

分类任务不关心patch内部的空间细节，但深度估计、光流估计这类任务关心。每个像素都有独立的预测值，16×16的patch直接压成一个token，等于把16×16=256个像素的信息混在一起，最后输出的预测图空间分辨率必然不够。所以后续几乎所有用于密集预测的Transformer架构，都会在不同阶段维护不同分辨率的特征图。Swin Transformer的层级式设计就是一个典型的解法：它像CNN一样逐层下采样，从4×到8×再到16×、32×，但同时在每个阶段内部用窗口注意力来建模局部关系，再用shifted window来跨窗口通信。这样做既保住了Transformer的全局建模潜力，又保留了多尺度特征，非常对密集预测任务的胃口。

位置编码也是这类任务里容易被低估的细节。ViT的绝对位置编码在ImageNet分类上够用，但到了像素级预测，输入分辨率经常变化（训练和推理时的图像尺寸不一致），直接导致位置编码需要插值，而插值带来的位置信息偏差会在逐像素输出中被放大。我自己实测下来的经验是：对于连续像素级预测，尤其是深度估计这类对空间精确度敏感的任务，条件位置编码（Conditional Position Embedding）或者相对位置偏置（Relative Position Bias）往往比固定绝对位置编码更稳。Swin里面用的就是相对位置偏置，这也是它在密集预测上比原始ViT更顺手的原因之一。

2.2 为什么说连续预测需要"多尺度+注意力"双管齐下

连续像素级预测有一个共性问题：不同尺度的目标对感受野的需求完全不同。大面积的平面区域需要极强的上下文信息来确认"这是一面墙，深度基本一致"；细小的物体边缘则需要高分辨率特征来精确定位"这个边界到底在哪个像素"。如果只用单一分辨率的特征做输出，网络要么在平滑区域出现波纹状误差，要么在边缘处糊成一片。

我在实际项目中常用的做法，是采用类似FPN（Feature Pyramid Network）的思路，从Transformer主干的不同stage取特征，逐层上采样并做特征融合。Swin Transformer天然提供了四个stage的特征，配合一个轻量的Decoder就能得到很好的效果。这也是SegFormer、DPT这些工作的共同逻辑。你不需要在Decoder里堆特别复杂的模块，关键是把注意力在Encoder阶段提取到的长距离依赖信息，通过上采样路径均匀地分布到每个像素上。

但这里我想多说一句：多尺度融合不是简单地把特征concat起来再卷积一遍就完事。连续像素级预测的输出值是要参与物理意义解释的（比如深度值单位是米，光流单位是像素/帧），不同尺度的特征如果不做充分的对齐和筛选，融合时反而会互相干扰。我在代码里习惯给每个尺度的特征接一个轻量的权重预测分支，让网络自己学会在平滑区域更相信全局特征、在边缘区域更相信高分辨率局部特征。这个"自适应融合"的思路，比固定权重融合在RMSE上能带来可感知的提升。

2.3 超图学习在像素级预测里解决的是什么问题

最近越来越多的研究把超图学习（Hypergraph Learning）和Transformer结合到一起做视觉任务，Hgformer就是其中一个代表。很多读者看到"超图"就头大，我试着用大白话拆一下。

普通图结构里，一条边只能连接两个节点。如果我想表达"这一块区域里所有像素同属于一个平面"，普通图需要两两连边，关系表达非常冗余。超图不一样，它的一条超边可以同时连接多个节点——相当于直接表达"这5个像素同属一个平面"这个整体关系。在连续像素级预测里，超图的价值在于：它能显式建模高阶的上下文相关性。某个像素的深度值，不只和它相邻的像素相关，还和它所在的整个结构（比如一堵墙、一个桌面、一段路面）相关，这种"一对多"的关系用超图来表达非常自然。

Hgformer这类结构的做法是：先用Transformer做常规的注意力建模，然后额外引入超图学习分支，把像素级特征聚合成超边，在超边上做信息传播，再映射回像素级。这个操作等于在注意力机制之外加了一条显式的结构先验通道。对我个人来说，超图分支并不是在所有连续预测任务上都有显著收益——它在几何结构较强的任务上（比如深度估计、表面法线估计）提升更明显，在光流这类时序动态较强的任务上就一般。所以如果你要考虑引入这类结构，我建议先想清楚自己的任务里是不是真的存在稳定的"多像素共享属性"的结构，再去决定要不要上超图。

3. 手写要点：一个连续像素级预测Transformer的关键组件从零实现

这一节我直接进入代码层面。很多人写过图像分类用的Transformer，但一到连续像素级预测就卡住了，原因通常是卡在三个地方：特征分辨率怎么保持、输出头怎么设计、损失函数怎么定义。我在这里给出一套可运行的思路，基于PyTorch实现，代码风格偏工程化，不是论文复现，但足够你自己改造成具体任务。

3.1 Patch Embedding阶段的分辨率策略

先看输入编码。分类任务通常用16×16或32×32的patch，但连续像素级预测不建议一上来就用这么大的patch，因为早期就丢空间细节，后面补回来要付代价。我习惯在第一层用4×4的patch，配合步长为4的卷积做embedding。这样做初始分辨率是原图的1/4，既保留了足够细节，又不会像1/2那样让序列长度爆炸。如果输入是512×512，4×4 patch输出的token数量是128×128=16384，对普通注意力来说仍然偏大，所以第一层之后我会立刻用Swin风格的Patch Merging降到1/8分辨率。

import torch import torch.nn as nn class PatchEmbed(nn.Module): def __init__(self, in_channels=3, embed_dim=96, patch_size=4): super().__init__() self.proj = nn.Conv2d(in_channels, embed_dim, kernel_size=patch_size, stride=patch_size) self.norm = nn.LayerNorm(embed_dim) def forward(self, x): # x: (B, 3, H, W) x = self.proj(x) # (B, embed_dim, H/4, W/4) B, C, H, W = x.shape x = x.flatten(2).transpose(1, 2) # (B, H/4*W/4, embed_dim) x = self.norm(x) return x, H, W

这段代码里我用了LayerNorm，这是ViT之后被验证过的稳定做法。注意保留H和W，因为后续上采样恢复分辨率时要用到。位置编码部分，我建议在训练时固定一个最大分辨率，推理时如果换了分辨率，不要直接插值绝对位置编码，而是改用相对位置偏置或者干脆用零位置编码+条件位置编码，具体原因前面讲过。

3.2 窗口注意力：显存不够时的工程化选择

全局自注意力的复杂度是O(N²)，N=16384时根本跑不动。所以密集预测Transformer里，窗口注意力几乎是标配。实现窗口注意力有几个细节容易出错，我踩过不少坑。

第一，窗口划分后，每个小窗口内的token要重新排列成batch维度，方便并行计算。第二，计算完注意力后要还原位置。第三，如果用了shifted window，还需要处理mask，把不属于同一个窗口的区域屏蔽掉。我这里给一个最简化的窗口注意力实现，方便你看清核心逻辑。

def window_partition(x, window_size): # x: (B, N, C), 需要先reshape成(B, H, W, C) B, H, W, C = x.shape x = x.view(B, H // window_size, window_size, W // window_size, window_size, C) windows = x.permute(0, 1, 3, 2, 4, 5).contiguous() windows = windows.view(-1, window_size * window_size, C) return windows def window_reverse(windows, window_size, H, W): B = int(windows.shape[0] / (H * W / window_size / window_size)) x = windows.view(B, H // window_size, W // window_size, window_size, window_size, -1) x = x.permute(0, 1, 3, 2, 4, 5).contiguous() return x.view(B, H, W, -1)

有了窗口划分，接下来注意力计算就是一个标准的scaled dot-product attention，代码不再赘述。我要提醒的是：窗口大小不能拍脑袋定。如果你的任务里目标尺度跨度大，窗口太大显存撑不住，窗口太小全局信息又不够。我在实际项目里习惯用7×7或8×8的窗口，然后在每个Transformer Block之间交替使用regular窗口和shifted窗口，这样信息可以在相邻窗口之间流动。Swin原始设计里shifted window是有mask的，但如果你只是想快速验证想法，用带一圈padding的循环移位也能凑合，效果略差但实现简单。

3.3 回归头设计：直接回归还是离散化后取期望

连续像素级预测的输出头设计，业界主要分成两派。

第一派是直接回归。对输出的特征图做一层或几层卷积，直接预测一个连续值图。实现非常简单，但问题是网络要同时学会"预测哪个区域"和"预测该区域的具体数值"，优化压力比较大。第二派是离散化后取期望。把连续值域划分成若干个离散区间，比如深度从0到80米每隔0.1米一个bin，网络对每个像素输出一个bin上的概率分布，最终预测值是各bin中心的加权求和。这个做法在深度估计里叫softweighted binning，在新一代模型里非常流行，因为它的优化目标更接近分类问题，收敛速度明显更快，梯度也更平滑。

我个人的建议是：如果你在做一个全新的连续预测任务，优先尝试"离散化+期望"，把值域分桶设得细一点。比如深度估计，80米范围分200个bin，每个bin宽0.4米，精度足够。离散化带来的量化误差可以通过训练时对bin中心做微调来缓解，有些工作甚至让每个像素的bin中心也是可学习的，这就是分类-回归混合头。

class PixelWiseRegressionHead(nn.Module): def __init__(self, in_dim, num_bins, max_val=80.0, min_val=0.0): super().__init__() self.num_bins = num_bins self.max_val = max_val self.min_val = min_val self.conv = nn.Conv2d(in_dim, num_bins, kernel_size=1) # 可学习的bin中心，初始值均匀分布 centers = torch.linspace(min_val, max_val, num_bins) self.centers = nn.Parameter(centers.unsqueeze(0).unsqueeze(-1).unsqueeze(-1)) def forward(self, x): logits = self.conv(x) # (B, num_bins, H, W) probs = torch.softmax(logits, dim=1) centers = torch.clamp(self.centers, self.min_val, self.max_val) pred = (probs * centers).sum(dim=1) # 加权期望 return pred, probs

这里有一个值得注意的点：bin中心是全局共享的可学习参数还是逐像素可学习的，效果差异很大。逐像素可学习的bin中心表达能力更强，但训练时要小心，如果某个像素的logits经常集中在同一个bin附近，它对bin中心参数的梯度会很小，更新缓慢。一种缓解办法是把bin中心参数初始化为均匀分布，并加入一个小权重的正则项，让bin中心不要偏离初始位置太远。

4. 损失函数和评估指标：连续值预测真正的技术分水岭

很多人第一次从分类任务转过来时，会理所当然地给深度估计用L2损失，结果训练出来的深度图一片模糊，边缘全是弥散的渐变。这不是模型的问题，是损失函数没有针对"连续值"和"空间结构"做好适配。

4.1 为什么L2损失在深度估计里会翻车

L2损失对离群点极度敏感。深度值有一片区域预测错了，误差被平方放大，梯度会拽着整个网络去优先修正那个离群点，其他区域反而学不好。L1损失比L2稳一点，但在零值附近的梯度不连续，训练早期也容易震荡。实际工程里最常用的组合是Smooth L1：误差小的时候用二次函数保证平滑，误差大的时候用一次函数限制梯度。

更关键的一个问题是：连续像素级预测的误差往往和值本身的大小相关。深度为40米的像素预测成42米，和深度为2米的像素预测成4米，绝对误差差的很大（都是2米 vs 2米），但相对误差完全不是一个量级。L1/L2只看绝对误差，会天然地更关注远处的大深度值，导致近处的细节被忽视。这正是深度估计领域普遍使用尺度不变损失（Scale-Invariant Loss）的原因。它的核心思想是：先对预测值和真值取对数，再在空间上做差分，只惩罚"相对深度关系"的错误，不惩罚全局的尺度偏移。

用大白话说，尺度不变损失关心的是"墙上的点a和地面上的点b，它们之间的深度关系对不对"，而不是"a的深度是3米还是3.2米"。这个特性非常有用，因为单目深度估计本质上存在尺度的模糊性，即使真值有全局偏差，模型如果能正确预测出物体间的相对关系，视觉上已经很可用了。

def scale_invariant_loss(pred, target, mask): # pred/target: (B, 1, H, W), mask: 有效像素 log_pred = torch.log(torch.clamp(pred, min=1e-6)) log_target = torch.log(torch.clamp(target, min=1e-6)) diff = log_pred - log_target diff = diff[mask] n = diff.numel() # 尺度不变误差，lambda控制对全局偏移的容忍度 loss = (diff ** 2).sum() / n - 0.5 * (diff.sum() ** 2) / (n ** 2) return loss

这里lambda取0.5是一个经验值，代表我们愿意容忍多大程度的全局尺度偏差。如果你觉得你的真值尺度很准确，不需要容忍全局偏移，可以把lambda设成0，此时它退化成对数空间下的MSE；如果你干脆只想学相对关系，可以把lambda设成1，完全忽略全局偏移。

4.2 边缘感知损失：让边界不糊的关键

连续像素级预测的另一个常见痛点，是输出的预测图在物体边缘处过度平滑。原因很简单：大多数损失函数是逐像素独立计算的，没有显式约束相邻像素之间的差值。而Transformer的注意力机制有天然的平滑倾向——注意力的权重在全局范围内分布，很容易把两侧差异很大的像素信息混在一起。

解决思路有两类。一类是在空间维度上加梯度约束，比如预测图的梯度要和真值图的梯度尽量一致。这个约束迫使网络在边缘处保留锐利的变化。另一类是置信度加权：让网络同时输出一个不确定性估计，在高置信区域加大损失权重、在低置信区域减小损失权重。这个方法我在处理遮挡区域时特别常用——遮挡区域的真值本来就不靠谱，让网络自己学会降低这些区域的置信度，比我们手动设置mask要优雅得多。

def edge_aware_loss(pred, target, mask): # 计算x和y方向的梯度 pred_dx = torch.abs(pred[:, :, :, 1:] - pred[:, :, :, :-1]) pred_dy = torch.abs(pred[:, :, 1:, :] - pred[:, :, :-1, :]) target_dx = torch.abs(target[:, :, :, 1:] - target[:, :, :, :-1]) target_dy = torch.abs(target[:, :, 1:, :] - target[:, :, :-1, :]) mask_dx = mask[:, :, :, 1:] * mask[:, :, :, :-1] mask_dy = mask[:, :, 1:, :] * mask[:, :, :-1, :] loss = ((pred_dx - target_dx).abs() * mask_dx).sum() loss += ((pred_dy - target_dy).abs() * mask_dy).sum() return loss / (mask_dx.sum() + mask_dy.sum() + 1e-6)

我建议把边缘感知损失作为辅助损失，和主损失按0.1:1的权重相加，不要单独使用。单独使用时它会过于关注边缘细节，导致平滑区域的连续性变差。

4.3 评估指标里的门道

连续像素级预测的评估指标经常被误用，这里我也多说两句。深度估计里常见的指标有RMSE、Abs Rel、log RMSE、以及阈值准确率delta1/delta2/delta3。RMSE对大误差敏感，Abs Rel对近距离误差敏感。两者趋势可能完全相反——模型A的RMSE更低，但Abs Rel更高，这在调参时非常容易误导人。

我的经验是：评估时一定要同时看多个指标，并且按照你的实际应用场景决定权重。如果你做的是自动驾驶，近距离的深度误差直接关系到碰撞判断，Abs Rel和delta1更重要；如果你做的是三维重建，全局的大误差会直接影响网格质量，RMSE更重要。没有哪个指标是绝对正确的，同一个模型在不同的指标排行榜上可能名次差异巨大，这一点做工程的人一定要心里有数。

5. 训练工程实践：显存、收敛速度和多尺度上采样的细节

5.1 显存优化：从梯度检查点到混合精度的实际收益

基于Transformer的连续像素级预测网络，显存消耗的大头通常在注意力特征图和预测头的大分辨率中间特征上。一个常见的误区是只看模型参数量，实际上激活值（activation）占用的显存往往远超参数本身。512×512输入、4倍下采样后的特征图是128×128×96，如果这里展开了全注意力，显存直接爆掉。

工程上最有效的几个手段按收益排序是：混合精度训练（AMP）、窗口注意力/局部注意力、减少中间层缓存（用checkpointing）、梯度累积。AMP对Transformer这类计算密集型网络几乎无脑收益，训练的batch size直接翻倍，而且在我的实测里精度损失几乎可以忽略。torch自带的GradScaler + autocast用起来非常方便。

scaler = torch.cuda.amp.GradScaler() for batch in dataloader: optimizer.zero_grad() with torch.cuda.amp.autocast(): pred, _ = model(batch["image"]) loss = compute_loss(pred, batch["depth"], batch["mask"]) scaler.scale(loss).backward() scaler.step(optimizer) scaler.update()

如果显存还是有压力，再考虑激活检查点（activation checkpointing）。它的思路是不保存中间激活值，反向传播时重新计算一遍。这是一个典型的用时间换空间的手段，对Transformer层特别有效，因为每层的计算量相同、结构规整，重算开销可控。

5.2 多尺度上采样：转置卷积还是插值+卷积

连续像素级预测的Decoder上采样方式，我认为优先选择"插值+卷积"而不是转置卷积。转置卷积虽然可以学习上采样参数，但容易出现棋盘格伪影，尤其是在像素级输出任务中，伪影会被后续的逐像素损失直接放大。更稳妥的组合是：双线性插值放大两倍，然后用一个3×3卷积做特征细化。如果你需要更大的感受野，可以在卷积里用dilation。

class UpSampleBlock(nn.Module): def __init__(self, in_channels, out_channels): super().__init__() self.conv = nn.Sequential( nn.Conv2d(in_channels, out_channels, 3, padding=1), nn.BatchNorm2d(out_channels), nn.ReLU(inplace=True), ) def forward(self, x): x = F.interpolate(x, scale_factor=2, mode="bilinear", align_corners=False) return self.conv(x)

注意align_corners这个参数。像素级预测任务里，align_corners=False通常和PyTorch里其他算子的坐标系约定更一致，避免出现半个像素的偏移。这个偏差单独看不明显，但在和真值逐像素对齐计算损失时，会让边缘处多出一圈误差，指标上能差零点几个点。

5.3 收敛慢？检查你的位置编码和归一化

Transformer在连续像素级预测任务上收敛慢，很多时候不是优化器的问题，而是网络结构里的细节没做对。我复盘过几个项目，排名前三的坑是：LayerNorm的位置放错、位置编码参与计算的方式不对、输出头没有做数值范围约束。

LayerNorm在Transformer里通常放在Attention和FFN之前（Pre-LN结构），并且子层之后要接残差连接。这个设计在深层网络里更稳定，但如果你是从某些早期代码仓库抄来的Post-LN结构，训练几百个epoch可能都不收敛。另一个容易忽视的地方是输出头的数值范围。连续像素级预测的最终输出有明确的物理意义，深度值不可能小于0，光流值不可能无限大。如果回归头直接输出裸的线性值，网络前期梯度很容易把输出推到离谱的范围，然后反向把主干特征也带偏。我在实际代码里会给输出头接一个激活函数，比如深度估计用Sigmoid把输出限制到0~1之间，再乘个最大深度值scale；光流估计则用tanh乘以一个最大位移阈值。这相当于给了网络一个先验的数值边界，收敛速度会明显加快。

class DepthHead(nn.Module): def __init__(self, in_dim, num_bins, max_depth=80.0): super().__init__() self.head = PixelWiseRegressionHead(in_dim, num_bins, max_val=max_depth) # 也可以直接回归: 3x3 conv -> sigmoid -> * max_depth self.direct = nn.Sequential( nn.Conv2d(in_dim, in_dim, 3, padding=1), nn.ReLU(inplace=True), nn.Conv2d(in_dim, 1, 3, padding=1), nn.Sigmoid(), ) def forward(self, x): pred_direct = self.direct(x) * 80.0 pred_soft, probs = self.head(x) return pred_soft + pred_direct

这里我给了一个双路输出的示例：一路离散化取期望，一路直接回归后相加。这两种思路各有偏差特性，合在一起反而能互补，稍微增加了一点计算量，但对精度和训练稳定性的提升非常可观。

6. 注意力可视化与错误分析：连续预测模型的调试技巧

6.1 注意力图到底能不能解释预测结果

很多文章教你"可视化注意力图来判断模型看哪里"，但到了连续像素级预测任务上，这套方法要打折扣。分类模型里，注意力图确实能对应到语义区域；但深度估计、光流估计这类任务里，注意力权重代表的是"这个位置对那个位置的关系建模有贡献"，并不直接代表"这个位置是重要的"。一个深度平滑的墙面，注意力可能均匀分布在整个墙面上；一个深度跳变的边缘，注意力可能集中在几个关键物体边界上。这说明注意力图本身需要结合预测误差一起看，才能定位网络的问题。

我调试时常用的做法是：把预测误差图（预测值减真值的绝对值）叠加到原图上，找出误差集中区域，再看这些区域的注意力分布是什么样的。如果某个物体的边缘内侧误差很大，但注意力权重在物体内部铺得很开，说明网络缺少边缘约束，需要在损失函数里加大边缘权重。如果误差集中在大面积弱纹理区域，注意力权重又很分散，说明全局信息没有被有效利用，可以考虑增加跨窗口的注意力层数，或者引入超图学习这类高阶关系建模。

6.2 用错误拆解代替盲目调参

连续像素级预测的误差分布往往呈现出明显的结构模式。我习惯做三件事：按距离区间统计误差、按图像区域统计误差、按语义类别统计误差。第一步能看出模型是否对远距离目标失效；第二步能看出是否存在系统性偏差（比如图像边缘区域误差更大，可能是位置编码的边界效应）；第三步能看出模型对特定物体类别（比如天空、玻璃、细杆）的预测是否离谱。

说一个我自己的真实案例：有一次深度模型在夜间场景的RMSE很高，一开始我以为是数据量不够，后来按时间段拆分误差才发现，模型在完全无纹理的黑色区域出现了大量无穷大的预测值——因为Transformer在几乎没有信息的位置上无法确定注意力权重，输出产生了振荡。解决方法是在损失函数里对低纹理区域增加不确定度约束，或者在注意力softmax之前加入一个局部平滑正则。这个问题如果不做错误拆解，靠调学习率、换backbone，可能一个月都找不到根因。

6.3 确定性输出之外的另一个选择：预测分布

连续像素级预测目前还有一个趋势，就是不再输出一个确定性的数值，而是输出一个分布。比如预测深度时，每个像素输出一个高斯分布的均值和方差；预测光流时，输出一个拉普拉斯分布。这样做有两个好处：一是能衡量模型在每个像素上的置信度；二是训练时可以用负对数似然（NLL）作为损失，对离群点更鲁棒。缺点是实现复杂度和训练难度都会上升，分布参数稍微没调好，方差会直接坍缩到0。

我的建议是：如果你的任务最终会进入一个决策管线（比如自动驾驶的避障、机械臂的抓取），那么值得做预测分布，它能直接为决策提供不确定性估计：如果某个像素的预测方差很大，下游系统就不该完全信任它。如果只是离线生成一个深度图交给人工查看，那确定性输出就够了，没必要增加复杂度。

7. 选型心得与最终建议：什么情况下值得上Transformer

写到最后，我聊点选型层面的东西。这几年视觉Transformer的论文看得人眼花缭乱，但不是每个连续像素级预测任务都需要Transformer。如果你的任务输入很小（比如256×256以内）、目标尺度单一、实时性要求极高（比如嵌入式设备上的光流估计），纯CNN或者轻量混合架构可能更香。Transformer的优势在输入分辨率较高、上下文信息复杂、目标尺度跨度大的任务里才能充分发挥。

以我自己的项目经验做一个粗略对比：

Hgformer这类带超图学习的结构，适合那些存在明显结构共性、且你愿意花时间调超参数的场景。我的经验是超图分支会带来10%~20%的额外训练时间，精度收益不是每个任务都有，所以不要盲目跟风。如果你决定使用，建议先用默认设置跑通一个baseline，再决定要不要用超图分支替代或增强普通注意力层。

最后再说一个被很多人忽略的点：连续像素级预测任务的Transformer模型，前期用ImageNet预训练权重做初始化，收益比分类任务更大。这背后的原因是，连续像素级预测需要主干有足够强的语义和几何特征提取能力，而ImageNet预训练已经把通用特征能力打好底了。别一上来就从随机初始化开始训，除非你的数据集大到可以自己从零训练一个骨干网络。在预训练权重的选择上，优先选和你的输入分辨率、patch size匹配的版本，如果输入分辨率不同，注意处理位置编码的插值问题。

Transformer做连续像素级预测这件事，我个人的体会是：它的核心价值不在于"精度一定比CNN高"，而在于它提供了另一种建模归纳偏好的方式。CNN先验地认为"邻近像素更相关"，Transformer则让网络自己从数据里学习"哪些像素在功能上更相关"。对连续预测任务来说，这个自由度既是优势也是负担——优势在于能捕捉超长距离、跨结构的联系，负担在于需要更多数据和更精细的训练技巧来约束它。如果你能在注意力机制、输出表征和损失函数这三个层面想清楚，这个方向的实践就不会太跑偏。