企业官网建设流程全解析

前段时间读目标检测训练相关论文时，被 Stitcher 这个标题吸引住了。它的全名是 Feedback-driven Data Provider for Object Detection，直译过来就是“用于目标检测的反馈驱动数据提供器”。这篇论文不换模型结构，也不改损失函数，而是把训练管线里最不起眼的 Data Provider 拎出来重新设计了一遍。读完之后我第一反应是：原来数据加载环节也可以做成一个带反馈的闭环，而且确实能改善小目标检测和训练稳定性。

如果你是正在调检测模型、想提高小目标召回率，或者对数据增强、训练策略感兴趣，这篇论文值得认真读一遍。它会改变你对“训练数据怎么喂”这件事的看法。下面是我的论文笔记，包含方法拆解、关键细节分析、复现心得和踩坑记录。

1. 论文要解决的问题

1.1 训练管线里的“数据侧”瓶颈

目标检测系统通常被拆成特征提取、区域提议、分类回归、损失函数等部分，但训练数据的组织方式却一直很粗糙。大多数框架的默认数据加载器就是随机抽样、按固定尺寸缩放、做一点水平翻转和颜色抖动，然后喂给模型。这个流程几乎没有感知模型当前学得怎么样，也没有感知当前样本分布是否合适，更不会根据模型的需求动态调整。Stitcher 瞄准的正是这个缺口。

传统 Data Provider 是“无状态”的，它对每个 epoch、每个 batch 一视同仁。问题在于，目标检测训练数据天然有两个不平衡：尺度不平衡和类别/难易样本不平衡。一张高分辨率图片里可能有一个大目标加几十个小目标，也可能全是小目标。如果直接把整张原图缩放到固定短边，比如 800，很多小目标在缩放后甚至不足 8×8 像素。即使有 FPN，这些小目标在深层特征图上的响应也弱得可怜，能提供的监督信号非常有限。更麻烦的是，小目标 loss 一旦被大目标稀释，模型就会逐渐倾向于忽略它们。

换个角度看，这其实不完全是模型结构的问题，而是 Data Provider 没有把数据喂到点子上。Stitcher 的核心贡献，是把 Data Provider 从“固定管线”变成“带反馈的控制器”：检测器告诉数据提供器当前缺什么，数据提供器在下一个 batch 就给什么。有点像老师根据学生的错题动态调整出题范围，而不是永远按同一本题库随机抽题。这个视角很有价值，因为它把所有数据增强方法都统一到了“按需供给”这个框架下。

1.2 小目标检测困境为什么一直难解决

小目标检测难，本质上是一个分辨率问题。目标在原图上占的像素少，特征经过多层卷积和降采样后，在深层特征图上的信息几乎被抹掉了。FPN 通过多尺度特征图缓解了一部分，但决定上限的仍然是输入图像给到模型的有效信息量。如果训练时输入图像进一步被缩小，小目标信息丢失就是不可逆的。

常见解法有几种。一是加大输入分辨率，比如把短边从 800 提到 1200 甚至更大，效果直接，但显存和算力成本直接翻倍，而且推理时一旦降回低分辨率，训练和推理的尺度不一致会让性能打折扣。二是多尺度训练，随机在一个尺度范围内缩放，但每个 batch 里仍然是一张图，尺度多样性有限。三是类似 Copy-Paste 的方法，把目标实例贴到别的图上，能增加小目标数量，但需要额外的实例分割标注，并不是所有项目都有这个条件。Stitcher 则是把这些方法里“固定、盲目”的部分换成“根据当前检测器状态动态调整”，而且不需要额外标注，也不需要提高推理成本。

它不声称能彻底解决小目标检测，但它在训练端提供了一个很聪明的补充维度：单个训练样本的“内部批量扩展”。也就是让一张输入图像同时包含多个缩放后的场景，相当于在计算量不变的前提下，增加模型每个 step 能观察到的小目标样本总数。这一点对数据规模不足、GPU 资源有限的项目尤其友好。论文反复强调“Data Provider”这个角色，我认为是在提醒大家：数据管线本身就是一个值得设计的组件，不应该只是写在 config 里的几个分辨率参数。

2. Stitcher 方法核心拆解

2.1 整体架构：Data Provider 变成一个闭环

Stitcher 的整体流程可以抽象成三个环节：检测器、反馈统计模块、拼接决策模块。常规训练里只有检测器在跑，Stitcher 多了一个反馈环。

检测器在每个 step 前向时，会得到分类 loss 和回归 loss。Stitcher 从中提取一个表示“当前数据是否满足模型需求”的信号，比如小目标分支的 loss 占比、所有正样本中小目标样本的占比，或者难例样本的平均损失。这个信号会传给数据提供器，数据提供器据此决定下一个 batch 里“整图样本”和“拼接样本”各自占多少比例，以及拼接时用几张子图、缩放到什么尺度。

为什么要反馈，而不是直接学 Mosaic 固定拼四张图？因为训练不同阶段对数据的需求是变化的。训练早期，模型连大目标都没学好，粗暴地把图像缩小拼起来，可能让模型更困惑；训练后期，模型在简单样本上越来越饱和，小目标 loss 占比会自然上升，此时增加拼接样本能提供更密集的小目标监督。固定策略无法适应这种变化，甚至有研究表明，过度使用缩略图拼接会引入采样偏差。Stitcher 用一个轻量反馈机制解决了这个问题，而且不增加太多额外计算。

我理解论文里说的“Feedback-driven”并不是要训练一个复杂控制器，而是强调数据提供器可以感知检测器状态。实现上其实可以很简单：维护一个滑动窗口，统计最近若干个 batch 的小目标 loss 比例，然后按阈值决定拼接比例。这样工程落地非常友好，不需要深度学习背景也能实现。

2.2 图像拼接策略：如何“缝”出一张训练图

拼接是 Stitcher 最直观的部分。假设检测器输入分辨率是短边 800，batch size 是 2。常规 batch 就是 2 张 800×800 的原图。Stitcher 可能会这样组织：其中一张保持整图逻辑不变，另一张则用 4 张经过随机缩放和裁剪的 400×400 图片拼成。这 4 张子图可以来自不同原始图像，拼完后整体尺寸仍是 800×800，标注框也同步变换到拼接坐标系。

从模型角度看，这一张拼接图相当于对 4 个 400×400 的场景做了一次聚合前向。单个场景里的目标虽然在缩放后尺寸变小了，但它们被集中到了一个 batch 内部。同样一次前向和反向传播，模型可以从更多场景里学习，尤其能接触到更多小目标实例。这个思路和 Mosaic 有相似之处，但 Stitcher 更强调决策的反馈驱动。

拼接图的标注处理其实也很直接。每个子图在拼接前维护自己的标注框，拼到大图时只需要把每个框的坐标加上子图在网格中的偏移量。如果某个目标跨到了拼接缝，要么直接忽略，要么只保留在子图内部的部分；如果两个子图的目标在拼接边界附近重叠，按照正常检测训练时的 NMS/IoU 逻辑处理即可。这些都属于实现细节，论文里应该都有说明，复现时最花时间的反而是这类琐碎工程。

关于缩放比例选择，论文几乎一定会分析不同 scale 的影响。scale 太小，目标缩小到等于没有，信息丢失严重，而且很容易低于 anchor 匹配的阈值，产生大量无效正样本；scale 太大，一张拼接图放不下太多子图，收益降低。常见的选择是 scale=0.5、网格 2×2，或者 scale=0.7、网格 2×3。反馈机制可以动态调节 scale 或拼接比例，这一点在实践里非常实用。

2.3 反馈机制的关键设计

反馈信号如何设计，决定了整个系统是否比固定拼接强。论文里可以用 loss ratio 作为信号，也可以统计正样本分布。这里有一个容易踩的坑：如果直接用全部分类 loss，负样本（背景）占绝大多数，噪声很大。更好的做法是只在正样本区域计算小目标 loss 占比，或者按目标面积区间统计。

我自己在尝试时，更喜欢用“正样本中小目标的数量占比”作为反馈信号。原因是 loss 受分类难度影响很大，同一个目标在不同训练阶段可能给出完全不同的 loss，统计方差大；而正样本数量占比虽然粗糙，但它直接反映“小目标监督是否缺少”这件事，更稳定，也更符合直觉。

另一个关键点是反馈的增益控制。比如模型当前小目标 loss 占比高于阈值 A，就把拼接比例从 25% 调到 50%；如果低于阈值 B，则回到 25%。阈值 A 和 B 之间需要留一段滞回区间，避免在阈值附近反复横跳。这有点像温控器的设计思路：加热到 22 度停，降到 20 度再开，中间留 2 度缓冲区。直接做 PID 反馈也可以，但论文大概率用的是简单启发式，因为实验表明简单的规则已经足够稳定。

论文标题里的“Feedback-driven”暗示反馈信号可能还会指导拼接图的尺度选择：当前 batch 如果大目标居多，模型不缺大目标样本，就少拼；如果小目标居多，就多拼。这种方法相比把所有增强策略都写死，相当于加了一个自动化调节旋钮。你不需要在训练前反复试 scale 和拼接比例，模型自己的状态会告诉你该怎么选。

3. 实验效果与关键细节分析

3.1 常用实验配置与评测指标

Stitcher 的验证通常会放在常规检测框架上，比如 Faster R-CNN 或 RetinaNet，搭配 FPN 做多尺度特征。数据侧一般使用大规模公开检测数据集作为基准。评测指标以 AP 为主，尤其关注小物体 AP，也就是通常面积小于 32×32 像素的目标，以及整体训练稳定性。

实验设置上需要严格控制变量：模型结构、训练超参、总迭代数保持一致，唯一变化是 Data Provider。这样才能证明提升确实来自 Stitcher 而不是其它因素。好的论文还会额外比较“固定拼接”和“反馈拼接”，用来体现 feedback 的价值。

从论文报告的常见趋势看，Stitcher 在整体 mAP 上能带来收益，但更亮眼的通常是 AP_s（小目标 AP）的涨幅。这其实很容易解释：Stitcher 直接在小目标样本供给上做文章，相当于把小目标问题从数据源头扶了一把。大目标本来就拥有充足的正样本和清晰的特征，改造数据提供器对它们的收益自然有限。

3.2 关键结果与“为什么有效”的解读

如果只报数字不解释机制，论文笔记就没有意义。Stitcher 为什么有效，我总结了三点。

第一，拼接扩大了单个 batch 内的场景多样性。正常 batch 里两张图最多提供两个背景上下文，拼接后一张图里就有四个场景。检测器在一个反向传播步里接触更多上下文，过拟合风险降低，特征表达更鲁棒。这本质上是数据增强带来的正则化效应。

第二，反馈机制让数据供给随训练进度自适应。训练早期，模型需要先建立基础的图像特征，这时密集小目标样本可能让 loss 震荡；训练后期，模型对简单样本已经饱和，小目标 loss 占比上升，反馈机制自动增加拼接样本，把训练资源集中在短板。这种动态课程式的调整，是固定 Mosaic 和 Copy-Paste 不具备的。

第三，在计算预算受限时，拼接图让每个 step 的信息量更大。同样一次前向，常规方法只能看两个场景，Stitcher 能看四个甚至更多。虽然每个场景的分辨率下降了，但目标数量、背景多样性、边界信息的总收益通常是正的。你可以把它理解为：用一点点数据预处理的复杂度，换取了对有限 GPU 算力的更高效利用。

3.3 显存、算力与训练吞吐的权衡

实现层面，Stitcher 的图像拼接发生在 CPU 或 GPU 预处理阶段，不会增加 GPU 前向和反向的计算量。因为输入 shape 和 batch size 都没变，FLOPs 不变。唯一额外开销在数据加载端：多读几张图、做缩放、拼接、坐标变换，用 OpenCV 或 PyTorch 的张量操作都能快速完成。

不过需要注意的是，拼接图虽然计算量不变，但对 BatchNorm 统计有一定影响。拼接图内部的几个子图来自不同图像，亮度、对比度、内容分布差异较大，如果模型使用 BatchNorm，均值和方差估计容易抖动。论文在训练时应该会调整 BN 的 momentum，或者对拼接图做更温和的归一化。复现时我强烈建议关注这一点，否则可能在训练中后期出现莫名其妙的 loss 波动。

还有一个容易被忽略的点：拼接图不能无限提升信息量。缩放比例过小，目标可能低于 anchor 匹配的 IoU 底线，反而产生大量无效正样本。所以论文里反馈机制的作用不仅是“多拼”，还体现在收益为负时“少拼”。这个动态开关比固定策略安全得多，因为它在数据尺度不适合时会自动往回收。

4. 复现要点与踩坑记录

4.1 复现时的三个关键设计：拼接、反馈、BN

先说拼接。建议第一版先做固定拼接，验证基础效果，再接反馈。固定拼接参数可以从 scale=0.5、网格 2×2 开始。以输入尺寸 800×800 为例，4 张 400×400 的子图刚好铺满一张输入图。如果输入是 1333×800，可以拼 2×2 再加边缘处理。先不要一上来就搞复杂网格，否则排查问题时会分不清是拼接逻辑出错还是反馈逻辑出错。

再说反馈。我的建议是统计正样本里小目标的数量占比，而不是 loss 比值。实现时维护一个长度为 100 的队列，计算 EMA 平滑值。阈值可以设置成两个：比如小目标占比低于 0.15 时增加拼接比例，高于 0.3 时降低拼接比例。中间的 0.15 到 0.3 就是滞回区间。这样反馈不会来回震荡，训练曲线会稳定很多。

最后是 BN。如果你用的是预训练模型，拼接图会带来域漂移。我的做法是前几个 epoch 用纯整图训练，让 BN 统计先稳定下来，之后再逐渐引入拼接图。另外把 BN momentum 从默认的 0.1 调高到 0.25，也能减少跳变。如果框架支持 SyncBN，建议直接开，效果会更稳。这些细节论文里可能不会写，但实际复现时非常重要。

4.2 常见问题排查与参数速查表

我把自己做复现时遇到过的几个典型问题整理成了表格，排查思路不一定和论文完全一致，但应该能省不少时间。

还有一个小技巧：在调试阶段，可以把拼接图可视化出来，把坐标变换后的 GT 框画上去。这一步能发现大多数粗心错误，比如子图偏移量算错、拼接顺序不对、GT 没有跟着缩放等。可视化回归之后再跑完整实验，比对着 loss 曲线猜问题快得多。

4.3 该用在哪些业务场景

Stitcher 不是万能的。它最适合的场景是训练数据里小目标占比高、GPU 资源有限、又不想在推理时提高输入分辨率的项目。典型如无人机航拍图像检测、卫星遥感目标检测、密集人群或密集车辆计数。这些场景的原图往往很大，直接缩放到短边 800 会丢失大量小目标，Stitcher 的多子图拼接能在一个固定尺寸输入里保留更多小目标实例，相当于在高分辨率资源有限的环境里做了一个折中。

反过来，如果任务里目标普遍是中等以上尺寸，即使有一些小目标，但模型已经能学得差不多，Stitcher 的收益就会很有限。另外，如果输入图像本身已经很小，比如宽高都不超过 400 像素，拼接可能没有足够的子图空间来发挥价值，此时直接使用更大输入分辨率或者普通的多尺度训练反而更简单。

我还有一个建议：Stitcher 和半监督检测搭配起来也很有意思。半监督训练通常需要大量无标注数据，数据提供器的随机性更强，反馈机制可以根据伪标签的置信度分布动态调整拼接策略。这算是论文扩展方向，但思路是通的。

5. 个人思考与扩展方向

5.1 Stitcher 与 Mosaic、Copy-Paste 的横向对比

现在很多检测框架都内置了 Mosaic 增强，Stitcher 经常被拿出来和 Mosaic 比较。Mosaic 随机拼接 4 张图，固定合并尺度，实现简单，对提升小目标确实有效。但 Mosaic 是盲目的，它不知道当前模型到底缺什么。Stitcher 的反馈机制让拼接比例随训练进度变化，相当于 Mosaic 的自适应版本。

Copy-Paste 是另一个思路：把标注实例贴到不同的背景图上，增加小样本数量。它和 Stitcher 可以互补：Copy-Paste 着重于“增加实例”，Stitcher 着重于“调整场景密度和尺度”。实际项目中我建议组合使用，比如先做 Copy-Paste 生成更多小目标样本，再用 Stitcher 的反馈机制决定拼接比例，效果通常比单独用任何一个都更稳。

5.2 从 Stitcher 延伸出去的可能性

Stitcher 提出了一种“Data Provider 也是可学习、可调节的”范式。顺着这个思路，可以扩展到类别不平衡问题：让 Data Provider 根据当前各类别 loss 动态调整采样权重；扩展到难例挖掘：检测器告诉 Data Provider 哪些样本难，Data Provider 下一轮多取难样本附近的样本；甚至可以扩展到无监督域适应，用目标域的伪标签反馈来调整源域数据供给。

我现在读这类论文，越来越关注训练数据侧的设计。模型结构已经卷得很厉害，但数据供给仍然存在很大的提升空间。Stitcher 的价值不在于它一定超过所有数据增强方法，而在于它把“反馈”引入了数据加载器，这是一个方向性的贡献。哪怕不用它的完整拼接方案，只在你的检测训练代码里加一个“根据小目标 loss 动态调整多尺度训练比例”的小模块，都可能看到收益。

我自己在复现类似策略时最大的体会是：数据增强不是越猛越好，而是要看模型缺什么。Stitcher 这种“给当前训练状态加反馈”的思路，本质上是在数据侧引入了闭环控制，和人工调增强参数相比，更省心也更鲁棒。如果手头项目正好卡在小目标上，不妨先按文中的方式实现一版固定拼接，再套上反馈逻辑，很可能会有意外收获。读论文最好的方式，就是看完之后马上在自己的代码里做一个最小实验。