企业官网建设流程全解析

论文题目：Masked and Shuffled Blind Spot Denoising for Real-World Images（面向真实图像的掩码与打乱式盲点去噪）
会议：CVPR 2024
论文地址：CVPR 2024 Open Access Repository
项目主页：Masked and Shuffled Blind Spot Denoising for Real-World Images
官方代码：GitHub - hamadichihaoui/mash · GitHub

摘要：本文提出了一种基于盲点去噪（Blind Spot Denoising，BSD）原理的新型单幅图像去噪方法，称为 MAsked and SHuffled Blind Spot Denoising（MASH）。我们重点关注真实图像中经常出现的相关噪声。MASH 源于对输入的盲点程度（掩码比例）与未知噪声相关性之间关系的细致分析。此外，我们引入了一种打乱技术，以削弱噪声的局部相关性，进一步改善去噪性能。我们在多个真实世界含噪图像数据集上进行了广泛实验，结果表明，与现有自监督去噪方法相比，MASH 获得了具有竞争力的先进性能。

一、研究背景与核心问题

1.1 为什么真实图像噪声更难处理？

传统盲点去噪有一个关键前提：干净图像中的相邻像素通常相关，而噪声在像素之间相互独立。因此，隐藏当前位置的像素后，网络可以利用周围信息恢复真实信号，却无法可靠地预测该位置的随机噪声。然而真实相机图像经历传感器采集、插值、成像处理等环节后，噪声可能具有明显的空间相关性。即使中心像素被遮住，邻域中的噪声模式仍可能透露它的噪声值，网络就有机会“把噪声也学回来”。

论文 Figure 1：从独立噪声到高度相关噪声的三种模拟图像

作者使用参数 β 控制空间相关程度，分别研究 β = 0（独立同分布噪声）、β = 0.5（中等相关）和 β = 1（高度相关）。从图中可以看到，相关噪声不只是散乱颗粒，更可能呈现连续纹理或斑块，因而容易与真实结构混淆。这也解释了为什么只在高斯独立噪声上表现良好的方法，面对真实图像时未必稳健。

1.2 MASH 要解决的两个问题

这篇论文的目标不是设计一个依赖大量训练样本的新骨干网络，而是研究仅利用当前一张含噪图像进行测试时训练（test-time training）的去噪方法。作者追问两个问题：第一，掩码比例是否应该随噪声相关性改变？第二，能否直接减弱相关噪声，而不是完全依赖网络学会区分它与图像纹理？对应的答案就是 MASH 的两项核心设计：自适应掩码（Adaptive Masking）与局部像素打乱（Local Pixel Shuffling，LPS）。

二、从 BSD 出发：掩码比例为什么重要？

2.1 盲点去噪的自监督目标

设含噪图像为 y，网络为 fθ，二值掩码 m 的取值为 0 或 1：其中 0 表示隐藏像素，1 表示保留像素。掩码比例 τ 就是被隐藏元素所占的比例。网络接收 y ⊙ m，只在隐藏位置上与原始含噪图像 y 计算重建误差：

这个目标不需要干净图像作为标签。它依赖一个统计事实：如果噪声互不相关，周围像素虽能提示图像内容，却难以准确预测被遮挡位置的噪声。但噪声存在空间相关时，邻域噪声也可能成为可预测信息，导致 BSD 去噪能力下降。因此，遮住多少像素不只是数据增强参数，更决定网络能从邻域学到多少噪声。

2.2 噪声相关性决定“应该遮多少”

为了研究这一点，作者在 Kodak 图像上合成不同相关程度的噪声。其协方差模型在同一像素处取 σ²，在距离不超过 k 的不同像素之间按距离及 β 衰减，超过 k 则设为 0。主实验取 σ = 25、k = 3，并改变 β 和掩码比例 τ。

论文 Figure 2：不同噪声相关性下，掩码比例与 PSNR 的关系

结果非常有启发性：对于 β = 0 的独立噪声，较小的掩码比例效果更好；β = 1 时，较高的掩码比例更有优势；β = 0.5 时，中等掩码比例（约 0.3～0.5）更合适。直观理解是：独立噪声环境中，应尽量保留有价值的图像上下文；高度相关噪声环境中，保留过多邻域像素反而给网络提供了拟合噪声的机会，需要更强的遮挡正则化。

这个观察直接引出 MASH 的第一个创新：不能给所有图像固定使用 τ = 0.5，而要先判断相关噪声的程度，再选择掩码比例。

三、自适应掩码：不知道噪声相关性，怎么选 τ？

3.1 用两种掩码产生的估计差异作为线索

实际输入只有一张未知噪声图像，不可能直接使用合成实验中的真实 β。作者提出一个间接办法：分别以低掩码比例 τlow = 0.2 和高掩码比例 τhigh = 0.8 训练 BSD，观察两者对噪声强度的估计有多大差异。对给定比例 τ，噪声强度估计定义为：

其中 H、W、C 分别表示图像高、宽及通道数。然后计算两个估计的差值：

这里的 ε不是直接计算得到的噪声空间相关系数，而是一个与相关程度具有经验对应关系的代理指标。由于高、低掩码对相关噪声的拟合行为不同，当噪声相关性增强时，它们得到的估计差异往往也会扩大。

论文 Figure 5：不同噪声相关水平下，高低掩码模型的噪声强度估计曲线

图中从 β = 0、0.5 到 1，高低掩码估计曲线的分离程度逐步增大。作者使用收敛后的估计值构造 ε，避免过度依赖训练初期的波动。这个现象为自动选择掩码提供了依据，但它仍是实验驱动的启发式判据，而不是对真实噪声协方差的精确求解。

3.2 根据 ε 自动选择掩码比例

MASH 将掩码比例离散为三个候选值：τlow = 0.2、τmedium = 0.5、τhigh = 0.8；再设置 εlow = 1.5、εhigh = 2.5。核心选择规则为：

因此，弱相关噪声采用低掩码以保留更多结构信息，中等相关噪声采用折中掩码，高相关噪声采用高掩码抑制噪声拟合。这里的“最优”指在作者候选集合和经验阈值下自动选择，并不是保证对所有图像和连续 τ 都达到全局最优。

四、局部像素打乱：直接削弱空间相关噪声

4.1 为什么还要引入 LPS？

提高掩码比例虽然能减轻相关噪声的影响，但不能真正改变输入噪声的空间结构。作者进一步提出：如果能够把干净图像亮度近似相同的像素重新排列，那么信号可能基本不变，噪声之间原有的空间关联却会被打散。难点是我们没有干净图像，无法提前知道哪些像素的真实颜色接近。

MASH 的解决思路是先用 BSD 训练得到一幅中间去噪结果，把它当作伪干净图像（pseudo-clean image），识别局部平坦区域，再对这些区域的原始含噪像素进行随机打乱。这样就把“需要先有干净图像才能打乱”的循环依赖转化为一个分阶段优化过程。

论文 Figure 3：高度相关噪声下，局部像素打乱带来的 PSNR 改善

Figure 3 比较不同掩码比例下是否使用局部打乱的效果。在高度相关噪声条件下，加入 LPS 的曲线整体高于不使用 LPS 的曲线，说明这个操作提供了不同于单纯改变掩码比例的增益。

4.2 仅在平坦区域内打乱，而不是全图乱序

具体来说，作者先将图像划分为 s × s 的局部小块，在伪干净图像上计算小块内各通道的标准差并求平均。若该值小于阈值 λ，就把对应像素纳入近似平坦区域 Ωconst。令 c(y) 为区域指示图，平坦区域为 1，其余纹理区域为 0；Γ(y) 表示在每个局部小块内部对含噪像素进行随机排列。那么打乱后的目标图像为：

论文 Figure 4：含噪图像、平坦区域掩码和局部像素打乱后的图像

这张图需要关注：LPS 不会把整张图像的像素任意重排，而是只处理被判断为局部近似恒定的区域。边缘、轮廓和复杂纹理区域原则上保持原有空间排列，以避免随机置换破坏真实结构。这里存在一个基本权衡：区域选择过于保守，会削弱去相关效果；过于激进，则可能错误打乱真实细节。

4.3 把打乱图像作为训练目标

引入 LPS 后，BSD 的网络输入仍是掩码后的原始含噪图像，但目标从 y 改为打乱后的

于是网络继续学习恢复与原图相近的信号，却不再面对完全保留局部噪声相关结构的监督目标。需要注意，LPS 只在 ε 判断为高度相关噪声时启用，并非所有输入图像都执行打乱。

4.4 完整优化流程

论文 Algorithm 1 可以概括为：先用高、低两种掩码进行 BSD 预估 → 计算 ε → 选出 τoptimal → 若相关性较弱，直接以 BSD 损失训练；若相关性很强，则先常规训练 N1 步，生成伪干净图与平坦区域，再执行 LPS，并用 MASH 损失继续训练至 N 步。默认 N = 800，局部小块尺寸 s = 4，网络采用与 Noise2Noise 相同的架构，使用 Adam 和余弦退火策略从头优化。

最终输出并非仅使用一次网络预测，而是使用 K = 10 个随机掩码结果的平均值：

因此，MASH 虽然不需要额外数据集或预训练权重，但每处理一幅图像仍需要执行网络优化和多次预测，不能把它理解成无需训练、直接前向传播的去噪器。

五、实验结果与消融分析

5.1 实验设置与主结果

作者在 SIDD Validation、SIDD Benchmark、FMDD 和 PolyU 上评估真实噪声去除效果。其中，SIDD 来自手机相机的真实 sRGB 含噪图像，FMDD 为真实荧光显微镜图像，PolyU 包含多种相机拍摄的自然图像。评价指标为 PSNR 和 SSIM，主要对比单图像方法 BM3D、DIP、Self2Self、ScoreDVI 等，并提供使用额外数据训练的方法作为参照。

论文 Table 1：MASH 与单图像及数据集训练去噪方法在真实噪声数据集上的比较

MASH 在 SIDD Validation 上得到35.06 dB / 0.851，相比固定 τ = 0.5 的 BSD 基线33.12 dB / 0.805，PSNR 提升 1.94 dB；在 SIDD Benchmark 上由基线32.67 dB提升至34.78 dB。在 FMDD 上，MASH 达到33.71 dB / 0.882，优于表中比较的其他方法，尤其证明该方案对显微镜真实噪声也有价值。

但结果不能概括为“所有数据集、所有指标全面第一”。例如 SIDD Validation 上 ScoreDVI 的 SSIM 为 0.856，略高于 MASH 的 0.851；PolyU 上 ScoreDVI 达到 37.77 dB，而 MASH 为 37.62 dB。监督学习的 DnCNN 在 SIDD 上也有更高分数。更准确的结论是：在不依赖额外训练图像的单图像设定下，MASH 在多个真实噪声基准取得了很强的竞争力，尤其在 FMDD 上表现突出。

论文 Figure 6：平坦区域选择、局部打乱及不同配置下的去噪结果

这张图将自适应掩码与 LPS 的影响连接到具体图像：与固定掩码基线、只调整掩码的版本相比，完整 MASH 能进一步改善部分平坦区域中的噪声残留。

论文 Figure 7：SIDD 与 FMDD 上的去噪视觉效果比较

从示例可以看到，MASH 在压制明显噪声的同时，能更好地恢复颜色区域及显微镜目标轮廓。图示是局部样例，作用是补充 Table 1 的客观指标，而不是替代跨数据集的定量评估。

5.2 自适应掩码是否真的选对了？

论文 Table 2：自适应掩码比例选择的准确率

作者将三种候选掩码比例分别测试，以 PSNR 最佳的候选比例作为参考，再检查 MASH 是否选中它。结果显示，SIDD 上的选择准确率为88.7%，FMDD 为92.4%。这说明 ε 不只在合成噪声图像上呈现趋势，在真实数据集上也具有实际判别能力；同时它并非百分之百正确，仍可能存在误判。

5.3 自适应掩码与 LPS 分别贡献多少？

论文 Table 3：自适应掩码与局部像素打乱的模块消融

在 SIDD 上，不使用两个模块时 PSNR 为33.12 dB；只使用 LPS 为33.86 dB；只使用自适应掩码为34.45 dB；同时使用两者达到35.06 dB。FMDD 的对应结果为 32.25、32.92、33.56 和 33.71 dB。两种模块都能独立带来收益，而自适应掩码的单独提升更明显；LPS 的边际收益则取决于是否已经启用自适应掩码及数据特点。

这组实验说明两者并非简单重复：自适应掩码调整网络可见的上下文，LPS 则主动削弱训练目标中的局部噪声相关性。将两者结合，才得到完整 MASH。

5.4 局部打乱尺度是否敏感？

论文 Table 4：不同局部邻域尺寸 s 的消融实验

在 SIDD Validation 上，s 从 2 增大到 5 时，PSNR 由34.65 dB提高到35.15 dB；s = 6 时略降为35.09 dB。论文默认采用 s = 4，其成绩为35.06 dB，并不是表中分数最高的设定。这个结果表明，适当扩大邻域有助于打散噪声相关性，但区域过大以后收益趋于饱和，甚至可能影响局部图像结构。

5.5 计算效率与实际代价

论文 Table 5：模型参数量、计算量与处理时间对比

对于 256 × 256 × 3 图像，MASH 的模型规模为0.99M 参数、11.44G FLOPs，表中处理时间为75.3 秒；固定掩码基线为24.6 秒，说明自动估计相关性和附加训练过程带来了明显时间开销。但 MASH 仍快于表中的 DIP（146.2 秒）、ScoreDVI（81.2 秒）和 Self2Self（3546.5 秒）。因此，作者展示的是质量与计算成本之间较好的权衡，而非绝对最快的去噪速度。论文也指出，初始高低掩码训练阶段未来可以通过并行化进一步加速。

六、总结与思考

MASH 最值得记住的不是复杂的新网络，而是一个对盲点去噪前提的重新审视：**噪声不是独立的，遮挡比例就不能固定；只靠遮挡仍不足够时，还应设法改变噪声的空间相关结构。**作者首先通过合成实验建立“相关性越强，适合的掩码比例通常越高”的经验关系，再用两种掩码下的噪声强度估计差 ε 进行自动选择，最后在高相关噪声情况下通过局部像素打乱进一步去相关。

从方法设定看，MASH 的优势是只需一幅待处理的含噪图像，不依赖事先收集成对的干净/含噪训练集，也不要求预先知道真实噪声分布。不过它并非“零计算训练”：每张图像都需要从头优化，检测机制也依赖经验阈值；LPS 则依赖中间伪干净图像对平坦区域的判断。如果图像高度纹理化、伪干净图存在明显偏差，局部打乱带来的收益可能受限。这些属于从算法结构出发的适用性分析，不应被理解为论文已经对所有场景完成验证。

如果把整篇论文压缩成一句话：MASH 让单图像盲点去噪从“固定遮挡、被动适应噪声”，走向“感知相关性、自适应遮挡、主动去相关”。对于需要处理真实相机噪声、显微镜噪声等复杂相关噪声的任务，这个思路比单纯增加网络规模更值得借鉴。