企业官网建设流程全解析

一、本文介绍

本文记录的是利用Super Token Attention（STA）机制优化YOLOv8的目标检测网络模型。

传统视觉Transformer的全局自注意力机制虽能捕捉长程依赖，但计算复杂度与令牌数量呈二次关系，资源占用极大；局部注意力或早期卷积虽降低了计算量，却牺牲了全局建模能力，且浅层存在高冗余。STA借鉴超像素思想，通过稀疏关联学习将视觉令牌聚合为语义紧凑的超令牌，在超令牌空间高效执行自注意力以捕捉全局依赖，再通过令牌上采样映射回原始令牌空间，将复杂的全局注意力分解为稀疏关联图与低维注意力的乘积，实现了高效且有效的全局上下文建模，同时保留局部特征表达能力。

专栏目录：YOLOv8改进目录一览 | 涉及卷积层、轻量化、注意力、损失函数、Backbone、SPPF、Neck、检测头等全方位改进

专栏地址：YOLOv8改进专栏——以发表论文的角度，快速准确的找到有效涨点的创新点！

二、Super Token Attention介绍

Vision Transformer with Super Token Sampling

2.1 出发点

• Vision transformer在浅层捕获局部特征时可能存在高冗余，局部自注意力或早期卷积的使用会牺牲捕获长程依赖的能力。为了解决在神经网络早期阶段能否进行高效且有效的全局上下文建模这一挑战，受超像素设计的启发，将其引入到Vision transformer中，提出了Super Token Attention模块。

2.2 原理

• 借鉴超像素减少后续处理中图像基元数量的思想，假设超令牌是视觉内容的一种语义上有意义的细分，从而减少自注意力中的令牌数量并保留全局建模能力。通过稀疏关联学习从视觉令牌中采样超令牌，对超令牌进行自注意力操作，然后将它们映射回原始令牌空间，将普通的全局注意力分解为稀疏关联映射和低维注意力的乘法，从而高效地捕获全局依赖关系。

2.3 结构

• Super Token Attention模块由三个过程组成，即Super Token Sampling (STS)、Multi - Head Self - Attention (MHSA)和<