企业官网建设流程全解析

1. 为什么“损失下降但效果却变差”：先从一次目标检测翻车说起

大概两年前，我在调一个基于YOLO系改出来的检测模型，数据集是自采的道路场景。前200轮训练一切正常，分类损失和回归损失都稳步下降，看着训练曲线非常漂亮。结果拿到验证集上一测，mAP不但没涨，反而掉了三个多点。当时第一反应是学习率策略出了问题，往复读了几天代码才发现，问题不在优化器，也不在数据增强，而是我用的交叉熵分类头在这种极度不平衡的正负样本分布下，实际上一直在被“简单背景框”牵着走。

这个现象说出来很多做检测的同学应该都有共鸣：一张图生成几万个候选框，其中真正含目标的可能就几十个，剩下全是背景。这些背景框里又有相当一部分非常“容易”，模型随便一猜就能给到很低的置信度。普通交叉熵对这类样本一点也不客气，照样输出一个不算小的梯度。于是几百个容易样本的梯度累积起来，直接把少数困难样本的信号淹没了。这就是为什么训练曲线看着一切正常，模型却一直在原地踏步。

后来我从交叉熵换到Focal Loss，问题才算真正解决。也是从那时起，我意识到损失函数不是模型最后随便挂上去的一个“尾巴”，它对训练过程的引导方式，几乎决定了模型最终能学到什么、学不到什么。这也是我写下这篇Day 39笔记的起因。

这篇文章我打算完整拆解两个在各自领域都非常有代表性的进阶损失函数：Focal Loss和Circle Loss。前者解决“样本不平衡背景下的难易样本训练权重”问题，后者解决“相似度学习任务中梯度方向不灵活”的问题。两个函数风格完全不同，但背后的设计思路很值得对比着吃透。

适合的读者我觉得有两类：一类是刚做完一两个分类或检测项目、想进一步理解训练为什么“看起来对但实际不对”的同学；另一类是已经在用Triplet Loss、ArcFace这类度量学习损失，但不太确定它们之间关系和取舍的工程师。

2. Focal Loss：一个带“聚焦开关”的交叉熵

2.1 交叉熵的“公平”为什么会坏事

先复习一下二分类交叉熵的标准形式。对单个样本来说，如果模型预测该样本属于正类的概率为p（负类就是1-p），那么交叉熵损失为：

L_ce = -log(p_t)

其中p_t表示模型对“真实类别”的预测概率。比如某个样本真实是正类，模型预测正类概率是0.9，那p_t就是0.9；如果模型只给出0.2，那p_t就是0.2。

交叉熵对“预测概率高”的错误惩罚是对数级的，也就是说，模型把0.9判错要付出的代价，远大于把0.6判错。这个性质本身没有问题，问题在于当样本量极不平衡时，“简单样本”的数量优势会把“困难样本”的梯度彻底稀释掉。

我做过一个粗略统计：在自采道路数据集里，单张图平均生成约2万个先验框，其中含目标的框大约只有50个。训练时，这2万个框里有接近1.9万个是“信心十足的背景框”，模型预测p_t基本都在0.95以上。单个背景框的损失确实小，但乘上1.9万这个基数之后，总量非常可观。反观那些真正需要修正的目标框，因为数量太少，贡献的梯度在反向传播时根本不值一提。

这跟开一个大会，会上十个核心问题被淹没了，剩下全被流程休息安排占据注意力是一个道理。损失函数在设计上需要一种机制，把注意力拉回到困难的、少数的那批样本上。

2.2 调制因子是怎么实现“聚焦”的

Focal Loss的公式长这样：

FL(p_t) = -α_t · (1 - p_t)^γ · log(p_t)

和交叉熵相比，它多了两个东西：α_t和(1-p_t)^γ。

其中γ叫做聚焦参数，一般取2。(1-p_t)^γ这个调制因子的作用是：当样本越容易被正确分类（p_t越接近1），这个因子越小，损失就被压得越低。反过来，当样本越难分（p_t越小），因子越接近1，损失几乎不变。

我列几个具体数值让你直观感受一下，假设γ=2：

看到没有，一个置信度0.95的简单背景框，贡献的损失被压缩了400倍，而置信度0.2的困难样本只被压缩了三分之一。这么一调整，简单样本的梯度总和就再也盖不住困难样本的信号了。

α_t这个平衡因子是对“类别不均衡”的另一个修正维度。γ改变的是简单样本和困难样本之间的相对权重，α_t直接给少数类别更高的基础权重。我在实际项目中两个都会用，但说实话，γ的影响远比α_t明显，α_t更像是在γ基础上再做一个细调。

2.3 一个重要直觉：Focal Loss没有强行改变样本分布

有一类理解需要避免：Focal Loss并没有像过采样、欠采样那样去改变“每个类别出现多少次”，它只是给不同样本在反向传播中的梯度贡献重新分配了权重。训练时每个样本仍然都会被看到，但简单样本的更新幅度被系统性地调低了。

这个区别很关键。过采样是物理上复制困难样本，让模型频繁看到同样的信息；Focal Loss则是让模型“已经学好的样本少开口、还没学好的样本多说话”。它在数学上等价于给每个样本的损失添加了一个动态的软权重，而这个权重完全取决于当前模型对每个样本的“熟练程度”。

这个“动态”特质非常重要。模型在训练初期的p_t普遍不高，调制因子此时接近1，Focal Loss基本等效于普通交叉熵；训练到后期，简单样本的p_t越来越高，权重被压倒很低，模型就开始精雕细琢那些难样本。换句话说，模型自己会根据学习进度去调整样本的注意力，不需要人工干预。

2.4 Focal Loss的PyTorch实现与关键细节

Focal Loss代码本身不复杂，但工程实现里有几个细节值得注意。下面是我在训练中实际使用的版本：

import torch import torch.nn as nn import torch.nn.functional as F class FocalLoss(nn.Module): def __init__(self, alpha=None, gamma=2.0, reduction='mean'): super().__init__() self.gamma = gamma self.alpha = alpha # 可以是标量，也可以是按类别给的tensor self.reduction = reduction def forward(self, logits, targets): ce_loss = F.cross_entropy(logits, targets, reduction='none') # 关键：取出每个样本对应真实类别的预测概率 pt = torch.exp(-ce_loss) # pt就是softmax后真实类别的概率 focal_weight = (1 - pt) ** self.gamma if self.alpha is not None: if torch.is_tensor(self.alpha): alpha_t = self.alpha.gather(0, targets) else: alpha_t = self.alpha focal_weight = alpha_t * focal_weight loss = focal_weight * ce_loss if self.reduction == 'mean': return loss.mean() elif self.reduction == 'sum': return loss.sum() else: return loss

这里我直接用了pt = torch.exp(-ce_loss)，因为交叉熵损失在数值上就等于-log(p_t)，取指数就能还原出概率，不需要再单独过一遍softmax取对应位置的值。这个写法既简洁又稳定，避免了one-hot和gather操作的性能损耗。

有个注意点：如果你在__init__里把alpha设成标量，意味着所有非目标类都被一视同仁，这通常不够用。大多数检测任务里背景类数量远大于目标类，alpha建议设成一个向量，按类别分别给权重。我在YOLO系的自定义分支里就是按照训练集中每个类别的样本占比取倒数再归一化来设定alpha，实测比统一固定值好调一些。

2.5 梯度层面的解释：focal loss到底改了什么

从反向传播的角度去看可能会更清楚。对普通交叉熵，某个样本的梯度大小正比于(p_t - 1)的绝对值，也就是预测错误越大梯度越猛。对Focal Loss，梯度会乘上一个额外的系数，这个系数本身体现了“预测概率p_t与1之间的距离的γ次方”。

这意味着Focal Loss不仅通过前向损失压制了简单样本，还通过梯度规模直接削减了简单样本在反向传播中的影响力。调参时我常常建议别人不用太纠结于损失绝对值的大小，而是观察那几个困难样本的梯度是否比训练之前更可观了。模型结构不变、优化器不变，单纯换掉损失函数就能明显感受到训练后期难样本的loss下降得更快，这就是Focal Loss把“阶梯”让给困难样本的直接体现。

3. Circle Loss：在相似度空间里画一个“圆”

3.1 Triplet Loss的尴尬：固定margin不够用

说完给分类设计、却在检测任务里大放异彩的Focal Loss，再来聊一个在检索、人脸识别、ReID这些度量学习任务里非常核心的损失函数：Circle Loss。

在进入Circle Loss之前，得先理解它要解决的问题。度量学习里最经典的损失函数是Triplet Loss，核心思路是从数据里抽三元组(anchor, positive, negative)，希望anchor和positive的距离尽可能小，而anchor和negative的距离尽可能大。Triplet Loss一般写成：

L_triplet = max(0, d(a, p) - d(a, n) + margin)

其中margin是人为设定的间距，比如0.2。如果负样本对距离已经比正样本对距离大出margin以上，损失为0，模型不再关心这对样本；如果不够大，就惩罚。

问题在于这个固定的margin设计得太“一刀切”了。有的负样本和anchor非常像，需要很大的推力才能拉开；有的负样本不太像，稍微推一下就足够了。可是Triplet Loss对这两类负样本使用的是完全相同的margin和梯度力度。我做ReID实验时发现，训练到中后期，大量三元组已经满足“正距 + margin < 负距”，损失直接变成0，不再提供任何梯度，模型的优化空间被白白冻住了一半。

另一个问题是Triplet Loss对“正样本对的距离”和“负样本对的距离”过于对称。实际任务里，正样本对的分布和负样本对的分布往往是不对称的。比如在人脸识别中，同一个人的两张不同照片可能因为光照、角度、年龄导致特征距离本来就比较大；而不同人的正面照反而可能很相似。这时用一个统一的距离间隔去push/pull，本质上是一种妥协。

3.2 核心思想：相似度不是越高越好，而是“恰到好处”

Circle Loss改为直接对“相似度”做优化，而不是对距离做优化。它给每个相似度得分都定义了目标区域，通过一组不等式约束，让类内的相似度s_p逐步增大、类间的相似度s_n逐步减小。

公式形式稍微复杂一点，但对每个正样本对和负样本对，它分别计算一个“自适应”的惩罚系数，整体看起来是这样的一套思路：

• 如果某个负样本对的相似度已经很低，说明它做得不错，那它对损失的贡献就应该变小；
• 如果某个负样本对的相似度还挺高，说明它很困难，那模型就应该给它更大的惩罚；
• 对正样本对则相反，相似度低的难正样本对获得更大惩罚，相似度已经很高的被放宽。

这里的关键是：决策边界不再是一条直线或一个固定间隔，而是一个圆形区域。所谓“圆”，指的是对正样本相似度和负样本相似度两个维度进行联合约束。最终形成的边界，在二维坐标系里看上去像一个圆（或者圆的一部分），这也就是Circle Loss名字的由来。

打个比方，Triplet Loss像是一位教练对每个学员都用同一个固定及格线，不管学员基础好坏；Circle Loss则更像一位懂得“因材施教”的教练：进步空间大的学员多练，已经做得好的随时可以休息。

3.3 与Softmax系损失函数的统一视角

如果只盯住公式本身，不容易看出Circle Loss的价值。更简洁的理解方式是把它放回度量学习的大谱系里。在人脸识别、行人重识别等领域，现在的主流方法其实是softmax系变体，比如CosFace、ArcFace，它们本质上是在训练样本和分类权重向量之间，对相似度加margin。而Circle Loss论文中有一个重要的推论：包含CosFace、ArcFace在内的许多损失，都可以被Circle Loss统一和覆盖。

我之前用ArcFace做过人脸识别baseline，ArcFace给正样本相似度加一个固定的角度间隔m，让模型硬性要求“相似度大于阈值+m才算匹配好”。Circle Loss则不会要求正样本和负样本都围绕同一个m去优化，它让每个样本自己决定该被“推得多远”。这篇论文里给出的实验结论是，在同样的特征提取器下，Circle Loss通常可以在多个检索benchmark上超过当时的主流方法，靠的就是那个自适应的权重。

对于我这种“原理上懂了、但上手需要代码验证”的工程师来说，Circle Loss最吸引人的地方在于它其实并没有多复杂，实现起来甚至比ArcFace还简洁。下面给一个我在项目里用过的PyTorch版本，省去相似度矩阵构造的部分，专门展示损失本身的运算逻辑。

import torch import torch.nn as nn import torch.nn.functional as F class CircleLoss(nn.Module): def __init__(self, margin=0.25, gamma=80.0): super().__init__() self.margin = margin self.gamma = gamma def forward(self, similarity_matrix, labels): # similarity_matrix: (N, N) 余弦相似度矩阵, 已归一化 # labels: (N,) 每个样本的类别标签 N = labels.size(0) # 构建正/负样本掩码 mask_pos = labels.unsqueeze(0).eq(labels.unsqueeze(1)) # (N, N) mask_neg = ~mask_pos # 去掉对角线自身 mask_pos.fill_diagonal_(False) # 提取正负样本对的相似度 s_p = similarity_matrix[mask_pos] # 所有正样本对的相似度 s_n = similarity_matrix[mask_neg] # 所有负样本对的相似度 # 自适应惩罚系数 alpha_p = torch.clamp(1 + self.margin - s_p.detach(), min=0) alpha_n = torch.clamp(1 + self.margin + s_n.detach(), min=0) # 正样本对：希望相似度越接近 1-margin 越好 logit_p = -self.gamma * alpha_p * (s_p - 1 + self.margin) # 负样本对：希望相似度越接近 margin 越好 logit_n = self.gamma * alpha_n * (s_n - self.margin) # 合并做logsumexp，得到最终损失 inner_sum = torch.logsumexp(logit_p.unsqueeze(0), dim=1) + \ torch.logsumexp(logit_n.unsqueeze(0), dim=1) loss = torch.log(1 + torch.exp(inner_sum)).mean() return loss

这段代码中有几个实现细节需要格外注意。

第一，alpha_p和alpha_n在计算时必须用detach()隔断梯度，原因是它们本身是“关于当前相似度得分”的函数，如果不隔断会导致梯度走一条“循环依赖”的路径，训练起来很不稳定。Circle Loss的论文里也专门提到alpha应当被当作权重而不是损失的一部分来对待。

第二，gamma的最优范围通常在64到256之间，相比Focal Loss的γ=2大得多。原因在于Circle Loss内部通过gamma把相似度差异放大了，让softmax的区分效果更锐利。gamma太小，所有正负样本对的梯度压力都会变得平均，退化成类似Triplet Loss的形态；gamma太大，训练前期容易震荡，推荐先从小值开始调。

第三，相似度矩阵最好使用温度缩放后的余弦相似度。具体做法是把特征向量做L2归一化后乘上一个缩放系数（比如16或32），这样相似度的范围不至于被压得太扁。如果不做这一步，Circle Loss的效果会受到较大影响，这也是很多复现失败的隐藏原因。

3.4 与Focal Loss的本质区别在哪里

到这里肯定有人会问，Focal Loss和Circle Loss都带“自适应权重”的感觉，它们本质区别是什么？

Focal Loss的自适应体现在样本难度上：调制因子只看当前样本被分得对不对、被分得多确信，不管这个样本属于哪个类别。Circle Loss的自适应体现在类内与类间相似度的相对状态上：它同时观察正样本对和负样本对，如果负样本对已经很容易分开，就放松对它的要求，把更多梯度分配到仍然混淆不清的正负样本对上去。

简单来讲，Focal Loss的“聚焦”是一维的、基于每个样本自身置信度的；Circle Loss的“聚焦”是二维的、基于样本对之间关系的。前者的战场是密集预测，后者的战场是实例检索和特征嵌入。

4. 同一批数据，两种损失函数的真实表现对比

4.1 我做过的一组最小对照实验

为了写这一节，我用公开数据集做了一组小规模的对照。任务分别选了二分类检测的难易样本问题，以及商品图检索的同类匹配问题。结构尽量保持一致，只换损失函数。

先看Focal Loss的对照。我用一个两层的卷积分类器在CIFAR-10的“猫 vs 其他”上做了人工类别不平衡处理，正样本只保留5%，其余全当负样本。

有意思的是γ从2调高到3之后，正类召回率反而微降了一点。原因是γ过强会过度压制所有“高置信度”样本，包括那些其实已经学得很好的困难样本，反而导致特征空间不够饱满。这印证了Focal Loss并非γ越大越好，2是一个非常稳健的默认起点。

再看Circle Loss的对照。在同一批商品图特征提取任务中，我用ResNet18做骨干，分别接Triplet Loss和Circle Loss，特征维度64，训练10个epoch。

从这个表能明显看出，Triplet Loss在训练后期几乎不提供有效梯度，ArcFace相对更好一些，Circle Loss则在这组实验里拿下了最高准确率和最强的后期优化能力。虽然这只是一个小实验，受限于数据集规模，不能代表所有业务场景，但它基本印证了Circle Loss论文里“优于固定margin方法”的结论。

4.2 损失曲线的“健康状态”怎么看

这几年随着YOLOv8等框架普及，初学者越来越习惯看训练日志里打印出来的loss曲线。热词里也常有“yolov8画损失函数曲线图”“inner-giou损失函数图像怎么画”这类搜索，这说明大家对训练曲线的解读是有真实需求的。

我个人的习惯是：不只盯着“总损失”一条曲线，而是把分类损失和回归损失拆开来看。Focal Loss替换掉普通分类头之后，我预期看到的曲线形态是：前几十个epoch分类损失下降较快；中期开始下降变缓，但每一个梯度更新仍然会带来可见的变化；后期训练接近收敛，损失曲线不再大幅波动，在某个区间震荡。

如果某个epoch之后分类损失突然直线下降，甚至归零，你要警惕，这不是模型变强了，更有可能是梯度爆炸或者数值溢出到NaN导致的假象。同理，如果训练一开始损失就在非常低的水平，那说明初始化或数据配对有问题，模型并没有学到任何实质特征。

至于“怎么画损失曲线”，方法很简单，在训练循环里把每个epoch的平均损失append到一个list里，然后用matplotlib画出来即可：

import matplotlib.pyplot as plt epochs = range(1, len(train_loss_list) + 1) plt.plot(epochs, train_loss_list, label='train loss') plt.plot(epochs, val_loss_list, label='val loss') plt.xlabel('epoch') plt.ylabel('loss') plt.legend() plt.grid(True) plt.savefig('loss_curve.png')

关键不在于怎么画，而在于怎么从曲线中判断问题：如果train loss和val loss都在降，说明训练健康；如果train loss降、val loss开始升，是过拟合信号；如果两个loss都高位震荡不下降，先查学习率，其次查数据预处理，最后再怀疑损失函数本身实现是否有误。

4.3 两个损失函数在业务选型时的决策建议

实际业务里你通常不会在同一个模型里同时用这两个损失函数，因为它们的适用场合并放不到同一个输出头上。我自己的选型逻辑很简单：

• 如果你在做一个目标检测、分割、或者任何带有“海量候选区域、正负比例悬殊”的任务，先别急着加各种复杂的采样技巧，直接把分类头换成Focal Loss，多半能获得比各种后处理技巧更直接的收益。
• 如果你在做检索、识别、重识别，或者任何需要把对象映射成一个“可比较向量”的任务，直接抛弃手工构造Triplet采样 + margin的思路，优先尝试Circle Loss或者ArcFace。
• 如果是一个多任务模型，比如检测模型里既有目标分类又有embedding分支，完全可以让两个分支分别用不同的损失函数，这在多任务学习框架里是很常见的做法。

5. Focal Loss与Circle Loss实战调参的坑

5.1 坑一：γ=0时你到底在用什么

这是我最想强调的一点：把γ设成0，Focal Loss就退化成了加了类别权重α_t的普通交叉熵。这个退化性质经常被忽略，导致很多人调参时以为自己在用Focal Loss，但实际跑的还是交叉熵。

我偶尔会故意把γ设成0跑一个baseline，用来标定任务本身的下界。这样后面调γ时才能量化看到真正来自Focal Loss的收益，而不是数据增强或随机种子的波动。如果γ从0提升到0.5再到1再到2，效果越来越明显，说明这个任务对难样本聚焦确实敏感；如果从0直接跳到2效果就突飞猛进，那说明你的困难样本里混杂了大量标签噪声——因为模型很确信地把一些错标签样本当成困难样本在不断学习。

5.2 坑二：Focal Loss会放大难样本中的噪声

Focal Loss给困难样本分配更高权重，但“困难样本”不等于“有价值样本”。如果训练集中存在标签噪声，那些预测概率很低的样本，很有可能是被错误标注的。Focal Loss会把大量梯度砸在这些错标样本上，轻则训练震荡，重则直接把模型带偏。

我自己验证过一个很典型的场景：在一个瑕疵检测项目里，工人在标注时把不同瑕疵类别标混了一部分。用普通交叉熵训练，模型还能靠“多数正确样本”稳定住；换成Focal Loss后，验证集上原本识别率较高的那一类瑕疵，反而掉了好几个点。排查了好几天才发现是标签问题。

所以我的建议是：当你的任务里标签噪声较高时，不要把γ调得过大，同时配合置信度过滤、或者对损失值做截断。如果想彻底解决，还是要回到数据清洗，因为损失函数不是去噪工具。

5.3 坑三：相似度损失前，特征归一化不可省

Circle Loss这一类度量学习损失，默认的输入是归一化后的特征向量，也就是余弦相似度。有些人直接从分类网络迁移过来，特征向量长度从几十到几百不等，夹角和模长混杂在一起，Circle Loss的收敛就会变得非常不稳定。

无论用Triplet还是Circle，我固定会在embedding层之后加一个L2 Normalization层，把特征向量模长缩放到1。如果需要更强的区分度，再乘一个缩放系数scale，通常设成16或32。这一步看起来轻描淡写，但在训练中带来的稳定性提升是非常明显的。

5.4 坑四：优化器和学习率需要一并调整

Focal Loss和Circle Loss都会改变整个损失曲面的“陡峭程度”。我自己在把普通交叉熵换成Focal Loss时，一般会把初始学习率调低30%到50%，尤其是在检测框架中，因为Focal Loss在前期对难样本的梯度权重和普通CE差不多，但其损失值的绝对值整体更小。如果照搬原来的优化器参数，会出现前期loss下降反而变慢的错觉。

Circle Loss的gamma如果设置得比较大，比如200以上，那损失面的“尖峰”会非常突出，SGD在这类曲面上的表现常常不如AdamW。我在做ReID时习惯用AdamW + 与线性warmup配合，效果比单纯SGD好很多。调参时如果发现loss曲线像锯齿一样抖动，多半就是优化器与损失函数两者不匹配。

5.5 关于“损失函数不能解决所有问题”的提醒

最后想提醒一点：损失函数再优秀，它也只是训练引导的一部分。我在项目里见过有人把数据不平衡问题完全寄希望于Focal Loss，结果发现因为很多背景框的标注本身就错了，Focal Loss只是把这种错误进一步放大。有人指望只把Triplet Loss换成Circle Loss就能涨点，但特征提取器的容量不够，照样学不透。

我的习惯做法是：先把数据问题解决到可以接受的程度，再引入进阶损失函数作为“助推器”。先用普通交叉熵或Triplet Loss把整套训练流水线跑通，确认数据、增强策略、优化器都没问题，然后再把损失函数替换下来对比。只有在这种状态下，如果你发现简单损失函数的性能瓶颈确实来自难样本或固定margin，Focal Loss和Circle Loss才会真正展示出它们的威力。

关于这两个损失函数，我还要分享一个我自己的小习惯：无论论文里给的默认参数多漂亮，我都会在自己任务上做一组“单变量扫描”，γ按0、0.5、1、2、3这样梯度递增，gamma按64、128、256这样指数递增。记录每个参数下第一个epoch的loss值、收敛epoch数和最终验证集指标。一组实验跑下来，你对这个损失函数在这个任务里的“性格”会有直接的感受，这种经验是读十篇论文都补不回来的。损失函数不能解决所有问题，但当你真正理解它在每一步更新中如何分配梯度之后，你会发现很多训练中的“玄学”问题，其实都是可以解释清楚的。