企业官网建设流程全解析

📄 艾欧同学读论文系列：arxiv.org/abs/2609.36322

明明是同一段代码，只是在前面多加几个无关 Token，DeepSeek 的答案竟然会在正确和错误之间反复横跳？！

最近，字节 Seed 团队发表论文，揭示了大模型长上下文中的隐藏弱点——相位敏感性（Phase Sensitivity）。

🔍 为什么会这样？

为了节省显存和计算成本，模型会使用「分块 KV 缓存压缩」技术。

但这种压缩可能导致：同样的信息，只因位置不同，检索效果就大不一样！

📊 实验有多惊人？

🔹 DeepSeek-V4-Flash：出现 4-Token 周期性变化

🔹 DeepSeek-V4.1-Flash：出现 2-Token 周期性变化

🔹 在 128K 长上下文实验中，不同相位的检索准确率最大相差 40.2 个百分点！

🧠 背后的原因？

研究发现，模型内部可能存在「相位专门化」现象：不同注意力组件对不同位置的信息存在不同偏好。

💡 艾欧同学总结：

大模型的长文本能力，不仅取决于能记住多少信息，还可能取决于信息放在哪里。

所以，平均准确率高，不代表每个位置都可靠！

#DeepSeek #字节Seed #AI前沿 #大模型 #论文解读 #人工智能 #AI科普 #艾欧同学