企业官网建设流程全解析

目录

先聊聊联邦学习为什么“慢”

梯度压缩：少传一点会死吗？

梯度稀疏化

梯度量化

周期性通信：能不能少传几轮？

本地多步更新

自适应通信频率

模型结构优化：从源头瘦身

知识蒸馏 + 联邦学习

结构化剪枝 + 联邦学习

通信协议层面的优化

gRPC vs WebSocket vs MQTT

差分压缩

一个完整的实战案例

去年年底，我在一个物联网项目里碰到了个头疼的问题。当时我们在做工业园区设备的状态预测，二十多个工控机分布在不同的车间，每个设备每天产生海量的振动和温度数据。数据不能传出来——客户明确说了，涉密。那就只能联邦学习。想法很美好，结果一跑起来，一个简单的模型训练，通信开销大得离谱，一个round就要传几百兆的梯度，带宽吃紧不说，延迟还特别高。当时团队里一个小伙子开玩笑说，“咱们这哪是联邦学习，这是联邦等死。”

后来花了几个月时间，把各种优化手段挨个试了一遍，总算把通信开销压到了原来的十分之一左右。今天这篇文章，就把这些经验和坑都写出来，希望对遇到类似问题的朋友有点帮助。

先聊聊联邦学习为什么“慢”

如果你对联邦学习还比较陌生，我快速说一下核心流程：中央服务器先把模型分发给所有客户端，每个客户端用自己的本地数据训练，然后把更新后的梯度或参数传回服务器，服务器把这些东西聚合起来，更新全局模型。然后下一轮继续。

听起来很简单对吧？问题就出在“传”这个字上。

传统的深度学习模型，比如ResNet-50，光参数就