联邦学习通信开销研究综述

来源：计算机应用杂志2022年第2期北京时间：

作者：邱鑫源, 叶泽聪, 崔翛龙, 高志强

单位：1.武警工程大学 研究生大队, 西安 710086；2.武警工程大学 反恐指挥信息工程研究团队, 西安 710086；3.武警工程大学乌鲁木齐校区, 乌鲁木齐 830049

摘要：为了解决数据共享需求与隐私保护要求之间不可调和的矛盾，联邦学习应运而生。联邦学习作为一种分布式机器学习，其中的参与方与中央服务器之间需要不断交换大量模型参数，而这造成了较大通信开销；同时，联邦学习越来越多地部署在通信带宽有限、电量有限的移动设备上，而有限的网络带宽和激增的客户端数量会使通信瓶颈加剧。针对联邦学习的通信瓶颈问题，首先分析联邦学习的基本工作流程；然后从方法论的角度出发，详细介绍基于降低模型更新频率、模型压缩、客户端选择的三类主流方法和模型划分等特殊方法，并对具体优化方案进行深入的对比分析；最后，对联邦学习通信开销技术研究的发展趋势进行了总结和展望。

关键词：联邦学习,通信开销,模型压缩,并行计算,客户端选择策略

基金资助：国家自然科学基金资助项目(U1603261);武警工程大学基础研究基金资助项目(WJY202124)