基于合作博弈和知识蒸馏的个性化联邦学习算法

来源：电子与信息学报杂志2023年第10期北京时间：

作者：孙艳华, 史亚会, 李萌, 杨睿哲, 司鹏搏

单位：1.北京工业大学信息学部 北京 1001242.北京工业大学先进信息网络北京实验室 北京 100124

摘要：为克服联邦学习(FL)客户端数据和模型均需同构的局限性并且提高训练精度，该文提出一种基于合作博弈和知识蒸馏的个性化联邦学习(pFedCK)算法。在该算法中，每个客户端将在公共数据集上训练得到的局部软预测上传到中心服务器并根据余弦相似度从服务器下载最相近的k个软预测形成一个联盟，然后利用合作博弈中的夏普利值(SV)来衡量客户端之间多重协作的影响，量化所下载软预测对本地个性化学习效果的累计贡献值，以此确定联盟中每个客户端的最佳聚合系数，从而得到更优的聚合模型。最后采用知识蒸馏(KD)将聚合模型的知识迁移到本地模型，并在隐私数据集上进行本地训练。仿真结果表明，与其他算法相比，pFedCK算法可以将个性化精度提升约10%。

关键词：个性化联邦学习, 合作博弈论, 知识蒸馏, 异构性

基金资助：北京市教委科技计划(KM202010005017)