工业物联网中基于信息熵的联邦增量学习算法与优化

来源：电子与信息学报杂志2024年第8期北京时间：

作者：杨睿哲, 谢欣儒, 滕颖蕾, 李萌, 孙艳华, 张大君

单位：1.北京工业大学信息学部 北京 1001242.北京工业大学先进信息网络北京实验室 北京 1001243.北京邮电大学电子工程学院 北京 1000834.卡尔顿大学 渥太华 K1S 5B6

摘要：面对工业生产过程中大规模、多样且随时间增长的数据和机器学习任务，该文提出一种基于信息熵的联邦增量学习(FIL)与优化方法。基于联邦框架，各本地计算节点可利用本地数据进行模型训练，并计算信息平均熵上传至服务器，以此辅助识别类增任务；全局服务器则根据本地反馈的平均熵选择参与当前轮次训练的本地节点，并判决任务是否产生增量后，进行全局模型下发与聚合更新。所提方法结合平均熵和阈值进行不同情况下的节点选择，实现低平均熵下的模型稳定学习和高平均熵下的模型增量式扩展。在此基础上，采用凸优化，在资源有限的情况下自适应地调整聚合频率和资源分配，最终实现模型的有效收敛。仿真结果表明，在不同的情景下，该文所提方法都可以加速模型收敛并提升训练精度。

关键词：工业物联网, 联邦增量学习, 信息平均熵

基金资助：国家自然科学基金(62171062, 62371012)