基于强化学习的多核芯片动态功耗管理框架

来源：电子与信息学报杂志2023年第1期北京时间：

作者：卓成, 曾旭东, 陈宇飞, 孙凇昱, 罗国杰, 贺青, 尹勋钊

单位：1.浙江大学工程师学院 杭州 3100152.浙江大学信息与电子工程学院 杭州 3100273.北京大学信息科学技术学院 北京 1008714.杭州行芯科技有限公司 杭州 3100525.浙江省协同感知与自主无人系统重点实验室 杭州 310015

摘要：多核芯片可以为移动智能终端提供强大算力，但功耗和温度问题始终制约着其性能表现。针对这个问题，该文提出了一种基于强化学习的多核芯片动态功耗管理框架。首先，建立了一个基于GEM5的多核芯片动态电压频率调节仿真系统。然后，采用了一种考虑CMOS芯片物理特性的功耗模型构建方法以实现在线实时功耗监测。最后，设计了一种面向多核芯片的梯度式奖励方法，并使用深度Q神经网络(Deep Q Network, DQN)算法对多核芯片的功耗管理策略进行学习。仿真结果表明，相比于常规的Ondemand，MaxBIPS方案，该文所提出的框架分别实现了2.12%, 4.03%的多核芯片计算性能提升。

关键词：多核处理器芯片, 动态功耗管理, 强化学习

基金资助：浙江省重点研发计划(2020C01052)，国家自然科学基金(61974133, 62034007, 62141404)