基于多智能体Q学习的异构车载网络选择方法

来源：计算机工程与科学杂志2021年第5期北京时间：

作者：聂雷, 刘博, 李鹏, 何亨,

单位：1.武汉科技大学计算机科学与技术学院，湖北 武汉 430065；2.武汉科技大学智能信息处理与实时工业系统重点实验室，湖北 武汉 430065

摘要：异构车载网络环境下如何选择接入网络对于车载终端用户的服务体验而言至关重要，目前基于Q学习的网络选择方法利用智能体与环境的交互来迭代学习网络选择策略，从而实现较优的网络资源分配。然而该类方法通常存在状态空间过大引起迭代效率低下和收敛速度较慢的问题，同时由于Q值表更新产生的过高估计现象容易导致网络资源利用不均衡。针对上述问题，基于多智能体Q学习提出一种适用于融合5G通信异构车载网络的选择方法MQSM。该方法采用多智能体协作学习的思想，利用双Q值表交替更新的方式来获得动作选择的总回报值，最终实现异构车载网络环境下长期有效的最优网络切换决策集合。实验结果表明，与同类型方法相比较，MQSM在系统总切换次数、平均总折扣值和网络容量利用率方面表现出更好的性能。

关键词：多智能体,Q学习,网络选择,异构车载网络,5G通信,

基金资助：国家自然科学基金（61802286,61602351）；湖北省自然科学基金（2018CFB424）