航空兵器投稿格式参考范文：智能空战深度强化决策方法现状与展望

　　0 引言

　　随着现代空战逐渐向强对抗、高动态、强不确定性等复杂战场环境转变，由人工智能理论赋能的智能空战决策技术成为各国军事应用智能化的研究重点。自 20 世纪 60 年代以来，智能空战决策技术随着战场环境和作战形态的演进经历了若干阶段 [1]。早期的空战形态以有人机对抗为主，智能决策系统依据专家知识生成机动规则，为飞行员提供辅助决策或对抗训练。受限于人类固有战术认知，此阶段的决策算法智能化程度不高。随着高性能无人装备的出现，基于智能算法的机动策略演进技术使得无人系统在空战场景中能够补偿有人机在反应速度和毁伤成本上的劣势，逐渐发展为具有独立作战能力的智能平台 [2]。近年来，随着有人 / 无人协同及分布式无人集群等新型作战架构的出现，智能空战决策技术正在向具有自主学习能力的智能决策理论发展，逐步由人类经验主导过渡到以无人化自主决策为特征的新模式 [3-4]。

　　其中，基于深度强化学习的智能决策算法通过智能体与环境或对手的对抗性博弈，学习并生成最优策略，实现累计回报最大化。与传统决策方法不同的是，深度强化学习算法不受限于已有的专家经验，能够通过探索和学习实现对更加复杂空间的适应性和鲁棒性，在能力涌现、自演进、自学习等方面具有优势 [5]。

　　然而，现有深度强化学习方法在智能空战领域的应用研究仍处于初级阶段，还存在若干难题和挑战。例如，虽然赫伦 (Heron) 公司凭借深度强化学习技术在 “阿尔法狗斗” 竞赛项目中击败人类飞行员，但其对创造性的战术和策略仍缺乏深刻理解 [1]。其次，战场态势复杂多变，导致决策过程面临高维状态 - 动作空间和稀疏奖励问题，学习效率和收敛平稳性难以提高。此外，深度强化学习算法在可解释性、安全性和泛化性等方面的缺陷，限制了其在实战装备上的实际应用。面对上述问题，如何对现有深度强化学习方法进行适应性改进，解决复杂战场环境下的自主决策问题，进而提出支撑指挥与控制智能化的共性技术，具有重要的理论意义和军事应用价值。

　　1 智能空战决策技术

　　1.1 智能空战决策技术要素与特点

　　智能空战决策技术研究包含三个要素：作战平台、组织架构和决策理论。

　　智能化作战平台依托智能感知与决策技术实现复杂场景下的侦察和打击任务。作为现代空战的主要打击手段，以美国 AIM-120、法国 MICA-EM 以及俄罗斯 P77 为代表的第四代雷达型空空导弹采用复合制导体制，具有多目标攻击与发射后不管的能力，并采用了先进的抗干扰技术。在无人机自主作战系统中，基于人工智能的 “Alpha” AI 系统具有一定的代表性。该系统通过使用基于语言的控制方法与 “遗传模糊树” 技术，解决了计算成本和性能之间的冲突，能够真正实现低成本计算下的高效性能 [6]。

　　智能战场的组织架构是实现智能决策算法的关键，主要包含有人 / 无人机协同以及分布式无人集群两种形式。有人 / 无人机协同作战以有人平台作为作战时的总指挥，通过数据通信指挥无人机;无人机平台执行有人作战平台发出的指令，完成目标识别、攻击、规避和评估等任务，再将识别与评估结果上传至有人作战平台，通过收集到的战场信息对无人机进行宏观调控。该技术利用了机器智能与人类智能的互补关系，既能避免飞行员处于危险环境中，又能保证作战指令是受到人类严格把控的。2019 年 3 月，美国空军研究实验室 (Air Force Research Laboratory, AFRL) 发布了 “空中博格”(Skyborg) 项目，该项目旨在开发一种基于人工智能技术的无人机系统，采用模块化和开放式框架，以此实现即使面对不同的复杂任务也能够快速适应 [7]。

　　分布式集群是智能空战中的另一重要架构，其以面向任务的组织架构设计，采用分布式协同和智能决策方法实施全方位攻击。匈牙利罗德大学的 Tamás Vic-sek 团队利用群体智能行为机制，实现了 10 架四旋翼无人机的自主集群飞行试验 [8]。美国国防部高级研究项目局 (Defense Advanced Research Projects Agency, DARPA) 采用群体智能理论构建了面向对象的无人机集群的蜂群战术，实现了进攻性蜂群使能战术项目 [9]。

　　智能空战决策方法是连接作战平台和组织架构的理论基础。目前用于解决智能空战决策问题的方法大致可以分为三类：基于博弈理论的决策方法、先验数据驱动的决策方法以及基于自主学习的决策方法。这些方法是实现智能空战决策的核心关键技术。

　　1.2 智能空战决策技术

　　1.2.1 基于博弈理论的决策方法

　　在军事上，尤其是在空战领域运用博弈理论早已成为国内外研究的热点。基于博弈理论的空战问题主要有微分博弈和矩阵博弈。微分博弈是一种动态博弈策略，适用于追、逃、防御等问题。矩阵博弈则是通过建立基本机动动作库作为备选动作，再以空战中的角度、高度和速度等参数作为评价函数，以此建立博弈矩阵。

　　(1)微分博弈微分博弈的求解一直是空战决策研究的重点和难点，通常情况下只能通过梯度下降等方法得到数值解。文献 [10] 扩展了经典的微分博弈论，设计了鞍点策略，采用了具有代表性的性能度量，得到了伴随博弈的值函数为使用微分博弈理论形式化地分析 N 个追击者和 M 个逃避者的复杂高维冲突提供了基础。文献 [11] 利用最优控制和微分博弈理论，推导了任意阶线性导弹和目标动力学的制导律，并得到了基于理想导弹模型及具有恒定轴向加速度的目标动力学的解析解。目前来看，基于微分博弈的空战决策方法存在如下缺点：基于微分博弈的空战决策模型要经过大量简化才能计算，因此该方法难以应用于实际场景中;微分博弈的求解复杂性高、耗费时间长，与空战本身具有的特点相矛盾。

　　(2)矩阵博弈矩阵博弈具有方法灵活、计算速度快、计算量小等优点。文献 [12] 根据角度威胁和距离威胁计算出空战态势评估函数，构建博弈矩阵。利用博弈混合策略设计了待优化的目标函数，并通过基于迁移学习的鸽子启发式优化 (Transfer Learning Pigeon-Inspired Optimization, TL-PIO) 得到最优混合策略。同时，所提出的 TLPIO 并没有随机初始化种群，而是采用基于 Kullback-Leibler (KL) 散度的迁移学习方法初始化种群，提高了优化算法的搜索精度。文献 [13] 针对多无人机威胁排序时难以获得完全信息的问题，利用博弈模型获得不确定参数，再将已建立好的模糊收益的零和博弈转化为具有清晰收益的矩阵博弈来解决上述问题。然而，基于矩阵博弈的空战决策方法还存在着不足之处：决策时往往只顾及短期收益，没有考虑长期收益;矩阵博弈比较保守，该决策方法只能保证我方收益不低于某个值，难以获得最优的收益。

　　1.2.2 先验数据驱动的决策方法

　　基于先验数据的智能空战决策方法主要分为两类方法：基于专家系统和基于深度学习的决策方法。基于专家系统的决策方法是利用人类专家的知识和经验组成一个知识库，再将其放入计算机中，根据当前空战态势选择相对应的决策。基于深度学习的决策方法则是让具有空战经验的飞行员在模拟机中对空战进行决策，从而获得大量的训练样本，然后利用深度神经网络强大的拟合与计算能力，得出当前空战态势与在该态势下执行的决策动作之间的关系。

　　(1)专家系统传统专家系统基于当前空战态势，用类似于 IF-ELSE-THEN 的逻辑规则产生基本的控制律。具有代表性的是美军自适应机动逻辑 (Adaptive Maneuver Logic, AML) 系统 [14]，NASA 考虑到空战决策的高实时性、随机性等特点，认为经验丰富的人类飞行员能够较好地应对空战场景，故借助专家系统使无人机能够拥有自主决策的能力。其缺点也较为明显：规则库的建立复杂;策略简单且固定;对于不同的机型适配性很差。

　　文献 [15] 开发了一种嵌入式专家系统，汇聚了大量专家提供的空战专业知识，再利用快速原型法促进知识的获取。考虑到空战场景的复杂多变性，专家系统难以利用不确定因素完成任务，针对上述问题，文献 [16] 利用模糊贝叶斯网络 (Fuzzy Bayesian Network, FBN) 处理不确定因素，构建了一个基于专家系统和 FBN 的混合战术决策系统。仿真结果显示该系统能够提高实时性，同时能够处理环境中的不确定因素。文献 [17] 针对作战环境复杂、对专家知识的过度依赖以及学习效率低等问题，利用动态质量重放 (Dynamic Quality Replay, DQR) 技术，有效引导智能体从历史数据中学习战术策略。目前基于专家系统决策方法的研究已经较为成熟，与其他方法的结合也能弥补该方法的部分缺点，但依旧存在着不足之处：将人类专家的知识和经验转化为知识库的过程本身就很复杂，且不够全面;专家系统的学习能力差，难以对新的知识进行学习。

　　(2)深度学习神经网络作为深度学习中最为成熟与重要的算法之一，是对人脑神经元的一种模拟与抽象，在学习以及构建极其复杂模型方面尤其突出。在早期，文献 [18] 就探索了人工神经网络在空战机动中的适用性，然而其解释性差，需要大量的样本数据进行训练，难以真正应用在实际空战中。

　　文献 [19] 以深度神经网络为基础，提出了中程导弹交战时快速分类的方法，该方法应用了神经网络和统计学程序，对无噪声和有噪声的飞行器作出了极其准确的类别预测，其最终目标是能在飞行过程中迅速识别未知导弹的特征。文献 [20] 在给定专家飞行员的飞行轨迹时，研究了如何学习空战机动模型的问题。其训练了一个内部模型代表未来状态，通过使用 MDN-RNN (Mixture Density Networks-Recurrent Neural Network) 和控制器模仿专家操作，然后通过假设的环境模型想象交战情况。该方法不需要与真实环境交互也不需要设计奖励函数，极大地降低了成本，提高了训练效率。尽管基于深度学习的决策方法相较于基于专家系统的决策方法，其构建模型更简单，学习能力更强，但仍然存在缺点：训练的数据来源于飞行员，无论如何训练，该模型最后的决策能力也无法超越飞行员;神经网络的参数与结构需要人为设计，无法避免人类自身的偏向性，具有较强的主观性。

　　1.2.3 基于自主学习的决策方法

　　自主学习是一种不需要先验知识的智能学习方法，大致可以分为自适应动态规划 (Adaptive Dynamic Programming, ADP) 和深度强化学习两部分。前者是在动态规划的基础上形成的，考虑到动态规划求解时需要系统的状态转移概率，而该概率在大多数情况下是未知的，因此利用一个离散公式来近似原始问题，最终能够在未知状态转移概率的条件下找到问题的近似最优解;后者则是让智能体与环境进行交互，执行动作从而获得奖励，其目的就是通过优化策略使期望回报最大。

　　自适应动态规划又称为近似动态规划，是人工智能与控制科学交叉形成的方法。ADP 将状态抽象为函数，利用价值迭代或策略迭代生成决策方法。文献 [21] 提出了近似动态规划的方法，开发并测试了一种近似策略迭代算法，该算法通过神经网络回归实现值函数的逼近，以获得高质量的自主无人战斗飞行器机动策略。自适应动态规划仍存在以下缺点：ADP 只能解决离散动作问题，难以应用在实际的空战系统中;ADP 需要对手的空战模型，没有统一的模型来实现对手模型的建立。

　　深度强化学习结合了深度学习和强化学习各自的优点来建立人工智能系统，主要在强化学习中使用深度神经网络的强大数据表达能力，例如价值函数可以用神经网络来近似，以实现端到端的优化学习。借助深度神经网络强大的拟合与计算能力，深度强化学习的发展突飞猛进。2019 年 5 月，DARPA 启动空战演进 (Air Combat Evolution, ACE) 项目，目的是开发可信赖的人工智能算法和协作技术，将有人 / 无人机结合起来，实现自主空战 [22]。在 AlphaDogfight 比赛中，所有参赛队伍都基于深度强化学习开发了算法，而赫伦系统公司的智能体脱颖而出，其特点是没有使用任何专家系统 [23]。尽管深度强化学习相对于其他方法已经有了很大的改进，其仍存在着许多挑战：(1)样本效率问题。深度强化学习在训练过程中需要大量的样本数据，这就导致了训练效率越高，最终的结果越快获得，并且表现越好。(2)灾难性遗忘问题。由于训练的次数过多，尽管可以通过回放池保存先前训练的内容，但是在使用了神经网络后的样本数据过于庞大，已经被训练过的数据往往要去拟合新的数据。

　　2 基于深度强化学习的智能空战决策方法

　　基于深度强化学习的智能空战决策方法主要分为两类基于价值的方法该方法是对动作价值函数 Q 的优化，最优的策略是通过选取最大的动作价值函数所对应的动作。典型的算法为深度 Q 网络 (Deep Q-Network, DQN)[24]。(2)基于策略的方法。该方法直接对策略进行优化，使用策略梯度方法，实现期望回报的最大化。典型算法有 REINFORCE [25] 和 Actor-Critic [26]。两者的区别在于前者使用实际观测的回报来近似动作价值函数，方差大，速度慢;后者采用神经网络近似动作价值函数，方差小，速度快。因此，目前深度强化学习大多使用基于 Actor-Critic 的算法。典型的算法有以信赖域策略优化算法 (Trust Region Policy Optimization, TRPO)[27] 和近端策略优化算法 (Proximal Policy Optimization, PPO)[28] 为代表的随机策略方法，也有以深度确定性策略梯度算法 (Deep Deterministic Policy Gradient, DDPG)[29] 为代表的确定性策略方法。二者的区别在于前者输出相应动作的概率，后者直接输出特定的动作。

　　2.1 基于价值的方法

　　价值学习的目标是找到一个函数，使其能够估计在当前状态下采取某一动作后所能带来的价值。当这个函数已知，就能使用它来进行决策。简单来说，价值学习就是当前时刻对于未来时刻的价值判断。缺点在于其不确定性很大，因为无论是环境状态的转移还是智能体的决策都具有随机性，并且时间跨度越长，估计越不准确。优点在于基于价值的方法采样效率高、方差小，难以陷入局部最优，通常适用于离散动作空间的问题。

　　基于价值的方法一般是利用 Q 值表格进行建模和求解，只能解决小规模的简单问题。例如，将 DQN 用于一对一近距空战决策的生成，但其只适用于离散动作空间的问题，难以满足实际飞行的需求。空战模型生成连续状态作为输入，经过几个全连接层后输出动作的 Q 值然后将当前状态动作奖励和下一状态存储到经验回放池中，从中随机抽取样本更新权重 [30]。

　　文献 [31] 考虑到 DQN 训练需要巨大的计算量，模仿人类从简单到复杂知识的学习过程，进行了分阶段训练。尽管最后获得的结果并不是最优的，但是减少了大量的训练时间并且结果是有效的。文献 [32] 针对多对多智能空战场景，对目标分配和机动决策进行了研究。目标分配基于混合粒子群优化算法 (Hybrid Particle Swarm Optimization Algorithm) 加入了移民粒子，防止陷入局部最优，机动决策则通过 Double Q-learning 算法，减少了 DQN 算法容易过拟合的问题。文献 [33] 研究了多无人机在近距空战中机动决策的生成方法，设计了参数共享深度 Q 网络 (Parameter Sharing-Deep Q Network, PS-DQN) 算法，每一个智能体共享一个 Q 值网络的参数。文献 [34] 则在 PS-DQN 的基础上提出了参数共享竞争深度 Q 网络 (Parameter Sharing Dueling Deep Q-Network, PS-DDQN) 算法，打破了 Multi-UCAV 空战中大状态空间带来的复杂性。相比于 PS-DQN 来说，PS-DDQN 增加了一个 Dueling 网络结构，使得 PS-DDQN 只需要学习对价值有影响的动作策略，减少了无关动作的训练。文献 [35] 研究了连续系统追击与逃避的最优解问题，将双模糊系统与 Q-learning 结合。由模糊 Q-learning 和 Q 值表模糊推理两部分组成克服了 Q-learning 难以在连续、低维空间中实现的缺点。文献 [36] 将后见经验回放 (Hindsight Experience Replay, HER) 与参数化深度 Q - 网络 (Parameterized Deep Q-Networks, PDQN) 结合起来，形成了一种新的算法 ---HER-PDQN。该算法避免了奖励函数的设计，并且减少了人类潜在意识对训练过程的影响，有效解决了混合动作空间以及奖励稀疏的问题。文献提出了多步双深度 Q - 网络 (Multi-step Double Deep Q-Network, MS-DDQN) 算法，将最终回报奖励放入前面的训练步骤中，再将训练前的模型作为第二学习模型的开始，使用该算法可以加快训练速度和收敛速度。文献 [38] 提出了一种基于态势连续性的机动自主决策方法，设计了具有强引导的态势评估函数，在深度 Q 网络框架下训练长短期记忆 (Long Short-Term Memory, LSTM) 进行空战机动决策。基于价值的方法缺点较为明显：不能处理连续动作空间问题;最终获得的策略一般为确定性策略简单地采用 ε 贪心策略容易导致过估计。而基于策略的方法则可以解决上述问题。

　　2.2 基于策略的方法

　　策略学习的目的是获得一个尽可能优的策略函数，使得该函数在未来能够获得尽可能大的累计回报。一般将策略 π 描述为一个带有参数 θ 的函数其决定了策略的具体形式，因而求解基于策略的问题转变为如何确定策略函数的参数 θ 的问题基于策略的方法适用于高维或连续动作空间的问题，并能够自然地对随机策略建模。在基于 Actor-Critic 的算法中，Critic 网络利用基于价值的方法学习 Q 值函数或状态价值函数 V 来提高采样效率，Actor 网络利用基于策略的方法学习策略，适用于连续、高维的动作空间。基于 Actor-Critic 的方法既可以看作是基于价值的方法在连续空间中的应用，也可以看作是基于策略的方法减少方差和提升采样效率的改进。

　　文献 [39] 以一架有人机和四架无人机协同作战为战斗场景，采用 PPO 算法，对奖励函数增加了脱离奖励、制导奖励、目标分配及攻击奖励，使得决策更加灵活。文献 [40] 提出了多智能体分层策略梯度算法 (Multi-Agent Hierarchical Policy Gradient, MAHPG)，该算法能够学习多种策略，并通过对抗性自博弈学习超越专家系统，同时采用分层决策网络处理复杂的混合动作，将选定的动作传给后续动作的预测层，有效降低了动作的模糊性。鉴于近距空战策略方法大多局限于规则或离散动作集，文献 [41] 以端到端方式从观测中学习近距空战策略，为提高近端策略优化 (PPO) 的学习效率设计了状态空间，同时还为该博弈设计了极大极小策略。文献 [42] 提出了一种最终奖励估计和近端策略优化的空战机动决策方法 (Final Reward Estimation-Proximal Policy Optimization, FRE-PPO)，设计了中间和最终奖励函数，并让最终奖励函数取代原始 PPO 中的优势估计函数，提高了训练性能，最后对最终奖励函数抽样，提升了训练效率。文献 [43] 提出了一种基于态势评估和贪婪算法的敌方机动策略，然后构造基于基本机动库的动作空间和近端策略优化算法的状态观察空间，设计带有情景奖励塑造的奖励函数，以加快收敛速度。

　　上述方法大多以 PPO 算法为基础，是一种随机策略的方法，应用该类方法即使在相同的状态下也可能执行不同的动作，有效提高了智能体的探索率。与之对应的则是确定性策略的方法，以 DDPG 算法为例，其思想是使用一个神经网络 Actor 直接预测出当前状态下需要采取的动作。例如，使用 DDPG 模拟交战双方的连续机动策略模型，但其只支持低维空间的学习问题，仿真精确度和真实度均较低。自主空战决策模型由空战环境和强化学习算法组成，其中空战环境包括空战态势、敌机状态以及我方智能体状态。强化学习算法以 DDPG 算法为例，其有两个 Actor-Critic 架构，利用目标网络使得 Critic 网络的训练更加平稳。整个过程为：从空战环境中获取空战状态来训练算法，将当前状态和动作输入到评论家网络中得到 Q 值再将下一状态和行动者目标网络的下一动作输入到评论家目标网络得到目标 Q 值再训练策略使得评论家网络 Q 值尽量接近评论家目标网络 Q 值然后将训练好的算法应用在智能体上从而实现自主空战决策 [44]。

　　文献 [45] 使用非完全信息动态博弈模型模拟空战的动态过程，设计了动态贝叶斯网络来推断对手的战术意图，然后建立基于多智能体深度确定性策略梯度 (Multi-Agent Deep Deterministic Policy Gradient, MADDPG) 的强化学习框架，获得了空战博弈模型的最佳 Bayes-Nash 均衡解。文献 [46] 考虑到 MADDPG 算法只针对特定的均衡策略，引入极大极小模来获得期望扰动，极大极小模对最坏情况扰动下的梯度方向进行局部逼近，得到期望扰动。文献 [47] 中，空战被建模为二人零和马尔可夫博弈，在该模型中引入了一种目标位置预测方法，使 UCAV (Unmanned Combat Aerial Vehicles) 能够预测目标的动作和位置。文献 [48] 将视距内自主空战建模为一个状态对抗性马尔可夫决策过程 (State-Adversarial Markov Decision Process, SA-MDP)。以状态 - 对抗深度确定性策略梯度 (State-Adversarial Deep Deterministic Policy Gradient, SA-DDPG) 为基础，在 Actor 网络中引入了与性能损失上界相关的鲁棒正则子，提高空战策略的鲁棒性。同时，它提出了一种基于最大熵逆强化学习 (Maximum Entropy Inverse Reinforcement Learning, MaxEnt-IRL) 的奖励塑造方法，提高了空战策略生成算法的效率。该类算法由于其确定性策略的特点，相同状态下执行的动作是一样的，探索效率远不如随机策略的方法，但是更加适用于高维或连续动作空间的问题。

　　文献 [49] 以 Actor-Critic 为框架，通过改变奖励函数的结构来加快训练速度、提升学习效率，从而在空战博弈对抗中找到有效的空战策略。文献 [50] 通过神经网络逼近动作和状态变量，利用高斯分布确定策略，同时为了提升探索效率，根据训练次数调整随机动作变量的概率分布情况，结果表明该方法生成的策略鲁棒性好，但因其生成的机动策略均为固定的，无法体现真实战场下的博弈对抗。文献 [51] 则提出了一种分布式和可扩展的 Actor-Critic 强化学习架构，即情景依赖 - 选择行动评估 (Situation-Dependent Option-Action Evaluation, SDOE)，它使智能体能够共享态势感知，并以成对的方式选择战术。文献 [52] 考虑到实际空战中存在多无人机的场景，建立了基于 Actor-Critic 的集中式评价、分布式执行的算法。在评价网络模块中使用了全局信息对当前决策优劣作出评判，而在执行网络模块中仅根据非完全信息进行自我决策，提高了多机对抗的效能。文献 [53] 以包括俯仰角在内的 10 个状态变量组成状态空间，结合空战态势评估模型，以异步优势 Actor-Critic (Asynchronous Advantage Actor-Critic, A3C)[54] 为基础设计了内部奖励与稀疏奖励结合的双层奖励机制。各个线程单独进行训练，具体过程为：从环境中获取我方智能体与敌机的空战态势，作为状态输入到 Actor 网络和 Critic 网络，随后智能体利用训练好的网络执行动作，敌机则利用自身控制策略与我方智能体进行对抗，最后，将各个线程学习好的参数更新至全局网络中，下一次训练时通过获取全局网络中的参数继续学习。

　　文献 [55] 针对无人机近距格斗，提出了基于 SAC (Soft Actor-Critic) 算法 [56] 的无人机自主空战决策，将空战态势作为输入信息传递给 SAC 算法模块，同时在算法中加入最大熵模型使策略随机化，最后输出机动决策，无人机执行决策动作。文献 [57] 将经验回放 HER 和 SAC 算法结合，智能体利用 HER 在实现目标的失败和成功中学习，极大提高了采样效率和学习速度。尽管目前只适用于路径规划和避障等问题，但后续也可以扩展到仅有部分观测信息的情况。文献 [58] 聚焦于 S - 蛇机动问题，提出了一种比例微分的 SAC 算法，加快了复杂网络的训练速度，同时在策略网络中有多个状态输入和动作输出，通过扩展门控循环单元 (Gate Recurrent Unit, GRU) 减少马尔可夫对控制的影响。虽然基于 Actor-Critic 的方法已经结合了基于价值的方法和策略梯度方法，但仍存在缺点：在 Critic 部分依然存在着过估计和难收敛的问题，并且有了 Actor 的加入，Critic 的收敛更加困难;在 Actor 部分的探索不足，容易陷入局部最优。

　　3 面向未来空战的智能决策技术展望

　　3.1 面向集群作战的多智能体决策技术

　　早期的深度强化学习都是以单智能体的算法出现，然而高精度，高实时性的军事决策往往都是多个实体相互配合完成任务的，故多智能体强化学习 (Multi-Agent Deep Reinforcement Learning, MADRL) 方法更加适合于真实的战争中。多智能体强化学习方法不仅仅是在单智能体强化学习方法的基础上增加智能体的个数，因为随着智能体数量的增加，需要扩展的智能体信息维度也随之增加，将会面临维度灾难的问题，同时还要在算法中加入博弈、协同和通信等机制，使得多个智能体具有自主协同等特点。尽管目前有关 MADRL 的方法很多，但是实际运用在空战领域的算法还较少。因此可以考虑将其他领域较为成熟的方法运用到空战领域上。

　　根据任务类型和最大化期望累计回报的不同，MADRL 算法可以分为完全合作类、完全竞争类和混合类 3 种 [59]。而对于智能空战博弈来说，更需要的是完全合作类的算法，即每个智能体相互合作完成团队任务，其目标是最大化团队的全局奖励。根据在算法中加入的博弈、协同和通信等机制的方式不同，可以将完全合作类 MADRL 算法分为基于通信学习和基于协作学习两类。

　　(1)基于通信学习的完全合作类 MADRL 算法该类算法假设智能体之间存在信息的交互，在训练过程中需要学习的内容包括是否需要通信、何时通信以及与哪些智能体通信。通信机制并不是简单地将其他智能体视为环境的一部分，而是可以通过自身和从其他智能体接收到的信息动态调整自身策略。RIAL (Reinforced Inter-Agent Learning) 和 DIAL (Differentiable Inter-Agent Learning) 是最初引入通信学习机制的算法 [60]，RIAL 缺少智能体之间的反馈，而这种反馈机制对于通信学习至关重要。DIAL 让智能体之间有了梯度的传递，这种梯度传递就形成了一种反馈机制。为了提高通信效率，文献 [61] 使用 CommNet 模型，使用连续通信来完成完全合作的任务，该模型由多个智能体组成，训练它们之间的通信和策略。文献 [62] 使用门控机制自适应地对不利通信信息进行裁剪，有效解决了带宽受限的问题，同时提高了通信过程中对于通信错误信息和冗余信息的鲁棒性。

　　(2)基于协作学习的完全合作类 MADRL 算法与基于通信学习的算法相反，该类算法不再显式智能体之间的通信信息，而是假设智能体能够获取其他智能体的观测信息进行训练，而在执行动作时智能体仅仅依靠自身的观测进行决策。文献 [63] 提出的 VDN (Value Decomposition Networks) 算法是一种价值分解的方法，该方法将整体的联合价值函数分解为每一个智能体的价值函数，简单来说，就是让每一个智能体的价值函数相加求和即为联合价值函数，不仅解决了虚假奖励的问题，还解决了部分智能体 “懒惰” 的问题。文献 [64] 提出了 MAVEN (Multi-Agent Variational Exploration) 算法，该算法通过引入分层控制的空间，将基于价值和基于策略的方法混合在一起。基于价值的智能体根据分层策略控制的共享潜在变量改变其动作。

　　3.2 面向广域时空的高效智能决策技术

　　未来空战具有作战空域大、作战距离远、空战双方的对抗策略空间大等特征，因此构建稀疏奖励下的博弈智能策略优化难度较大。同时，由于多智能体在训练过程中探索空间过大，探索的过程中智能体将其他智能体视为环境的一部分，智能体行为表现出随机性，加剧了环境的非平稳性，使得策略收敛时间冗长，训练过程收敛困难。针对上述挑战，需要高效稳定的智能决策技术在广域时空下提高决策训练的效率和收敛的稳定性。

　　(1)深度课程强化学习人类的学习过程一般遵循着先易后难、由易到难的顺序，借鉴这一学习思想，课程学习主张让模型先从简单的样本 / 任务开始学习，然后逐步过渡到复杂的样本 / 任务，从而减少训练时间并提高最终的性能。课程学习方法的核心是创建一系列与最终目标任务相似但难度不同的任务序列，进而通过迁移学习方法在任务序列之间进行策略迁移，从而在最终任务上达到加快学习速率、提高渐进性能的目的 [65]。

　　深度课程强化学习结合自主优先课程学习和覆盖惩罚的深度强化学习的新训练模式，根据每个状态样本的复杂性自适应地从回放存储中选择合适的样本，充分发挥经验回放的作用 [66]。深度课程强化学习算法的训练过程如下：首先，智能体将与环境交互过程中产生的样本数据存储在回放存储中，然后，对样本数据进行课程评价，评价的标准包括样本优先级和重复惩罚项，接着，智能体自主选择符合当前状态下课程难度的样本数据组成的批训练集，逐步提高课程难度使得难度更高的样本数据被选中的概率提升，最后，智能体执行动作让环境转移到下一状态。

　　(2)分层强化学习分层强化学习 (Hierarchy Reinforcement Learning, HRL) 本质上是将整个任务分解成抽象的子任务，通过完成一系列的子任务从而加快整个任务的求解速度 [67]。分层强化学习中，在求解每一个子任务时，会将其中的多个动作抽象为一个策略动作。然而，这并不符合马尔可夫决策过程，因此研究人员引入了半马尔可夫决策过程 (Semi-Markov Decision Process, SMDP)[68]，来处理多个动作只有经历多个时间段后才能体现出真正价值的问题。分层强化学习的主要算法包括 Option [69]、分层抽象机 HAMs (Hierarchies of Abstract Machines)[70] 以及 MAXQ 值函数分解 (MAXQ Value Function Decomposition)[71]，均是以 SMDP 为基础提出的。

　　当前，HRL 算法的架构可以分为两个部分，第一部分为顶层架构，根据接收到的环境状态以及反馈制定子任务;第二部分为底层架构，根据当前状态以及子任务执行动作，从而解决子任务的问题。通过这种架构，顶层产生的子任务较为简单，使得底层执行动作解决问题的效率加快。要将分层强化学习运用在空战博弈领域，仅靠传统分层强化学习算法显然是不够的。为了适应空战领域在不同环境下采取的任务与策略具有共通性的特点，考虑采用子策略共享分层方法，将子策略细分为不同类别，从而在不同子任务中实现共享，进一步提高训练效率。文献 [72] 提出了一种基于 skill-based 的分层强化学习随机神经网络 (Stochastic Neural Networks for Hierarchical Reinforcement Learning, SNNHRL)，其建立了一个预训练环境，在预训练环境中训练完成后利用学习到的策略，使智能体在实际环境中学习如何调用这些策略，提高解决问题的效率。而 OpenAI 提出了一种端到端的元共享分层学习 (Meta-Learning Shared Hierarchies, MLSH)[73] 算法，摒除了以往需要人工设定分层结构，其通过与环境的交互自动实现分层结构，同时子策略也是共享的。该算法突破了需要人工的局限性，实现了真正的自主学习。

　　3.3 面向复杂场景的泛化智能决策技术

　　传统深度强化学习的方法往往仅针对单一场景下的训练，训练后的模型鲁棒性差，在已知样本的情况下性能优良，而对于未知采样目标的情况则会表现出不适性，难以适应不同场景下的任务。然而空战场景是时刻都在变化的，因此，若仅采用传统深度强化学习的方法，每次面对不同的场景，就要重新训练，这大大降低了效率。针对上述问题，将元学习和深度强化学习相结合是一种有效的解决办法，即元强化学习。面对未知场景时，经过训练的泛化网络能够根据未知场景生成新的策略，对未知场景也有较好的适应性。

　　元学习指的是学习怎样学习 [74-75]，即借助以往的经验知识来学习怎样学习，利用以往的经验来减少未来学习时样本数量的需求 [76]。以往的经验一般称为元知识，通过元知识对未来学习加以指导。元强化学习方法的核心思想在于它可以充分利用不同任务和不同场景下的训练数据，从中找出共性知识，提炼一般性知识。通过该方法，既可以缓解不同任务、场景下模型启动慢的问题，也可以提高对于新任务的学习效率 [77]。现有的元强化学习方法大致可以分为基于上下文的元强化学习、基于梯度的元强化学习和离线强化学习。

　　(1)基于上下文的元强化学习通过将以往的经验聚合形成上下文，再以上下文作为元知识，提取相关的特征信息。上下文是一种隐藏表征形式，能够合理利用以往经验，提高泛化能力。文献 [78] 在传统强化学习 [79] 的基础上，与上下文相结合，其结果可以达到使用最先进的元强化学习算法的水平。文献 [80] 考虑到大多数元强化学习方法均由人手动设计，或是只针对专门的架构，或是限制元学习如何解决问题。因此，该文提出一种简单神经注意力学习器 (Simple Neural Attentive Learning, SNAL)，使用时间卷积 (Temporal Convolution) 聚合以往的经验形成上下文，接着使用软注意力 [81](Soft Attention) 机制精准定位并选择特定的信息。

　　(2)基于梯度的元强化学习梯度下降法是一种常用的优化方法，将其运用在元强化学习中可以提高泛化能力、增强学习效率以及无需手动调参等问题。经过梯度下降法优化后，在遇到新任务或新环境时，仅需少量步骤的梯度变化就可以快速适应新任务或新环境，避免了局限性。文献 [82] 提出了元梯度强化学习，通过自动调整奖励函数中的超参数，使其可以适应随时间不断变化的环境，在线调整超参数来最大化奖励回报。文献 [83] 在此基础上，提出了在线发现目标的元梯度强化学习，该方法中的智能体仅能通过与环境的交互来发现目标，并且通过神经网络调整超参数，随着时间推移，智能体将会越来越有效率地学习。

　　(3)离线元强化学习离线元强化学习主要用于解决元强化学习难以在实际中得到应用的问题，通过大量预先收集或离线数据集进行预训练，极大降低了环境对训练过程的影响，在训练过程中无需与环境进行交互，减少了随机探索行为以及高成本数据采样行为。文献 [84] 提出了一种无模型、端到端的离线元强化学习，通过行为正则化学习策略，同时在信息空间中引入负幂距离度量，结合上下文编码器进行相关任务的推断，该方法的计算速度高效，能够快速适应新任务。文献 [85] 认为对于未知敏感环境，安全探索非常重要，该文将安全探索的问题视为一个离线元强化学习，在训练过程中利用离线数据学习安全与不安全行为，将学习到的安全措施运用到全新的环境中，并保证智能体能够安全学习，快速适应。

　　4 结束语

　　通过对当前智能空战决策技术的梳理和未来发展趋势的思考可以看出，人工智能技术与空战领域的融合将对未来航空兵器的跨代发展和技术革新产生深远影响，有望成为制胜未来战场的核心能力。本文在阐释现有空战决策技术和国外军事项目发展的基础上，重点关注了基于深度强化学习的智能对抗技术在解决高动态、不确定性以及复杂战场环境等问题的关键技术，揭示了智能空战决策技术正逐渐从依赖先验知识迈向基于自主学习的发展趋势。目前，空战场景和作战样式已迈入 “后智能” 时代，深度强化决策方法也将面临更加严峻的技术挑战，包括智能算法的安全性、可解释性、可通用性以及对实际战场应用的良好适应性等。这些关键技术的发展将进一步推动认知型智能技术在战场上的应用，使得 “以智取胜” 成为未来航空装备的跨代特征，引领新一轮的技术变革。

张 烨;涂远刚;张 良;崔 颢;王靖宇,西北工业大学航天学院;中国空空导弹研究院,202403