基于深度强化学习的作战任务规划技术研究9787522117270

张永亮，□，1982年出生，军队指挥学博士，计算机科学与技术博士后。现为陆**程大学副教授，主要研究指控理论与仿真、智能任务规划。先后获军队和省部级科技进步一等奖2项、军队科技进步二等奖1项、军队科技进步三等奖3项；获中国博士后科学□□面上一等和特别项目资助，主持装发领域□□、科技委国防科技创新特区、陆军十三五规划项目多项；参与国家自然科学□□、中国工程院院士重点课题、江苏省自然科学□□多项；出版著作5部，在军内外核心期刊发表论文60余篇。2018年被表彰为陆**程大学“科研先进个人”，荣立个人三等功1次。

第1章 概述

1.1 作战任务规划及其技术发展

1.1.1 作战任务规划的概念内涵

1.1.2 作战任务规划的功能定位

1.1.3 国外作战任务规划系统与技术

1.1.4 国内作战任务规划系统与技术

1.2 深度强化学习及其发展现状

1.3 基于深度强化学习的作战任务规划适用性分析

1.4 基于深度强化学习的作战任务规划面临的挑战

1.4.1 不完信息条件下的战场态势特征建模问题

1.4.2 作战任务规划行动决策空间维度灾难问题

1.4.3 基于DRL的作战行动序列奖赏函数设计问题

1.4.4 基于DRL的作战任务规划模型可解释性问题

第2章 基于分层强化学习的作战任务规划框架

2.1 基于分层强化学习的作战任务规划框架设计

2.2 基于层次任务网的作战任务分解

2.3 基于强化学习的作战任务规划模型

2.3.1 复杂战场态势特征表示的基本过程

2.3.2 作战任务规划中不确定性与对手建模

2.3.3 战场态势特征深度神经网络建模

2.3.4 作战任务智能规划的POMDP模型

2.4 面向作战任务规划的分层强化学习算法

2.4.1 HAM分层抽象机

2.4.2 MAxQ值函数分解

2.4.3 0ption选项框架

第3章 知识引导的深度强化学习方法

3.1 基于知识与DQN的单智能体任务规划

3.1.1 基于规则的强化学习算法框架

3.1.2 智能战术决策中的MDP模型

3.1.3 基于产生式规则的战术知识

3.1.4 基于产生式规则的损失函数设计

3.1.5 基于产生式规则的作战任务智能规划仿真实验

3.2 基于综合势能的强化学习启发式探索策略

3.2.1 综合势能理论分析

3.2.2 综合势能模型构建

3.2.3 综合势能驱动的强化学习探索策略

3.2.4 基于综合势能的作战仿真实验设计

3.3 Actor-Critic框架下基于知识的多智能体协同规划

3.3.1 智能战术兵棋环境中强化学习的奖励函数设计

3.3.2 Actor-Crific框架下的多智能体协同作战算法

3.3.3 算法仿真实验验证与分析

第4章 数据驱动的多智能体博弈对抗协同规划

4.1 数据驱动的多智能体博弈对抗协同规划

4.1.1 作战实体博弈对抗算法设计

4.1.2 基于PPO的算法实验验证

4.1.3 仿真实验结果分析

4.2 基于逆向强化学习的陆战分队战术任务规划

4.2.1 基于深度强化学习韵陆战分队战术任务规划模型

4.2.2 基于IRL和DQN的陆战分队战术规划求解模型

4.2.3 实验方案总结

第5章 离线学习与在线博弈结合的作战任务规划与评估

5.1 作战想定设计与实验平台选择

5.1.1 实验总体设计

5.1.2 作战想定描述

5.1.3 陆战兵棋对抗平台

5.2 MCTS框架下基于深度策略网的在线行动规划

5.2.1 蒙特卡洛树搜索基本思想与模型

5.2.2 基于MCTS和深度策略网的行动序列生成

5.3 典型作战任务智能规划与分析评估

5.3.1 基于综合势能的智能任务规划算例分析

5.3.2 基于MCTS和综合势能的智能任务规划算例分析

5.3.3 多视角、全过程的作战任务规划评估与分析

附录A “先胜1号”陆战智能兵棋推演平台Al接口

A.1 文档说明

A.1.1 功能描述

A.1.2 阅读对象

A.1.3 使用环境

A.2 接口设计框架

A.2.1 接口设计需求

A.2.2 接口设计框架

A.3 接口说明

A.3.1 算子介绍

A.3.2 算子控制接口

A.3.3 信息查询接口

A.3.4 分析工具接口

附录B 强化学习对抗赛算法设计说明

基于Actor-Critic算法的混合智能战术兵棋模型设计

基于PPO算法的兵棋强化学习

基于规则优先级选择的智能兵棋规则算法设计

基于规则和随机最近距离的算法设计

基于博弈策略选择的规则驱动型智能兵棋模型设计

基于先验知识及DQN算法的混合智能兵棋研究与实现

实时态势驱动的智能战术兵棋算法模型设计与实现

参考文献

第1章概述进入信息智能时代，信息技术深刻改变着战争形态和作战方式，也深刻影响着战争准备和实施进程。现代战争的制胜机理已由规模制胜向精确制胜转变，效能优先、精兵作战已成为信息化作战力量运用的重要方式，这就要求作战方案的设计与生成越来越精确化。当前以监督学习、深度强化学习、知识图谱为代表的智能技术群的快速发展以及其在图像理解、机器翻译、语音识别、智能推荐领域的成功应用为精确、高效地制订作战任务智能规划创造了成熟的技术条件。基于当前成熟的人工智能技术群，实现作战计划的交互式编制、作战资源的优化调度、规划流程的自动化管控以及规划结果的可视化呈现与智能化评估是信息化战争对作战任务规划提出的现实紧迫需求。本章将对比分析国内外作战任务规划系统发展现状，分析基于深度强化学习的作战任务规划适用性，进而分析深度强化学习在智能作战任务规划中面临的问题。1.1作战任务规划及其技术发展1.1.1作战任务规划的概念内涵作战任务规划是指挥员及其参谋机构依据上级意图，在对敌情、我情、战场环境等客观情况深入研判的基础上，对总体作战任务的分解，对作战资源的调度，对各部队任务的区分和行动安排，并在作战实施中对任务进行实时监控和临机规划的过程。作战任务规划是基于信息系统完成精细化指挥活动的过程。周密的作战任务规划是精确作战筹划的重要内容，是取得作战胜利的重要保证。作战任务规划的本质是根据任务目标、给定的资源和约束条件，运用科学规划方法合理生成一系列作战行动序列(Course of Action，COA)，以实现从初始态势到期望态势的转化。任务目标由指挥员及其参谋机构确定；资源与约束包括任务部队能力、物资保障、作战时空要求、协同关系以及战场情况等。为了达到期望态势，作战实体往往需要执行大量的作战行动，这些行动之间通常存在着复杂的时序逻辑关系，因而需要对作战资源进行合理的分配，对作战行动序列进行合理的排序，处理规划过程中的各类冲突，评估规划结果的有效性，因此作战任务规划是一个十分复杂的过程。作战任务规划一般包括理解任务、判断情况、设计构想、制订方案、推演评估等一系列指挥活动。作战任务规划既需要创新的指挥流程、指挥活动内容，又需要一套信息化规划系统来支撑。1.1.2作战任务规划的功能定位1.作战筹划决策模式创新发展的重要支撑信息技术的迅猛发展加快了信息系统的不断完善，基于信息系统的任务规划必将成为指挥人员未来任务规划的主要方式。信息化条件下，部队作战通常是基于作战目标与效果的联合行动，各指挥要素通过指挥信息系统分散配置、动态隐蔽，使各级各类指挥人员在同一时间、不同地点通过指挥链路担负着共同的指挥任务，通过联合研判、联合协商、联合决策等形成整体指挥优势。因此，部队指挥人员只有铸牢动态分布交互的任务规划理念，才能在实践中根据上级指挥员的决心意图和战场动态，充分发挥信息系统的互联、互通、互操作功能，依托智能化任务规划系统对部队的战斗任务、行动进行实时监控与临机决断，才能提高其科学性和时效性，从而满足作战指挥方式由集中式指挥向任务式指挥转变的需求。这是引领作战任务规划创新发展、深入实践的关键理念。因此，迫切需要加强智能化作战任务规划功能建设，为推动作战任务规划模式创新发展提供支撑。2.精确高效作战任务规划能力生成的重要保障在现代战争中，战场环境瞬息万变，使作战行动呈现动态性和不确定性，指挥、控制与协同呈现复杂性等特点，因此任务规划这一关键环节面临极大挑战。利用先进的计算机技术，通过任务规划系统提高指挥员决策的速度和准确性是作战部队占据战场优势、提高快速反应能力和作战效能的关键。部队要精准分析战场态势，精细分工行动任务，精密规划兵力火力，精确调配作战资源。部队要树立“以快吃慢”基本制胜理念，作战筹划必须跟上作战行动节奏，尽可能缩短决策周期，确保先敌反应、先敌行动、先敌打击，赢得作战主动权。因此，迫切需要在部队作战筹划系统建设中加强作战任务规划功能建设，为提高部队精确高效作战筹划能力提供保障。精度、速度、强度是信息化条件下陆军作战行动的根本要求。面对汹涌而来的战场大数据，指挥人员如何实现高精度任务规划是指挥成败的关键。大数据技术改变了传统数据处理模式，精确化成为必然要求，指挥人员只有适应这种变化，才能在瞬息万变的数据洪流中占据主动。通过大数据技术，指挥机构及指挥员借助数据……

本书运用深度强化学习技术与指挥控制工程理论，紧紧围绕基于领域知识与指挥范例数据的深度强化学习启发式探索策略构建，属于基于深度强化学习的作战任务规划技术方面的著作，重点对基于分层强化学习的作战任务规划框架、知识引导的深度强化学习方法、数据驱动的多智能体博弈对抗协同规划、离线学习与在线博弈结合的作战任务规划与评估等方面内容进行了客观分析研究，本书的出版对相关领域研究者、相关从业人员及爱好者具有一定的学习与参考价值。