多机器人系统强化学习

张文旭，兰州理工大学，副教授，硕导。发表学术论文20余篇，其中EI收录13篇、SCI收录4篇（第一作者或通讯作者4篇）；主持或参与国家自然基金项目5项，甘肃省自然基金项目4项，主持企业委托项目2项；获授权国家发明专利2项、实用新型专利3项、软件著作权4项。

第1章绪论.

1.1研究背景与意义

1.2机器学习算法

1.3多机器人的协调与协作

1.4不确定环境下的多机器人系统

本章参考文献。onaastie .

第2章多机器人协作与强化学习模型

2.1引言

2.2强化学习原理

2.2.1强化学习结构

2.2.2 Monte Carlo算法

2.2.3瞬时差分法

2.2.4Q-学习.

2.2.5 Sarsa算法

2.2.6Actor-Critic学习算法

2.2.7‘R-学习算法

2.3分布式强化学习模型

2.3.1分布式强化学习模型

2.3.2研究现况及存在的问题

2.4多机器人决策模型

2.4.1，马尔可夫模型

2.4.2分布式马尔可夫模型

2.4.3局部可观测的马尔可夫模型

812,4.4分布式局部可观测的马尔可夫模型

2.4.5研究现状与存在的问题

2.5多机器人一致性模型

2.5.1图论w

2.5.2矩阵论wo0.

2.5.3 Gossip 一致性算法

2,5.4离散一致性算法.

2,6强化学习存在问题及改进分析.toe.

2.6.1盲目搜索方式与启发式搜索方式分析

2.6.2启发式强化学习分析

2.6.3迁移强化学习分析

2.6.4事件驱动与机器学习的结合问题分析

2.7本章小结。n.e.s.es .

本章参考文献

第3章基于一致性的多机器人强化学习研究

3.1引言-

3.2基于一致性的DEC-POMDP强化学习框架

3.2.1强化学习中的局部观测性和不确定性

3.2.2分布式多机器人强化学习模型

3.2.3多机器人强化学习一致性设计方案

基于一致性的多机器人强化学习算法。

3.3.1，基于一致性的多机器人强化学习算法

3.3.2基于一致性的策略化简

3.4收敛性分析

3.5仿真实验

3.6本章小结

本章参考文献

第4章基于事件驱动的多机器人强化学习研究

4.1引言oot

4.2事件驱动原理

4.3强化学习的事件驱动模型与触发规则设计

4.3,1基于事件驱动的强化学习模型

4.3.2触发规则设计

4.4基于事件驱动的强化学习，

4.4.1基于事件驱动的强化学习设计

4.4.2计算资源消耗分析

4.4.3算法收敛性分析

4.5仿真实验.

4.6本章小结

本章多考文献

第5章基于事件驱动的启发式强化学习研究

5.1引言asand a.

5.2启发式加速强化学习方法

5.2.1启发式加速Q-学习.

5.2.2基于状态回溯代价分析启发式Q学习，

5.2.3基于Case Based Reasoning的多机器人启发式加速Q学习

5.3基于事件驱动的启发式Q学习设计.

H1 5.3.1一基于事件驱动的HAQL算法-

£11 5.3.2基于事件驱动的 HASB-QL算法

5.3.3基于事件驱动的CB-HAQL算法

5.4本章小结

本章参考文献。

第6章基于启发式强化学习的多机器人覆盖问题研究

6.1引言.

6.2基于HAQL的多机器人覆盖算法设计

6.2.1启发式加速Q学习机制

6.2.2事件驱动机制

6.2.3覆盖算法设计，

6.2.4。单机器人覆盖仿真实验与分析

6.2.5多机器人覆盖仿真实验与分析

6.3基于HASB-QL的多机器人厦盖算法设计

c16.3.1 状态回溯代价分析的强化学习机制

616.3.2:触发函数设计

6.3.3覆盖算法设计

6.3.4单机器人覆盖仿真实验与分析

ba1 6.3.5多机器人覆盖仿真实验与分析

6.4基于CB-HAQL的多机器人覆盖算法设计

6.4.1案例推理的启发式学习机制・

6.4.2触发函数机制

……

10.4.1协议实现的可能性和基础框架

10.4.2 OLSR 协议的原理

10.4.3 OLSR 协议的实现

10.4,4 AODV协议的原理

10.4.5 AODV协议的实现

10.5实验结果及分析

10.5.1实验设计策略和相关标准

10.5.2协议性能验证性实验.

10.5.3 AODV协议在不同功能参数配置下的表现

10.5.4动态拓扑下性能实验

10.5.5稳定拓扑下的网络吞吐量实验

10.6本章小结

本章参考文献。

强化学习是机器学习领域的一种重要学习手段，是一种从环境状态到行为映射的学习方式，是实现智能系统具有自适应能力、自学习能力的重要途径。本书以强化学习算法与多机器人系统的结合为主要背景，介绍了主要的强化学习算法模型，讨论了它们的原理和优缺点；本书针对多机器人协作，从实际应用问题的角度分析，指出了局部性、不确定性和自组织网络等在学习中的现实意义；本书针对强化学习存在的学习速度慢、计算复杂度高等问题，研究了几种改进算法，并基于MATLAB设计了机器人仿真工具箱，以机器人路径规划与覆盖问题为背景进行了仿真研究。

本书可作为高等院校人工智能、自动化、计算机等相关专业的科研工作者及硕士、博士研究生的参考用书。