AI自动化测试：技术原理 平台搭建与工程实践

图书标准信息

• 作者 腾讯TuringLab团队
• 出版社 机械工业出版社
• 出版时间 2020-06
• 版次 1
• ISBN 9787111654919
• 定价 89.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 219页
• 字数 128千字

【内容简介】

这是一部讲解如何将AI技术创造性地应用到自动化测试领域的前沿性著作。由腾讯互动娱乐事业群TuringLab实验室撰写，从技术原理、平台构建、工程实践3个维度全面讲解AI技术在中的应用，融合了团队先进的理论研究成果和丰富的工程实践经验。
  全书一共14章，分为三个部分：
  *部分 技术原理（第1-5章）
  首先，从宏观角度介绍了自动化测试和AI技术的发展，以及二者的相互结合；然后，讲解了图像识别算法、强化学习、模仿学习等用于自动化测试的AI技术的原理；*后，介绍了Android设备的调试原理和技术。
  第二部分 平台搭建（第6-11章）
  以TuringLab实验室开源的Game AI SDK为例，不仅讲解了AI自动化测试平台的架构设计、开发流程、环境搭建和二次开发等内容，而且还讲解了AI SDK Tool工具的使用，以及如何以图像类方式和数据类方式接入Game AI SDK。
  第三部分 工程实践（第12-14章）
  主要讲了TuringLab团队在游戏AI自动化测试领域的*实践，包括手机游戏兼容性测试、自动化Bug检测、自动机器学习等内容。
  提供大量简洁的代码实例，助你零基础实现AI自动化测试。

【作者简介】

腾讯互动娱乐事业群TuringLab团队 

由美国归国技术专家领头组建，成员包括多位图像识别处理和机器学习领域的博士，以及多位专注于工程技术的专家。目前，实验室开发的AI SDK自动化测试平台已经成功接入腾讯公司的几十款在正式运营的商业游戏，并同时服务于WeTest产品、即通手Q产品，以及各游戏工作室的多个产品。

 

张力柯

腾讯TuringLab实验室负责人，资深AI系统设计专家；在操作系统内核、网络安全、搜索引擎、推荐系统、大规模分布式系统、图像处理、数据分析等领域具有丰富的实践经验；美国得克萨斯大学圣安东尼奥分校计算机科学博士；曾先后在美国微软、BCG、Uber及硅谷其他创业公司担任研发工程师及项目负责人等。

 

周大军

资深软件工程专家，腾讯TuringLab实验室AI工程组负责人，有10年以上工程技术开发经验；负责开发的GAPS（压测大师）获腾讯公司首届最佳工具奖；申请及参与提交工程、无人机、AI相关专利70余项。

 

黄超

资深AI算法研究员；主要负责腾讯游戏AI的算法研发、计算机视觉算法研发；先后在国内外重要的期刊和会议上发表20余篇论文，包括著名国际期刊IEEE Transactions论文5篇，并提交AI相关专利25项。

 

李旭冬

资深AI算法研究员；在腾讯从事游戏AI算法研发相关工作，主要负责图像识别、强化学习和游戏自动化方面的算法研发；在国内外重要会议和期刊上发表学术论文15篇，申请AI相关专利10项。

 

申俊峰

资深软件工程专家，有10年以上工程技术开发经验；在腾讯先后负责智能硬件、游戏AI自动化平台的设计和开发；先后提交相关技术专利10项。

 

王洁梅

腾讯高级工程师，主要从事工程技术开发及图像识别算法研发相关工作；在游戏图像识别和游戏测试方向经验丰富；先后提交发明专利23项，其中国际检索2篇。

 

杨夏

腾讯高级工程师，主要从事游戏AI算法（强化学习和模仿学习）和工程应用；在多个品类的游戏业务上负责AI技术的落地工作，拥有丰富的AI工程化、自动化经验；先后提交发明专利26项。

【目录】

前言

作者简介

第一部分　原理篇

第1章　AI与自动化测试2

1.1　自动化测试的发展与现状2

1.2　AI的发展与应用4

1.3　AI与自动化测试相结合6

1.4　本章小结6

第2章　图像识别算法7

2.1　图像识别7

2.2　传统的图像识别算法9

2.2.1　模板匹配算法9

2.2.2　特征点匹配算法11

2.2.3　梯度特征匹配算法13

2.3　基于深度学习的图像识别算法15

2.3.1　卷积神经网络15

2.3.2　卷积神经网络模型16

2.4　图像识别方法在游戏测试中的应用22

2.4.1　特征点匹配在场景覆盖性测试上的应用22

2.4.2　游戏场景图像的物体识别25

2.5　本章小结26

第3章　强化学习27

3.1　基本理论27

3.2　基于值函数的强化学习30

3.2.1　值函数30

3.2.2　DQN31

3.3　基于策略梯度的强化学习32

3.3.1　策略梯度33

3.3.2　Actor-Critic33

3.3.3　DDPG35

3.3.4　A3C37

3.4　强化学习在自动化测试中的应用38

3.5　本章小结40

第4章　模仿学习41

4.1　什么是模仿学习41

4.2　模仿学习研究现状42

4.2.1　行为克隆42

4.2.2　逆强化学习43

4.3　模仿学习在自动化测试中的运用45

4.4　本章小结50

第5章　Android设备调试52

5.1　Android调试桥52

5.1.1　adb常用命令介绍53

5.1.2　ADB原理56

5.2　Android实时截屏57

5.2.1　minicap介绍57

5.2.2　minicap使用58

5.3　Android模拟器60

5.3.1　Android Emulator介绍60

5.3.2　其他模拟器介绍65

5.4　本章小结65

第二部分　平台篇

第6章　AI SDK平台介绍68

6.1　Game AI SDK平台功能69

6.2　Game AI SDK平台架构设计71

6.3　Game AI SDK平台流程72

6.3.1　AI算法流程72

6.3.2　图像识别任务流程73

6.4　Game AI SDK平台模块结构74

6.4.1　图像识别模块74

6.4.2　AI算法模块76

6.5　本章小结77

第7章　AI SDK自动化测试平台搭建78

7.1　Windows环境搭建78

7.1.1　创建虚拟环境78

7.1.2　安装AI SDK79

7.1.3　安装SDK Tool79

7.1.4　安装AI Client80

7.2　Linux环境搭建81

7.3　如何运行AI SDK85

7.3.1　安装APK85

7.3.2　游戏配置说明86

7.3.3　启动服务93

7.4　本章小结95

第8章　AI SDK Tool详解96

8.1　配置项目96

8.1.1　安装97

8.1.2　配置项目98

8.2　标注GameReg任务101

8.3　标注UIRecognize任务106

8.4　调试108

8.4.1　AI SDK Tool和GameReg之间的调试108

8.4.2　AI SDK Tool和UIRecognize之间的调试109

8.5　AI SDK Tool的其他功能111

8.5.1　添加动作配置111

8.5.2　添加地图路线112

8.5.3　图结构路径配置113

8.6　本章小结115

第9章　图像类接入Game AI SDK平台116

9.1　通过SDK Tool生成平台所需数据117

9.1.1　生成UI配置文件117

9.1.2　生成模仿学习样本120

9.2　基于图像的AI方案125

9.2.1　基于小地图的特征提取126

9.2.2　样本扩充126

9.2.3　模型和训练126

9.3　使用Game AI SDK平台进行AI自动化测试——手机兼容性测试128

9.4　使用Game AI SDK平台进行AI自动化测试——场景测试131

9.5　使用Game AI SDK平台进行AI自动化测试—花屏类测试131

9.6　本章小结134

第10章　数据类手游接入GameAI SDK平台135

10.1　Game AI SDK接入方案136

10.1.1　集成GAutomator实现游戏接口136

10.1.2　通过游戏接口获取AI输入数据138

10.1.3　通过动作接口执行AI动作139

10.2　基于数据的AI方案介绍140

10.2.1　算法描述141

10.2.2　实现功能142

10.3　使用Game AI SDK平台进行AI自动化测试——跑图覆盖测试143

10.4　使用Game AI SDK平台进行AI自动化测试——手机性能测试145

10.5　使用Game AI SDK平台进行AI自动化测试——地图平衡性测试146

10.5.1　游戏AI的课程学习方式147

10.5.2　游戏AI的深度强化学习训练架构147

10.5.3　深度强化学习的神经网络模型设计147

10.6　本章小结148

第11章　AI SDK平台二次开发150

11.1　AI SDK平台二次开发介绍150

11.1.1　AI SDK二次开发框架151

11.1.2　AI SDK二次开发API154

11.2　基于规则的AI设计和开发159

11.2.1　基于规则的AI介绍159

11.2.2　基于规则的AI实践159

11.3　基于模仿学习的AI设计和开发168

11.3.1　基于模仿学习的AI介绍168

11.3.2　基于模仿学习的AI实践169

11.4　基于强化学习的AI设计和开发175

11.4.1　基于强化学习的AI介绍175

11.4.2　基于强化学习的AI实践176

11.5　本章小结185

第三部分　最佳实践篇

第12章　手机游戏兼容性测试188

12.1　基于图像的兼容性测试188

12.2　基于UI动作传递的兼容性测试193

12.3　基于UI自动探索的兼容性测试197

12.4　本章小结200

第13章　自动化Bug检测201

13.1　贴图丢失201

13.2　角色穿墙203

13.3　碰撞穿模207

13.4　本章小结210

第14章　自动机器学习211

14.1　自动机器学习概述211

14.2　参数搜索策略212

14.3　NNI安装和使用213

14.4　本章小结219