机器视觉及深度学习——经典算法与系统搭建

机器视觉及深度学习是人工智能的主要技术手段，已经广泛应用于各个领域。传统机器视觉技术，一般需要有较深的研发经验才能进行相关应用项目的开发，处理算法的通用性较差，学习门槛较高。深度学习需要搭建很多神经网络层次结构，一般人不具备搭建深度学习框架的能力，好在有不少大公司和专业机构根据不同的需求设计了一些深度学习框架并对外开放，一般人可以利用这些深度学习框架，实现自己的图像检测目的，学习门槛较低。

在功能方面，传统机器视觉技术更适合精确检测与定位，处理速度快，对硬件处理能力要求不高。深度学习更适合目标分类，需要对大量检测目标样本进行训练，处理量大，自然环境下的检测精度一般在 80%左右，需要采用高性能的GPU 处理设备提高检测速度。如果能够将深度学习和传统机器视觉技术相融合，针对深度学习的检测结果，再通过传统机器视觉技术进行精确检测和定位，就可以大大提高AI 技术的效率和精度。

为了帮助读者迅速理解和掌握机器视觉与深度学习的理论和编程实践，本书分为上、下两篇共 19章内容。上篇介绍理论算法，包括机器视觉的经典图像处理算法、深度学习的理论基础和目前常用的深度学习框架。下篇介绍编程环境及系统搭建，首先介绍机器视觉图像处理算法及深度学习的编程工具VC  、Python和OpenCV；然后利用VC  和Python 工具，搭建图像处理的工程界面；后介绍常用的 9 种深度学习框架的获得方法、安装设置、工程创建，以及深度学习工程的编译、训练、评估与部署方法。每一个搭建的工程，都提供一套可下载的源代码程序，方便读者下载学习。部分实例的程序可登录北京现代富博科技有限公司的官网进行下载。

为了确保读者顺利搭建系统，本书编写完成后，由没有经验的人员根据书中内容进行了试用并提出修改意见。为了完成深度学习框架的搭建，需要读者配置具有高性能 GPU 处理器的计算机。

本书由陈兵旗、谭彧主编，梁习卉子、张亚伟、刘星星、尹彦鑫、胡标、苏道毕力格、田文斌、陈建参与编写。具体分工如下：

陈兵旗（中国农业大学，fbcbq@163.com）：负责内容策划并编写第1章基础知识、和吃在2章目标提取、第8章平台软件、第9章VC  图像处理工程和第10章Python 图像处理工程。

谭彧（中国农业大学，tanyu@cau.edu.cn）：负责组织实施，审阅全部书稿和定稿。

梁习卉子（苏州健雄职业技术学院，liangxihuizi@sina.com）：编写第3章边缘检测、第4章去噪声处理和第5章几何参数检测。

张亚伟（中国农业大学，zywcu@cau.edu.cn）：编写第6章直线检测。

刘星星（中国农业大学，liuxingxing56285@163.com）：编写第7章深度学习框架介绍和第18章 YoloV4 深度学习工程。

尹彦鑫（北京农业智能装备技术研究中心，yinyx@nercita.org.cn）：编写第11章TensorFlow 深度学习工程。

胡标（中国农业大学，hubiao@cau.edu.cn）：编写第12章Keras 深度学习工程和第17章Theano 深度学习工程。

苏道毕力格（ 中国农业大学， sudao@cau.edu.cn ）： 编写第13章PyTorch 深度学习工程。

田文斌（中国农业大学，wenbin.tian@cau.edu.cn）：编写第14章Caffe深度学习工程、第15章MXNet 深度学习工程和第16章CNTK 深度学习工程。

陈建（中国农业大学，jchen@cau.edu.cn）：编写第19章PaddlePaddle深度学习工程。

读者在利用本书进行编程学习和实践的过程中，如果遇到问题，可以通过邮件获得相关作者的帮助。

虽然编写过程中付出了很大努力，但是在内容结构和文字表述方面难免有不妥之处，敬请广大读者批评指正。

主 编

深度学习和传统机器视觉技术相融合，可以大大提高AI 技术的效率和精度。本书分上、下两篇，共19 章内容，详细讲解了机器视觉及深度学习的理论和编程实践。上篇介绍理论算法。包括机器视觉的经典图像处理算法、深度学习的理论基础和目前常用的深度学习框架。下篇介绍编程环境及系统搭建。讲解了机器视觉图像处理算法及深度学习的编程工具 VC  、Python 和 OpenCV；利用 VC  和 Python 工具，搭建图像处理的工程界面；介绍了常用的9 种深度学习框架的获得方法、安装设置、工程创建，以及深度学习工程的编译、训练、评估与部署方法。每一个搭建的工程，都提供一套可下载的源代码程序，方便读者下载学习。本书理论与实践兼顾，可为从事机器视觉技术及人工智能研究和应用的工程技术人员提供帮助，也可供高等院校相关专业师生学习参考。

深度学习和传统机器视觉技术相融合，可以大大提高AI 技术的效率和精度。本书分上、下两篇，共19 章内容，详细讲解了机器视觉及深度学习的理论和编程实践。上篇介绍理论算法。包括机器视觉的经典图像处理算法、深度学习的理论基础和目前常用的深度学习框架。下篇介绍编程环境及系统搭建。讲解了机器视觉图像处理算法及深度学习的编程工具 VC 、Python 和 OpenCV；利用 VC 和 Python 工具，搭建图像处理的工程界面；介绍了常用的9 种深度学习框架的获得方法、安装设置、工程创建，以及深度学习工程的编译、训练、评估与部署方法。每一个搭建的工程，都提供一套可下载的源代码程序，方便读者下载学习。本书理论与实践兼顾，可为从事机器视觉技术及人工智能研究和应用的工程技术人员提供帮助，也可供高等院校相关专业师生学习参考。

陈兵旗，中国农业大学，教授，中国农业机械学会基础技术分会理事，美国国际农业生物工程学会ASABE会员，海外华人农业工程学会AOC会员。Transaction of ASABE, Biosystems Engineering, IEEE Transactions on Automation Science and Engineering, 中国农机学报、中国农业工程学报等多家国内外权威学术期刊论文审稿人。国家自然基金以及多个省市基金项目评审专家。

上篇 理论算法  1

第1章 基础知识  2

1.1 图像与颜色  2

1.1.1 彩色图像  2

1.1.2 灰度图像  3

1.1.3 颜色变换  3

1.2 机器视觉  4

1.2.1 机器视觉构成  4

1.2.2 数字图像处理  6

1.3 深度学习  9

1.3.1 基本概念  9

1.3.2 基本思想  10

1.3.3 深度学习常用方法  10

第2章 目标提取  21

2.1 灰度目标  21

2.1.1 阈值分割  21

2.1.2 自动二值化处理  22

2.2 彩色图像  24

2.2.1 果树上红色桃子的提取  24

2.2.2 绿色麦苗的提取  26

2.3 运动图像  27

2.3.1 帧间差分  27

2.3.2 背景差分  27

2.4 C 语言实现  28

2.4.1 二值化处理  28

2.4.2 双阈值二值化处理  29

2.4.3 直方图  30

2.4.4 直方图平滑化  31

2.4.5 大津法二值化处理  31

第3章 边缘检测  34

3.1 图像边缘  34

3.2 微分处理  35

3.2.1 一阶微分  35

3.2.2 二阶微分  36

3.3 模板匹配  37

3.4 C 语言实现  39

3.4.1 一阶微分边缘检测  39

3.4.2 二阶微分边缘检测  40

3.4.3 Prewitt 算子边缘检测  41

3.4.4 二值图像的细线化处理  43

第4章 去噪声处理  46

4.1 移动平均  46

4.2 中值滤波  47

4.3 二值图像去噪声  49

4.4 C 语言实现  50

4.4.1 移动平均法  50

4.4.2 中值滤波  51

4.4.3 腐蚀处理  52

4.4.4 膨胀处理  53

第5章 几何参数检测  55

5.1 图像的几何参数  55

5.2 区域标记  58

5.3 几何参数检测与提取  59

5.4 C 语言实现  60

5.4.1 区域标记  60

5.4.2 计算图像特征参数  62

5.4.3 根据圆形度抽出物体  66

5.4.4 复制掩模领域的原始图像  67

5.4.5 根据面积提取对象物  67

第6章 直线检测  69

6.1 传统 Hough 变换的直线检测  69

6.2 小二乘法的直线检测  71

6.3 C 语言实现  72

6.3.1 传统 Hough 变换的直线检测  72

6.3.2 小二乘法的直线检测  74

第7章 深度学习框架介绍  77

7.1 TensorFlow  78

7.1.1 TensorFlow 的优势  78

7.1.2 TensorFlow 应用场景  79

7.1.3 TensorFlow 开发环境安装  79

7.2 Keras  80

7.2.1 Keras 的优势  81

7.2.2 Keras 应用  81

7.2.3 Keras 与 TensorFlow2 的关系  81

7.2.4 Keras 的安装  82

7.3 PyTorch  82

7.3.1 PyTorch 的优势  82

7.3.2 PyTorch 的典型应用 83

7.3.3 PyTorch 和 TensorFlow 的比较  83

7.3.4 PyTorch 的安装  84

7.4 其他深度学习框架  85

7.4.1 Caffe  85

7.4.2 MXNet  85

7.4.3 CNTK  86

7.4.4 Theano  86

7.4.5 Darknet 87

7.4.6 PaddlePaddle  87

下篇 编移环境及系统搭建  89

第8章 平台软件  90

8.1 OpenCV  90

8.1.1 基本功能介绍  90

8.1.2 获取与安装  91

8.2 VC    92

8.2.1 基本功能介绍  92

8.2.2 获取与安装  93

8.3 Python  95

8.3.1 基本功能介绍  95

8.3.2 获取与安装  95

第9章 VC  图像处理工程  98

9.1 工程创建  98

9.1.1 启动 Visual Studio 2010  98

9.1.2 创建新建工程  99

9.2 系统设置  115

9.3 编译执行  117

第10章 Python 图像处理系统  119

10.1 工程创建  119

10.2 系统设置  121

10.3 编译执行  127

第11章 TensorFlow 深度学习工程  134

11.1 框架获得  134

11.2 安装设置  134

11.3 案例  135

11.3.1 数据准备  135

11.3.2 训练模型  137

11.3.3 验证准确率  139

11.3.4 导出模型并对图片分类  139

第12章 Keras 深度学习工程  142

12.1 框架获得  142

12.2 安装设置步骤  143

12.3 工程创建  146

12.4 编译、训练、评估与部署  148

第13章 PyTorch 深度学习工程  152

13.1 框架获得  152

13.2 安装设置  153

13.2.1 CPU 版本安装  153

13.2.2 GPU 版本安装  153

13.3 工程创建  155

13.4 训练、评估与部署  157

13.4.1 训练  157

13.4.2 评估  158

13.4.3 部署  159

第14章 Caffe 深度学习工程  166

14.1 安装环境和依赖项获得  166

14.2 框架的获取  167

14.3 编译 Caffe 及其与 Python 的接口  167

14.3.1 OpenCV 的安装  167

14.3.2 Caffe 编译  170

14.4 目标分类测试  181

14.4.1 数据集准备  181

14.4.2 训练模型  186

14.4.3 用训练好的模型对数据进行预测  188

第15章 MXNet 深度学习工程  190

15.1 框架获取及环境设置  190

15.1.1 环境准备  190

15.1.2 利用 Anaconda 创建运行环境  191

15.2 基于笑脸目标检测的 MXNet 框架测试  192

15.2.1 创建训练数据集  192

15.2.2 训练模型  197

15.2.3 测试模型  200

第16章 CNTK 深度学习工程  202

16.1 框架的获取  202

16.2 编译  202

16.2.1 CPU 版本编译  202

16.2.2 基于 Linux 系统的 GPU 版本编译  206

16.3 CNTK 测试  208

16.3.1 创建数据集  208

16.3.2 模型训练  211

16.3.3 模型测试  213

第17章 Theano 深度学习工程  216

17.1 框架获得  216

17.2 安装设置  217

17.3 工程创建  220

17.4 编译、训练、评估与部署  222

第18章 YoloV4 深度学习工程  226

18.1 框架的获取  226

18.2 框架源码编译及环境设置  226

18.2.1 CPU 版本编译  226

18.2.2 GPU 版本编译  227

18.2.3 Darknet 测试  230

18.3 创建 Yolo 训练数据集  231

18.4 训练 YoloV4 模型  235

18.5 测试 YoloV4 模型  237

第19章 PaddlePaddle 深度学习工程  238

19.1 框架获得  240

19.2 安装设置  240

19.3 工程创建、编译、训练、评估与测试  243

19.4 基于高层 API 的任务快速实现  261

参考文献  263

深度学习和传统机器视觉技术相融合，可以大大提高AI 技术的效率和精度。本书分上、下两篇，共19 章内容，详细讲解了机器视觉及深度学习的理论和编程实践。上篇介绍理论算法。包括机器视觉的经典图像处理算法、深度学习的理论基础和目前常用的深度学习框架。下篇介绍编程环境及系统搭建。讲解了机器视觉图像处理算法及深度学习的编程工具 VC  、Python 和 OpenCV；利用 VC  和 Python 工具，搭建图像处理的工程界面；介绍了常用的9 种深度学习框架的获得方法、安装设置、工程创建，以及深度学习工程的编译、训练、评估与部署方法。每一个搭建的工程，都提供一套可下载的源代码程序，方便读者下载学习。本书理论与实践兼顾，可为从事机器视觉技术及人工智能研究和应用的工程技术人员提供帮助，也可供高等院校相关专业师生学习参考。

陈兵旗，中国农业大学，教授，中国农业机械学会基础技术分会理事，美国国际农业生物工程学会ASABE会员，海外华人农业工程学会AOC会员。Transaction of ASABE, Biosystems Engineering, IEEE Transactions on Automation Science and Engineering, 中国农机学报、中国农业工程学报等多家国内外权威学术期刊论文审稿人。国家自然基金以及多个省市基金项目评审专家。