机器视觉：原理与经典案例详解

"前言

机器视觉技术作为信息获取与处理的重要技术，已经是大多数理工科类本科和研究生的必修和选修课程。自20世纪60年代Roberts正式开启三维机器视觉的研究开始，机器视觉技术经过几十年的发展，并伴随计算机技术、现场总线技术的提升，现已是现代加工制造业不可或缺的产品之一。机器视觉技术强调实用性，具有非接触性、实时性、自动化、智能化和可移植性等优点，有着广泛的应用前景。目前已广泛应用于食品、化妆品、制药、建材、化工、金属加工、电子制造、包装、汽车制造等行业。

机器视觉技术是获取信息、分析和处理数据的关键技术和手段，是从事科学研究、产品智能化与无人化的关键技术。可以说，没有机器视觉技术，就没有科学研究的未来，各行各业会因为没有机器视觉技术而大大阻碍智能化和无人化发展的脚步。因此，机器视觉技术相关的知识是已经或者将要从事科技与生产的人员必须学会、必须掌握的一门重要的专业基础知识。

机器视觉技术涉及人工智能、神经生物学、心理物理学、计算机科学、图像处理、模式识别等诸多学科。机器视觉主要用计算机来模拟人的视觉功能，从客观事物的图像中提取信息，进行处理并加以理解，终用于实际检测、测量和控制。机器视觉技术的特点是速度快、信息量大、功能多。

目前，与“机器视觉技术”相关的图书已有多种，各种版本各有所长，各有所取。本书正是以现在的多种版本为借鉴，同时又紧扣时代脉搏，尽可能地反映现代机器视觉技术的发展撰写而成的。本书对机器视觉在工业、交通、农业、智能家居等各方面的应用给出了较多的案例，每一个案例从背景、目标、方法和实验结果进行了具体分析，旨在给相关人员研究机器视觉技术提供有效的参考。

本书共17章，前3章为基础理论，后13章为机器视觉在工业、交通和其他领域的应用实例，后1章为未来发展趋势预测。前3章介绍了机器视觉的发展历史、定义、系统构成和平台组成；第4章～第16章分析讨论了13个具体应用案例，有Delta并联机器人机器视觉动态分拣、3-PPR平面并联机构视觉伺服精密对位、关节臂式机器人3D视觉智能抓取、工件表面缺陷视觉检测、工件尺寸视觉测量、铁路货车超限监测、高速列车弓网异常状态检测、车站客流安全智能监控、高铁牵引变电所绝缘子异常状态识别、高速列车接触网状态巡检、基于人脸识别的智能窗帘、基于机器视觉的茶叶嫩芽识别方法、基于机器视觉的车牌识别系统；第17章对机器视觉的发展进行了展望。

本书由宋春华、张弓、刘晓红等编著，由宋春华对全书进行统稿。其中，西华大学宋春华和中国科学院深圳先进技术研究院广州先进技术研究所张弓共同完成了第1章、第2章、第3章；广州先进技术研究所张弓完成了第4章、第5章、第6章和第17章；广州先进技术研究所杨根完成了第7章、第8章；西南交通大学刘晓红和西华大学宋春华共同完成了第9章、第10章、第11章、第12章、第13章；西华大学宋春华完成了第14章、第15章、第16章。全书是在各位作者的通力合作下完成的。

特别感谢韩国汉阳大学教授、韩国工程院院士、中国国家高层次人才计划入选者韩彰秀为本书作序。感谢西华大学机械工程学院硕士生程川、王鹏、孟令方、邸银浩参加了本书的校对工作。感谢西南交通大学肖世德教授、权伟副教授、程学庆副教授、金炜东副教授，太原理工大学张兴中教授，西南交通大学硕士生孙丽丽、刘可敬、郑丹阳、吴镜锋，天津大学硕士生乔佳、太原理工大学硕士生潘哲对本书编写的大力支持。本书在编写过程中，参考了大量的资料，在此向书中所列参考文献的作者表示衷心的感谢！

由于编著者水平所限，书中定有欠妥之处，敬请读者批评指正。

编著者 　　

2022年1月　　

"

"机器视觉是指利用相机、摄像机等作为传感器，并配合机器视觉算法，赋予智能设备具备人眼的功能，从而进行相关物件识别、检测、测量等操作的一种技术，现已广泛应用于多个领域。

本书在对机器视觉的定义、现状及组成单元等基础理论进行介绍的基础之上，从实用性角度，对Delta并联机器人机器视觉动态分拣等5个工业应用实例、铁路货车超限监测等5个交通应用实例、基于人脸识别的智能窗帘等3个其他领域应用实例进行了重点讲解，并对机器视觉技术和市场的未来发展进行了展望。

本书可供仪器科学与技术、机械电子工程、自动化等领域的科研人员和工程技术人员参考使用，也可作为高等院校测控技术与仪器、智能感知工程、机械电子工程、电子信息工程等相关专业的教学用书。

　"

"机器视觉是指利用相机、摄像机等作为传感器，并配合机器视觉算法，赋予智能设备具备人眼的功能，从而进行相关物件识别、检测、测量等操作的一种技术，现已广泛应用于多个领域。

本书在对机器视觉的定义、现状及组成单元等基础理论进行介绍的基础之上，从实用性角度，对Delta并联机器人机器视觉动态分拣等5个工业应用实例、铁路货车超限监测等5个交通应用实例、基于人脸识别的智能窗帘等3个其他领域应用实例进行了重点讲解，并对机器视觉技术和市场的未来发展进行了展望。

本书可供仪器科学与技术、机械电子工程、自动化等领域的科研人员和工程技术人员参考使用，也可作为高等院校测控技术与仪器、智能感知工程、机械电子工程、电子信息工程等相关专业的教学用书。

　"

"基础理论篇 001

第1章　绪论 002

1.1 机器视觉的定义 002

1.2 机器视觉的发展历史 004

1.3 机器视觉的发展研究现状 005

1.3.1 国外机器视觉现状 005

1.3.2 国内机器视觉现状 005

本章小结 007

参考文献 007

第2章　机器视觉系统组成单元及应用 009

2.1 照明 010

2.2 镜头 011

2.3 图像传感器 012

2.4 视觉信息处理 012

2.5 通信模块 013

2.6 机器视觉软件 013

本章小结 014

参考文献 014

第3章　机器视觉系统与平台 015

3.1 机器视觉系统 015

3.1.1 一维机器视觉系统 015

3.1.2 二维机器视觉系统 016

3.1.3 三维机器视觉系统 017

3.2 机器视觉平台 019

3.2.1 基于PC的视觉系统 019

3.2.2 视觉控制器 019

3.2.3 独立视觉系统 019

3.2.4 视觉传感器和基于图像的条形码阅读器 020

3.2.5 嵌入式视觉系统 020

3.2.6 基于GPU的视觉系统 020

本章小结 021

参考文献 021

应用实例篇：工业 023

第4章　Delta并联机器人机器视觉动态分拣 024

4.1 研究背景意义 024

4.2 项目研究目标 028

4.3 主要研究内容 029

4.4 项目研究方法 030

4.4.1 基于灰色关联度的边缘检测算法 030

4.4.2 基于边缘梯度的模板匹配算法 032

4.4.3 摄像头及Delta机器人系统标定 033

4.4.4 多Delta机器人系统协同分拣策略 033

4.5 实验结果分析 036

本章小结 038

参考文献 039

第5章　3-PPR平面并联机构视觉伺服精密对位 041

5.1 研究背景意义 041

5.2 项目研究目标 046

5.3 主要研究内容 046

5.4 项目研究方法 047

5.4.1 并联平台的结构与原理 047

5.4.2 机器视觉伺服对位系统 048

5.5 实验结果分析 051

本章小结 053

参考文献 054

第6章　关节臂式机器人3D视觉智能抓取 056

6.1 研究背景意义 056

6.2 项目研究目标 061

6.3 主要研究内容 061

6.4 项目研究方法 062

6.4.1 基于迁移学习的卷积神经网络 062

6.4.2 基于深度学习的3D物体识别及抓取区域检测 063

6.4.3 基于深度强化学习的C空间路径规划与避障 066

6.5 实验结果分析 069

本章小结 074

参考文献 075

第7章　工件表面缺陷视觉检测 077

7.1 研究背景意义 077

7.2 项目研究目标 083

7.3 主要研究内容 084

7.4 项目研究方法 084

7.4.1 基于Hough变换的工件区域提取算法 084

7.4.2 基于图像处理的表面缺陷检测算法 086

7.4.3 基于深度学习的表面缺陷检测算法 086

7.5 实验结果分析 089

7.5.1 基于图像处理的检测算法的实验结果分析 089

7.5.2 基于深度学习的检测算法的实验结果分析 090

本章小结 091

参考文献 092

第8章　工件尺寸视觉测量 096

8.1 研究背景意义 096

8.2 项目研究目标 098

8.3 主要研究内容 098

8.4 项目研究方法 099

8.4.1 照明技术研究 099

8.4.2 工业镜头 101

8.4.3 系统硬件组成 102

8.4.4 检测算法 103

8.5 实验结果分析 107

本章小结 107

参考文献 107

应用实例篇：交通 109

第9章　铁路货车超限监测 110

9.1 研究背景意义 110

9.2 项目研究目标 111

9.3 主要研究内容 112

9.4 项目研究方法 112

9.4.1 边缘检测 112

9.4.2 阈值分割 113

9.5 实验结果分析 114

本章小结 119

参考文献 119

第10章　高速列车弓网异常状态检测 121

10.1 研究背景意义 121

10.2 项目研究目标 124

10.3 主要研究内容 125

10.4 项目研究方法 125

10.4.1 YOLO网络模型 126

10.4.2 YOLO v4目标检测模型 127

10.4.3 YOLO v4网络的弓网接触区域检测 129

10.4.4 基于堆叠沙漏网络的弓网接触点检测 133

10.4.5 堆叠沙漏网络的弓网关键点检测模型 134

10.5 实验结果分析 135

10.5.1 YOLO v4网络的弓网接触区域检测结果 135

10.5.2 关键点检测网络模型检测结果与分析 137

本章小结 140

参考文献 140

第11章　车站客流安全智能监控 142

11.1 研究背景意义 142

11.2 项目研究目标 144

11.3 主要研究内容 144

11.4 项目研究方法 144

11.4.1 背景差分处理图像 144

11.4.2 背景图像模型 145

11.4.3 旅客前景目标检测算法 146

11.4.4 运动目标追踪算法 148

11.4.5 车站客流安全指标分析 149

11.5 实验结果分析 152

11.5.1 旅客检测追踪算法结果 152

11.5.2 客流量安全状态预警结果 154

本章小结 156

参考文献 157

第12章　高铁牵引变电所绝缘子异常状态识别 159

12.1 研究背景意义 159

12.2 项目研究目标 161

12.3 主要研究内容 161

12.4 项目研究方法 162

12.4.1 深度学习的基本原理 162

12.4.2 深度学习在绝缘子图像中的应用 165

12.4.3 绝缘子检测算法 166

12.4.4 绝缘子检测评价指标 170

12.4.5 绝缘子故障识别评价指标 171

12.5 实验结果分析 172

12.5.1 绝缘子检测结果分析 172

12.5.2 绝缘子故障识别结果分析 174

本章小结 176

参考文献 176

第13章　高速列车接触网状态巡检 178

13.1 研究背景意义 178

13.2 项目研究目标 180

13.3 主要研究内容 180

13.4 项目研究方法 181

13.4.1 支持向量数据描述算法 182

13.4.2 卷积神经网络法 183

13.4.3 基于改进Lenet-5的特征迁移学习法 185

13.4.4 接触网图像异常检测的网络结构设计 187

13.4.5 特征提取及可视化 190

13.5 实验结果分析 192

本章小结 196

参考文献 197

应用实例篇：其他领域 199

第14章　基于人脸识别的智能窗帘 200

14.1 研究背景意义 200

14.2 项目研究目标 200

14.3 主要研究内容 201

14.4 项目研究方法 201

14.4.1 主程序设计 201

14.4.2 人脸检测设计 201

14.4.3 表情识别设计 203

14.4.4 电机控制设计 204

14.5 实验结果与分析 205

14.5.1 实验系统组装 206

14.5.2 系统初始化 206

14.5.3 关闭窗帘演示 207

14.5.4 打开窗帘演示 207

本章小结 208

参考文献 208

第15章　基于机器视觉的茶叶嫩芽识别方法 209

15.1 研究背景意义 209

15.2 项目研究目标 210

15.3 项目研究方法 210

15.3.1 YOLO v3目标识别原理 210

15.3.2 基于YOLO的茶叶识别模型建立 212

15.4 实验结果与分析 213

本章小结 216

参考文献 216

第16章　基于机器视觉的车牌识别系统 218

16.1 研究背景意义 218

16.2 项目研究目标 219

16.3 主要研究内容 219

16.4 项目研究方法 219

16.4.1 基本硬件设计 220

16.4.2 基于R-CNN的物体定位 222

16.4.3 基于SSD的物体定位 223

16.4.4 基于Hough变换的车牌校正 223

16.4.5 基于YOLO v2的车牌检测 224

16.5 实验结果分析 226

本章小结 233

参考文献 234

展望篇 235

第17章　机器视觉的发展展望 236

17.1 面临的挑战与解决方案 237

17.2 未来技术发展趋势 238

17.3 未来市场发展前景 241

本章小结 247

参考文献 247

"

"机器视觉是指利用相机、摄像机等作为传感器，并配合机器视觉算法，赋予智能设备具备人眼的功能，从而进行相关物件识别、检测、测量等操作的一种技术，现已广泛应用于多个领域。

本书在对机器视觉的定义、现状及组成单元等基础理论进行介绍的基础之上，从实用性角度，对Delta并联机器人机器视觉动态分拣等5个工业应用实例、铁路货车超限监测等5个交通应用实例、基于人脸识别的智能窗帘等3个其他领域应用实例进行了重点讲解，并对机器视觉技术和市场的未来发展进行了展望。

本书可供仪器科学与技术、机械电子工程、自动化等领域的科研人员和工程技术人员参考使用，也可作为高等院校测控技术与仪器、智能感知工程、机械电子工程、电子信息工程等相关专业的教学用书。

　"

"1、书中包括机器视觉的基础理论及大量的典型应用案例。

2、作者具有不同行业背景，书中案例涉及工业、交通和智能家居，皆来自实际科研和生产，具有较高的实用性。

3、每个案例从背景、目标、方法和实验结果进行具体分析，配有理论算法的介绍，可为相关研究者提供有效参考。

4、既是一本机器视觉入门学习读物，也是技术研究人员选择合适的机器视觉解决方案的参考读物。"