机器视觉

第1 章 概述 / 1 

1.1 机器视觉的定义 / 1 

1.2 机器视觉任务 / 2 

1.3 机器视觉发展简史 / 4 

1.3.1 视觉经生理学 / 4 

1.3.2 人工智能与机器学 / 5 

1.3.3 数字图像处理 / 6 

1.3.4 机器视觉的发展 / 7 

1.4 机器视觉应用 / 12 

1.4.1 机器人视觉分拣 / 12 

1.4.2 智能视频监控 / 14 

1.4.3 锂电池表面缺陷检测 / 15 

1.4.4 同时定位与建图 / 16 

1.5 本书内容组织与教学建议 / 18 

1.5.1 内容组织 / 18 

1.5.2 教学建议 / 19 

第 2 章 图像获取 / 21 

2.1 人类视觉感知 / 21 

2.1.1 人眼结构 / 21 

2.1.2 视觉性 / 23 

2.2 照明和颜色 / 24 

2.2.1 照明 / 24 

2.2.2 颜色与颜色模型 / 26 

2.3 视觉信息获取 / 31 

2.3.1 CCD 与 CMOS 传感器 / 31 

2.3.2 彩色图像传感器 / 34 

2.3.3 深度图像传感器 / 35 

2.4 图像量化与表达 / 39 

2.4.1 采样和量化 / 39 

2.4.2 Gamma 校正 / 40 

2.4.3 图像的数字表达 / 42 

2.5 图像压缩与视频压缩 / 44 

2.5.1 图像压缩 / 44 

2.5.2 视频压缩 / 45 

2.5.3 视频压缩标准 / 46 

第 3 章 图像处理 / 49 

3.1 图像的傅里叶变换 / 49 

3.1.1 频域与时域 / 49 

3.1.2 典型的二维信号 / 50 

3.1.3 傅里叶变换 / 51 

3.2 图像滤波 / 57 

3.2.1 线性滤波 / 58 

3.2.2 非线性滤波 / 61 

3.2.3 频域滤波 / 63 

3.3 边缘检测 / 67 

3.3.1 边缘检测原理 / 67 

3.3.2 边缘检测线性算子 / 68 

3.4 数学形态学滤波 / 75 

3.4.1 数学形态学滤波基础 / 75 

3.4.2 数学形态学运算 / 76 

第 4 章 图像分割与描述 / 81 

4.1 图像直方图与阈值分割 / 81 

4.1.1 图像直方图 / 82 

4.1.2 阈值分割 / 84 

4.1.3 局阈值分割 / 86 

4.2 基于区域生长的图像分割 / 87 

4.2.1 区域生长与图像填充 / 87 

4.2.2 种子点的自动选取 / 88 

4.2.3 区域生长准则 / 89 

4.3 分水岭分割算法 / 90 

4.3.1 基本思想 / 90 

4.3.2 数学描述 / 92 

4.3.3 实验效果 / 92 

4.3.4 改进的分水岭分割算法 / 94 

4.4 活动轮廓与 Snake 模型 / 94 

4.4.1 基于能量泛函的分割方法 / 94 

4.4.2 Snake 模型 / 95 

4.4.3 Snake 模型计算步骤与实验效果 / 96 

4.5 图像标记 / 97 

4.6 图像描述 / 99 

4.6.1 简单描述符 / 99 

4.6.2 图像的 Hu 不变矩 / 103 

第 5 章 征检测与匹配 / 106 

5.1 角点检测 / 106 

5.1.1 角点 / 106 

5.1.2 Harris 角点检测 / 107 

5.1.3 SIFT 角点检测 / 109 

5.1.4 SURF 角点检测 / 113 

5.1.5 ORB 角点检测 / 115 

5.1.6 角点检测算法比较 / 116 

5.2 征匹配 / 117 

5.3 Hough 变换与形状检测 / 119 

5.3.1 Hough 变换原理 / 119 

5.3.2 Hough 线变换 / 120 

5.3.3 Hough 圆变换 / 121 

第 6 章 运动估计与滤波 / 123 

6.1 背景提取 / 123 

6.1.1 背景建模基本思想 / 123 

6.1.2 基于单一高斯模型的背景建模 / 124 

6.1.3 混合高斯模型 / 126 

6.1.4 基于混合高斯模型的背景建模 / 127 

6.2 光流估计 / 129 

6.2.1 基本光流方程 / 129 

6.2.2 Lucas-Kanade 算法 / 130 

6.2.3 金字塔光流法 / 131 

6.2.4 Horn-Schunck 算法 / 132 

6.3 目标跟踪 / 134 

6.3.1 基本问题 / 134 

6.3.2 Meanshift 算法 / 135 

6.3.3 KCF 算法 / 137 

 运动模型与滤波 / 140 

 运动模型 / 140 

6.4.2 卡尔曼滤波 / 141 

6.4.3 粒子滤波 / 145 

第 7 章 单目位姿测量与标定 / 150 

7.1 坐标系与成像模型 / 150 

7.1.1 坐标系定义与坐标变换 / 150 

7.1.2 线性成像模型 / 152 

7.1.3 非线性畸变模型 / 154 

7.2 单目视觉相对位姿测量 / 155 

7.2.1 P3P 问题求解 / 156 

7.2.2 PnP 问题通用线性求解 / 157 

7.2.3 改进的 PnP 问题求解 / 158 

7.2.4 结果化 / 161 

7.3 相机参数标定 / 162 

7.3.1 张正友平面标定法 / 162 

7.3.2 标定步骤 / 165 

第 8 章 多视图几何与三维重建 / 167 

8.1 线几何与基础矩阵 / 167 

8.1.1 线几何 / 167 

8.1.2 本质矩阵 / 168 

8.1.3 基础矩阵 / 170 

8.1.4 基础矩阵的求解方法 / 170 

8.2 运动恢复结构 / 172 

8.2.1 运动恢复结构问题 / 172 

8.2.2 欧式结构恢复 / 172 

8.2.3 结构恢复 / 174 

8.2.4 N 视图的运动恢复结构问题 / 175 

8.3 双目立体视觉系统 / 176 

8.3.1 平行视图 / 176 

8.3.2 非平行视图 / 177 

8.4 图像拼接 / 179 

8.4.1 征点提取与匹配 / 179 

8.4.2 单应性矩阵求解 / 179 

8.4.3 图像配准 / 182 

8.4.4 图像融合 / 183 

8.5 三维重构 / 183 

第 9 章 视觉系统实现 / 187 

9.1 机器视觉光源 / 188 

9.1.1 照明方式 / 188 

9.1.2 光源类型 / 192 

9.2 机器视觉相机 / 194 

9.2.1 视觉传感器 / 194 

9.2.2 相机接口 / 195 

9.2.3 镜头接口 / 197 

9.3 镜头 / 198 

9.4 图像采集卡 / 202 

9.5 计算硬件平台 / 203 

9.5.1 CPU 与基于 PC 的视觉硬件平台 / 203 

9.5.2 图形处理器 / 205 

9.5.3 现场可编程门阵列 / 207 

9.5.4 定应用硬件加速器 / 207 

9.6 机器视觉软件 / 208 

9.6.1 开源视觉框架与 OpenCV / 208 

9.6.2 商业机器视觉软件 / 210 

第10 章 机器视觉应用实例 / 216 

10.1 ImageNet 与大规模视觉识别挑战赛 / 216 

10.1.1 ImageNet 介绍 / 216 

10.1.2 ImageNet 大规模视觉识别挑战赛 / 217 

10.2 火星探测车视觉系统 / 219 

10.2.1 下降图像运动估计 / 221 

10.2.2 视觉避险与自航 / 221 

10.2.3 双目视觉测距 / 223 

10.2.4 视觉里程计 / 224 

10.3 医用大输液外观缺陷检测系统 / 225 

10.3.1 针对画面抖动的图像配准 / 225 

10.3.2 高性能圆形检测 / 228 

10.3.3 图像分类轻量级网络 / 229 

10.3.4 硬件系统实现 / 230 

10.4 狭孔内缺陷检测系统 / 232 

10.4.1 成像系统设计 / 232 

10.4.2 狭孔缺陷检测算法设计 / 235 

10.4.3 实验结果与分析 / 237 

10.5 视觉 SLAM / 239 

10.5.1 视觉 SLAM 系统原理 / 239 

10.5.2 视觉 SLAM 框架 / 242 

10.5.3 视觉 SLAM 验证 / 244 

参考文献 / 246

1.2 机器视觉任务

根据应用场景的不同，机器视觉有着不同的定义。一个较正式的定义由美国制造工程师协会(SME) 机器视觉分会和美国机器人工业协会(RIA)自动化视觉分会给出:机器视觉是指通过光学装置和非接触传感方式，自动接收和解释真实场景的图像，以获取信息并(或)控制机器或生产过程。

根据这一定义，机器视觉系统的输入是外界环境图像或图像序列(视频)，输出则是视觉处理后的信息，这些信息可作为最终结果直接反馈给人类或输出至其他设备，作为最终控制及决策的依据。

人类视觉与理解认知能力紧密结合，具有通用人工智能的特点，可根据周围环境和需完成任务自适应地调整视觉处理方式。目前的机器视觉尚未发展到这一阶段，需根据具体任务及应用场景选择视觉处理硬件与具体算法。

在制造业中，机器视觉的基本任务包括测量、检测、定位与识别。

(1)视觉测量:使用机器视觉方法实现被测工件或局部的平面(或空间)几何尺寸的精确测量。图1-2中，图(a)为对工件的部分长度进行测量，图(b)为对中轴线角度进行测量，图(c)为对局部圆弧进行测量，图(d)为对部件局部小圆的半径进行测量。

(2)视觉检测:通过机器视觉方法，得到工件或感兴趣特征信息的位置及识别结果。图1-2中，图(e)为对包装盒内是否存在内容物进行检测，图(f)为对多个工件的外观进行是否存在缺陷的检测。

(3)视觉定位:判断被测工件相对于指定参考坐标系或参考目标的精确位置和(或)姿太图1-2中，图(g)为对右上角十字图案中心位置进行定位，图(h)为对特征坐标实现定位。

(4)视觉识别:自动判断待检工件“是什么”，或者属于“哪一类”，即判断其具体类别并得到识别结果。图1-2中，图(i)为对各矩形块颜色进行识别，图(i)为对喷码的光学字符讲行识别。

……

本书以Marr视觉计算理论为框架, 讨论了图像获取、图像处理、视觉跟踪、2.5维视觉、三维视觉的相关知识, 进一步介绍了机器视觉系统的实现和应用实例。