智能光电感知

《智能光电感知》一书的几位作者通过多年教学和科研实践经验，基于机器视觉领域中Horn学派思想，分析和论述了智能光电感知的核心思想，介绍了光电成像、图像感知和智能分析的相关理论和方法，具有技术和理论相融合的特点，为学习者进一步开展技术和应用研究提供了重要的基础。本书结构清晰，行文严谨，内容专业性强，是高等院校相关专业本科生、研究生以及研究人员不可或缺的参考书籍。

《智能光电感知》一书的几位作者通过多年教学和科研实践经验，基于机器视觉领域中Horn学派思想，分析和论述了智能光电感知的核心思想，介绍了光电成像、图像感知和智能分析的相关理论和方法，具有技术和理论相融合的特点，为学习者进一步开展技术和应用研究提供了重要的基础。本书结构清晰，行文严谨，内容专业性强，是高等院校相关专业本科生、研究生以及研究人员不可或缺的参考书籍。

王亮出生于1983年11月27日，祖籍山东烟台。2015年毕业于北京交通大学计算机与信息技术学院计算机工程系，获博士学位。2011年到2013年在美国麻省理工学院（MIT）数学系进行访问学习，师从于Gilbert Strang教授，从事逆问题理论研究。2015年到2018年在MIT计算机科学与人工智能实验室（CSAIL）做博士后，从事智能交通与自动驾驶方面的研究，指导教师为Berthold K.P. Horn教授。2019年以“百人计划”副教授入职中山大学。目前主要研究兴趣包括：机器视觉，智能感知，自动驾驶等。

刘京京出生于1980年4月28日，祖籍吉林榆树市。2003年及2005年毕业于新加坡南洋理工大学电气与电子工程学院，分别获得一级荣誉学士学位和工程硕士学位；2010年毕业于牛津大学工程科学系，获博士学位，期间获EPSRC全额博士奖学金，又获得了EPSRC Plus Fellowship在牛津大学从事一年博士后研究工作。2010年6月-2017年6月深圳光启高等理工研究院企业科学家，获得2018年深圳市科技进步一等奖；2017年7月-2019年6月北京大学深圳研究院研究员；2019年7月至今，于中山大学电子与通信工程学院从事教学和科学研究，校“百人计划”副教授，博士生导师，广东省集成电路工程技术中心核心成员。研究兴趣包括：智能传感器芯片、低功耗CMOS集成电路，生物医疗芯片等。

张志勇出生于1976年7月16日，祖籍湖南郴州。2006年毕业于国防科技大学电子与通信工程学院，获博士学位。2006年12月-2018年07月在国防科技大学电子与通信工程学院，从事自动目标识别、实时系统与ASIC技术的教学和科研工作；2018年7月至今，于中山大学电子与通信工程学院从事教学和科学研究，校“百人计划”教授，博士生导师。研究兴趣包括光学成像自动目标识别、智能系统与模式识别、实时系统设计与实现技术等领。作为负责人和主要参与者先后承担国家863重大项目、自然科学基金等项目20余项。作为主要完成人获得省部级科技进步一等奖1项。

第1章　内容介绍
1.1 “感”与“知”
1.2 光电感知
1.3 智能交互
1.3.1 复制一个积木结构
1.3.2 从容器中抓取零件
1.4 视觉感知的相关领域
1.5 成像 视觉
1.6 后续章节的概要
1.7 习题

第2章　成像系统
2.1 透视投影
2.2 平行直线与消失点
2.2.1 消失点理论
2.2.2 寻找消失点
2.3 确定观测方向
2.3.1 确定平行直线的方向
2.3.2 判断观测方向
2.3.3 正交性约束
2.3.4 成像的逆问题
2.4 透镜
2.5 成像模式的拓展
2.5.1 物体表面：透视成像
2.5.2 物体内部：层析成像
2.6 像素
2.7 习题

第3章　辐射与亮度
3.1 图像亮度
3.2 辐射
3.3 图像的形成
3.4 双向反射分布函数
3.5 连续光源
3.6 物体表面的反射性质
3.7 物体表面的亮度
3.8 光度立体视觉
3.9 习题

第4章　颜色与光谱
4.1 电子图像
4.2 三色刺激
4.3 光谱频带
4.4 黑体辐射
4.5 红外成像
4.6 X射线成像
4.7 仿制“响尾蛇”导弹
4.8 习题

第5章　半导体光电转换
5.1 光子吸收原理
5.2 半导体P-N结
5.3 光电二极管
5.4 量子效率
5.5 片上太阳能电池
5.6 本章小结
5.7 习题

第6章　图像传感器
6.1 CCD图像传感器
6.2 CMOS图像传感器
6.2.1 无源像素传感器
6.2.2 有源像素传感器
6.2.3 4T有源像素传感器
6.2.4 对数像素图像传感器
6.2.5 脉冲调制图像传感器
6.3 红外图像传感器
6.4 图像传感器的外围电路
6.5 本章小结
6.6 习题

第7章　二值图处理
7.1 二值图
7.2 标注连通区域
7.2.1 种子算法
7.2.2 串行标注算法
7.3 简单几何性质
7.3.1 区域的面积
7.3.2 区域的位置
7.4 计算朝向
7.4.1 投影
7.4.2 转动惯量
7.5 夜间车灯预警系统
7.6 习题

第8章　离散线性系统
8.1 离散信号与线性系统
8.1.1 单位冲击响应
8.1.2 移不变系统与卷积
8.2 循环卷积
8.3 多项式与平移操作
8.4 离散Fourier变换
8.5 卷积定理
8.5.1 特征值分析
8.5.2 快速Fourier变换
8.6 二维信号的情况
8.7 后向投影
8.8 习题

第9章　图像处理
9.1 线性移不变系统
9.2 点扩散函数
9.3 调制传递函数
9.4 二维Fourier变换
9.5 模糊和失焦
9.6 图像复原与增强
9.7 功率谱
9.8 Wiener滤波器
9.8.1 优化模型
9.8.2 变分法求解
9.8.3 两个具体例子
9.9 离散情况
9.10 习题

第10章　边缘和角点
10.1 图像中的边缘
10.2 微分算子
10.3 离散近似
10.3.1 梯度算子的离散近似
10.3.2 Laplace算子的离散近似
10.4 确定边缘
10.4.1 边缘检测和定位
10.4.2 简单边缘模型的缺陷
10.4.3 确定长直线边缘
10.5 角点检测
10.5.1 角点的判断标准
10.5.2 角点检测算法
10.6 平行轴旋转定理
10.7 角点的动态特征
10.8 一个具体的例子
10.9 习题

第11章　光流估计
11.1 观测运动
11.2 光流：估算速度场
11.3 稀疏光流算法
11.3.1 一个具体例子
11.3.2 算法实现过程
11.4 稠密光流算法 318
11.4.1 光流的光滑性
11.4.2 离散求解
11.4.3 算法实现过程
11.5 光流的不连续
11.6 触觉传感器
11.7 习题

第12章　无源导航
12.1 估计观测者的运动
12.2 平动的情况
12.2.1 相似曲面与相似运动
12.2.2 小二乘方法
12.3 使用其他的范数形式
12.4 转动的情况
12.5 刚体运动
12.6 碰撞时间估计
12.7 习题

第13章　统计机器学习
13.1 一个简单的例子
13.2 特征向量
13.3 分类模型
13.3.1 近邻分类
13.3.2 近中心分类
13.3.3 概率分布模型
13.3.4 特征空间的划分
13.4 神经网络模型
13.4.1 线性神经网络模型
13.4.2 非线性神经网络模型
13.4.3 对模型的深入理解
13.4.4 应用案例：材料基因计算方法
13.5 聚类的自动形成
13.6 铁轨表面擦伤的自动检测
13.7 一个预言故事
13.8 习题

第14章　随机分析与过程
14.1 引例：动物行为分析
14.2 集合及其结构
14.2.1 集合的σ-代数
14.2.2 对集合的分割
14.3 概率空间
14.4 随机变量
14.5 概率分布
14.5.1 概率密度函数
14.5.2 两个具体例子
14.6 条件期望
14.6.1 条件概率
14.6.2 复合函数映射
14.7 随机过程与鞅
14.7.1 随机过程的概率空间
14.7.2 鞅、超鞅、子鞅
14.7.3 两个具体例子
14.7.4 停止时间
14.8 习题

第15章　随机过程的图模型
15.1 Markov链
15.1.1 人口迁移模型
15.1.2 Markov过程
15.1.3 有限停止时间
15.1.4 调和函数与鞅
15.2 基于Markov链的随机采样
15.3 链式概率图模型
15.4 隐Markov模型
15.5 Bayes网络
15.6 习题

第16章　学生听课状态分析
16.1 概率图模型的完善
16.1.1 隐模型的参数估计
16.1.2 条件概率模型
16.1.3 算法
16.1.4 条件后验估计
16.1.5 解决下溢问题
16.2 教育机器人
16.3 基于感知的智能交互
16.4 数据收集与整理
16.5 实验结果与分析
16.6 本章小结
16.7 习题

附录
一些应用案例
A.1基于YOLO的目标检测
A.1.1 YOLOv1简介
A.1.2 YOLOv2简介
A.1.3 YOLOv3简介
A.1.4 YOLOv4简介
A.1.5 YOLOv5简介
A.1.6 YOLO拓展框架简介
A.1.7 交并比（IoU）介绍
A.2 关于YOLOv5的实际操作
A.2.1 YOLO数据集制作
A.2.2 YOLOv5模型训练
A.2.3 YOLOv5目标检测
A.3 常用目标检测算法介绍
A.3.1 基于手工标注特征的传统算法
A.3.1.1 Viola-Jones算法
A.3.1.2 HOG算法
A.3.1.3 DPM算法
A.3.1.4 传统目标检测算法的缺点
A.3.2 目标检测的经典模型
A.3.2.1 LeNet
A.3.2.2 AlexNet
A.3.2.3 NIN
A.3.2.4 InceptionV1模块
A.3.2.5 GoogLeNet
A.3.2.6 VGG
A.3.2.7 Inception V2
A.3.2.8 Inception V3
A.3.2.9 ResNet
A.3.2.10 Inception V4
A.3.2.11 Darknet
A.3.2.12 MobileNet
A.3.3 基于锚框的双阶段目标检测算法
A.3.3.1 R-CNN
A.3.3.2 空间金字塔池化网络（SPPNet）
A.3.3.3 Fast R-CNN
A.3.3.4 Faster R-CNN
A.3.3.5 特征金字塔网络（FPN）
A.3.4 基于锚框的单阶段目标检测算法
A.3.4.1 基于二进制掩膜的目标检测算法
A.3.4.2 Overfeat
A.3.4.3 SSD
A.3.4.4 RetinaNet
A.3.5 无锚框目标检测算法
A.3.5.1 CornerNet
A.3.5.2 CenterNet
A.3.5.3 FSAF
A.4 智慧工地暴力行为识别
A.4.1 工地暴力行为识别需求分析
A.4.2 研究思路
A.4.3 工地暴力行为识别检测运行框架的总体设计
A.4.4 Transformer编码器的实现
A.4.5 已有暴力行为数据集调研
A.4.6 数据采集及处理
A.4.7 实验设置
A.4.8 消融实验
A.4.9 实验结果
A.4.10 工作小结
A.5 工地抽烟行为的智能检测
A.5.1 问题描述
A.5.2 基本算法简介
A.5.3 模型训练及测试
A.5.4 “目标 动作”联合检测模型
A.6 双模态钢轨缺陷快速检测
A.6.1 数据采集系统概述
A.6.2 数据集概述
A.6.3 Parallel-YOLOv4-Tiny轻量级检测方法
A.6.4 实验结果与分析
A.6.4.1 损失函数实验
A.6.4.2 对比实验
A.6.5 工作小结
A.7 本书总结
本书参考文献
索引

《智能光电感知》一书的几位作者通过多年教学和科研实践经验，基于机器视觉领域中Horn学派思想，分析和论述了智能光电感知的核心思想，介绍了光电成像、图像感知和智能分析的相关理论和方法，具有技术和理论相融合的特点，为学习者进一步开展技术和应用研究提供了重要的基础。本书结构清晰，行文严谨，内容专业性强，是高等院校相关专业本科生、研究生以及研究人员不可或缺的参考书籍。

王亮出生于1983年11月27日，祖籍山东烟台。2015年毕业于北京交通大学计算机与信息技术学院计算机工程系，获博士学位。2011年到2013年在美国麻省理工学院（MIT）数学系进行访问学习，师从于Gilbert Strang教授，从事逆问题理论研究。2015年到2018年在MIT计算机科学与人工智能实验室（CSAIL）做博士后，从事智能交通与自动驾驶方面的研究，指导教师为Berthold K.P. Horn教授。2019年以“百人计划”副教授入职中山大学。目前主要研究兴趣包括：机器视觉，智能感知，自动驾驶等。

刘京京出生于1980年4月28日，祖籍吉林榆树市。2003年及2005年毕业于新加坡南洋理工大学电气与电子工程学院，分别获得一级荣誉学士学位和工程硕士学位；2010年毕业于牛津大学工程科学系，获博士学位，期间获EPSRC全额博士奖学金，又获得了EPSRC Plus Fellowship在牛津大学从事一年博士后研究工作。2010年6月-2017年6月深圳光启高等理工研究院企业科学家，获得2018年深圳市科技进步一等奖；2017年7月-2019年6月北京大学深圳研究院研究员；2019年7月至今，于中山大学电子与通信工程学院从事教学和科学研究，校“百人计划”副教授，博士生导师，广东省集成电路工程技术中心核心成员。研究兴趣包括：智能传感器芯片、低功耗CMOS集成电路，生物医疗芯片等。

张志勇出生于1976年7月16日，祖籍湖南郴州。2006年毕业于国防科技大学电子与通信工程学院，获博士学位。2006年12月-2018年07月在国防科技大学电子与通信工程学院，从事自动目标识别、实时系统与ASIC技术的教学和科研工作；2018年7月至今，于中山大学电子与通信工程学院从事教学和科学研究，校“百人计划”教授，博士生导师。研究兴趣包括光学成像自动目标识别、智能系统与模式识别、实时系统设计与实现技术等领。作为负责人和主要参与者先后承担国家863重大项目、自然科学基金等项目20余项。作为主要完成人获得省部级科技进步一等奖1项。