计算机视觉:从感知到重建

在这个科技日新月异的时代，计算机视觉已然成为一个极具挑战性和充满潜力的领域。随着计算机性能的提升和算法的不断创新，我们似乎进入了一个全新的视觉时代，一个充满无限可能性的时代。作为计算机视觉的从业者，我们深感荣幸，能够在过去10年里，与众多杰出的学生和朋友们一同探索这一领域的奥秘，见证计算机视觉从感知到重建的奇妙过程。
本书题为《计算机视觉：从感知到重建》,旨在为您提供一份全面且深入的指南，帮助您踏上探索计算机视觉的壮丽征程。在这本书中，我们将深入探讨计算机视觉的一系列核心主题，从相机成像，图像的处理、分析和感知，一直到三维重建，讲解各主题的基础理论、方法原理和经典技术。
我们在此简要介绍本书中各章的主要内容，以便不同背景的读者更有效地获取所需信息。例如，刚开始接触计算机视觉的读者可以通读全书并侧重理论部分，有一定相关知识背景的读者可以针对性地阅读某些章节以加深理解，或将本书作为工具书查询某个领域的经典方法和前沿方法。
第一章：相机成像模型  介绍了计算机视觉领域视角下的相机模型、成像过程以及图像的颜色模型、亮度模型、渲染模型等。这些内容能够帮助读者理解数字图像的本源，掌握数字图像和物理世界之间的逻辑关系、几何关系，为入门计算机视觉，理解各种计算机视觉算法奠定基础。
第二章：图像空间滤波  空间滤波用于改善图像质量、去除噪声和增强图像特征，是一种关键的图像处理的技术。本章将介绍多种不同的空间滤波方法，以及它们在图像增强中的应用。另外，滤波或换言之卷积操作，也将在本书其他章节中频繁出现，希望读者通过阅读本章能够理解并掌握这种经典的数学方法。
第三章：图像特征提取 介绍了如何从图像中提取有意义的信息即图像特征，包括传统手动方法和基于深度学习的方法。正如我们人类识别人脸更多的是借助五官和轮廓特征，而非人脸上的每个毛孔等细节，实际上大多数的计算机视觉技术并不直接处理数字图像，而是基于体量更加精简、信息更为丰富的图像特征进行后续的计算处理。
第四章：图像分类  介绍了计算机视觉的入门级图像感知任务，即理解图像中的主要物体并输出其类别。包括多种传统方法和基于深度学习的新方法。本章首次涉及图像表达、神经网络和卷积神经网络，因此也重点讲解了相关的基础知识。
第五章：图像中目标检测  介绍了定位和识别图像中物体的任务，以及实现目标检测的技术，包括传统的方法和最新的深度学习框架。
第六章：图像分割  介绍了这种将图像中的每个像素标记为其对应物体类别的任务、语义分割的原理和应用，以及如何使用手动特征或深度学习来实现图像分割。
第七章：视频分类和行为识别  介绍了视频序列的分析和理解任务。视频是一系列连续的图像，与单帧图像相比，既有视频分类等类似任务，也有视频中的物体追踪、动作识别和场景分析等新任务。从技术手段角度来看，既有应用于单帧图像的技术的扩展，也有针对视频数据提出的新技术。
第八章：图像三维重建  介绍了如何从二维图像还原出三维世界的模型，三维重建是计算机视觉领域的巅峰之一。本章详细介绍了三维重建的几何原理、从相机运动到点云重建的各个步骤，以及如何使用深度学习来改进三维重建的质量。
总体而言，本书以图像的成像、处理、理解和重建为脉络，系统性地讲解了计算机视觉领域各主要任务的理论、方法和技术。本书的独特之处在于，既回顾了传统的计算机视觉方法——基于手动特征的经典算法，又深入介绍了最前沿的深度学习技术。这对于现代计算机视觉的学习者尤为重要。一方面，以深度学习为代表的人工智能技术近年来极大地提高了许多视觉算法的表现，拓展了计算机视觉技术成功落地的范围，学习计算机视觉必须掌握这些前沿技术。而另一方面，许多具体任务又无法使用新兴的深度学习方法来解决，如精确测量、高速实时检测，或者无法获得大规模数据的问题，这在实际应用中，尤其是农业、工业问题中十分常见，所以学习者仍然有必要掌握基于手动特征的各种视觉方法和技术。本书即是这样一本融合传统与现代的教材，让您既能够理解计算机视觉的基本原理，又能够掌握当今最激动人心的技术。
从多年的求学、科研和教学经历中，我们切身了解到学生们对于计算机视觉知识体系的困惑，对于知识图谱和难度曲线设计或多或少的抱怨，以及对更好教材的渴望。因此，我们以自己的教学经验和研究成果为基础，尽最大努力编写这本教材，希望能够满足各类读者的需求，无论您是渴望在计算机视觉领域深耕细作的研究生，还是想要初窥门径的本科生，或是需要了解计算机视觉领域技术的科学家、工程师朋友。
计算机视觉是一个非常活跃且高速迭代的领域，许多新的英文单词、命名或缩写在成书时仍然没有恰当且通用的中文翻译，例如Transformer等，因此本书保留了一些英文单词未做翻译。除此以外，在一些涉及语料的数据集中，由于英文单词作为数据的特殊性，在数据集的说明性示意图中也未对英文进行翻译。
最后，衷心感谢上海科技大学各位领导和上海科技大学信息学院院长虞晶怡教授对此事的关心和支持，感谢上海科学技术出版社高在青编辑对本书付出的辛苦努力。感谢李晶、肖宇廷、金磊、钱深瀚、钱一成、许家乐、王晨宇、王若宇、胡俊豪、赵子伯、钟子明、余泽浩、徐衍玉、廉东泽、刘闻、罗伟鑫、董思勋、胡华章、智轶浩、黄彬彬、于劲鹏、赵逸群、王硕、朴智新及其他课题组成员为本书内容组织、编写和修订工作所做的贡献。感谢国家自然科学基金委员会(项目编号61932020)对本书出版提供的资助。感谢各位读者与我们一同踏上这段令人兴奋的旅程。计算机视觉是一项永无止境的探索，而您的参与，将使这段旅程更加充实和有趣。愿这本书带给您知识的光芒，启迪您的思维，引领您走向计算机视觉的精彩未来。
祝您阅读愉快，探索无穷!
高盛华  厉征鑫
2023年10月

本书主要介绍和探讨计算机视觉的一系列核心主题，包括相机成像，图像处理、分析和感知，三维重建等。首先介绍了相机模型、成像过程以及图像的颜色模型、照射模型、渲染模型等；然后系统性地介绍了图像滤波、特征提取、图像和视频感知与理解等多种任务，不仅详细讲解了各任务中的经典方法，还全面地介绍了前沿的基于深度学习的方法；最后介绍了三维重建中涉及的几何原理、重建步骤以及基于深度学习的新方法。
本书针对每一个核心问题单独成章，并着重讲解基本概念。通过大量的彩图，帮助读者理解问题。适合作为本科及研究生的计算机视觉和数字图像处理课程的教材，并且可以作为深度学习课程的参考书。同时，也可供对计算机视觉感兴趣的相关专业人士参考。

高盛华简介：
上海科技大学信息科学与技术学院教授，长期从事计算机视觉与机器学习领域研究，发表多篇高水平计算机视觉领域学术论文。
厉征鑫简介：
上海科技大学信息科学与技术学院副研究员，博士毕业于江南大学，长期从事机器视觉、异常检测相关研究，发表多篇计算机视觉领域论文。

第１章 相机成像模型 ／１
１．１ 引言 ／１
１．２ 简单的相机模型 ／２
１．２．１ 相机数学模型 ／２
１．２．２ 相机的内参 ／４
１．２．３ 相机的外参 ／６
１．２．４ 相机成像公式 ／７
１．２．５ 相机成像畸变 ／７
１．３ 图像的颜色 ／１０
１．３．１ 基于拜尔滤波器的颜色感知 ／１０
１．３．２ ＲＧＢ颜色模型 ／１１
１．３．３ ＨＳＶ颜色模型 ／１２
１．４ 图像的亮度 ／１４
１．４．１ 空间中的光 ／１４
１．４．２ 物体表面的光线反射 ／１６
１．４．３ 薄透镜成像的辐射度学 ／１７
１．４．４ 数字成像过程 ／１９
１．５ 渲染 ／２０
１．５．１ 渲染方程 ／２０
１．５．２ 光线追踪算法 ／２０
１．６ 本章小结 ／２３
第２章 图像空间滤波 ／２４
２．１ 引言 ／２４
２．２ 卷积和互相关 ／２５
２．２．１ 卷积 ／２５
２．２．２ 互相关 ／２６
２．３ 图像的平滑 ／２８
２．３．１ 邻域均值滤波 ／２８
２．３．２ 加权均值滤波 ／２８
２．３．３ 高斯均值滤波 ／２９
２．３．４ 中值滤波 ／３０
２．３．５ 双边滤波 ／３０
２．４ 图像的锐化 ／３２
２．４．１ 梯度锐化 ／３２
２．４．２ 拉普拉斯算子的二阶微分锐化 ／３３
２．４．３ 非锐化掩膜与高频提升滤波 ／３４
２．５ 本章小结 ／３５
第３章 图像特征提取 ／３６
３．１ 引言 ／３６
３．２ 基于非学习方法的边缘检测 ／３７
３．２．１ 边缘、导数和梯度 ／３９
３．２．２ 边缘的卷积形式计算 ／４０
３．２．３ 噪声对边缘检测的影响和处理方法 ／４１
３．２．４ Ｃａｎｎｙ边缘检测算子 ／４３
３．３ 基于深度学习的边缘检测 ／４５
３．３．１ ＨＥＤ／４５
３．３．２ ＲＣＦ／４７
３．３．３ ＣＡＳＥＮｅｔ／４９
３．４ 基于非学习方法的关键点检测 ／５１
３．４．１ 角点检测原理 ／５３
３．４．２ Ｈａｒｒｉｓ角点检测 ／５４
３．４．３ Ｈａｒｒｉｓ角点检测的优势与不足 ／５８
３．４．４ 高斯拉普拉斯算子 ／５９
３．４．５ 高斯差分算子 ／６４
３．５ 基于深度学习的语义关键点检测 ／６５
３．５．１ 基于深度学习的人脸关键点检测 ／６５
３．５．２ 人体关键点检测 ／６９
３．５．３ 房间布局估计 ／７４
３．６ 基于非学习方法的直线检测 ／７８
３．６．１ 最小二乘法 ／７８
３．６．２ 基于ＲＡＮＳＡＣ的直线拟合 ／８２
３．６．３ 霍夫变换 ／８４
３．７ 基于深度学习的线段检测 ／８７
３．７．１ 基于图表示的线段检测 ／８７
３．７．２ 基于向量场表示的线段检测 ／８８
３．７．３ 语义直线检测及应用 ／８９
３．８ 本章小结 ／９１
参考文献 ／９１
第４章 图像分类 ／９４
４．１ 引言 ／９４
４．２ 图像表达 ／９７
４．３ 基于手动特征的图像表达 ／９８
４．３．１ 基于颜色直方图的图像表达 ／９８
４．３．２ 基于经典的视觉词袋模型的图像表达 ／９９
４．３．３ 基于空间金字塔匹配模型的图像表达 ／１０４
４．３．４ 基于压缩感知的图像表达 ／１０５
４．３．５ 基于高斯混合模型的图像特征编码 ／１０７
４．４ 基于支持向量机的图像分类 ／１０８
４．４．１ 面向线性可分数据的支持向量机分类 ／１０８
４．４．２ 面向非线性可分数据的支持向量机分类 ／１１４
４．４．３ 基于支持向量机的多分类实现 ／１１６
４．４．４ 基于视觉词袋模型和支持向量机的图像分类 ／１１６
４．５ 基于自编码器的图像表达 ／１１７
４．５．１ 多层感知机 ／１１８
４．５．２ 自编码器 ／１２０
４．５．３ 降噪自编码器 ／１２１
４．６ 基于卷积神经网络的图像分类 ／１２２
４．６．１ 卷积神经网络的组件 ／１２２
４．６．２ 神经网络的训练 ／１２８
４．６．３ 代表性图像分类卷积神经网络 ／１３１
４．７ 基于胶囊网络的图像分类 ／１４３
４．７．１ ＣａｐｓＮｅｔ／１４４
４．７．２ 堆叠胶囊自编码器 ／１４７
４．８ 基于Ｔｒａｎｓｆｏｒｍｅｒ的图像分类 ／１４９
４．８．１ 自然语言处理中的Ｔｒａｎｓｆｏｒｍｅｒ／１４９
４．８．２ 基于Ｔｒａｎｓｆｏｒｍｅｒ的图像分类 ／１５１
４．９ 本章小结 ／１５９
参考文献 ／１５９
第５章 图像中目标检测 ／１６４
５．１ 引言 ／１６４
５．２ 基于手动特征的目标检测 ／１７１
５．２．１ ＶｉｏｌａＪｏｎｅｓ人脸检测算法 ／１７２
５．２．２ 基于ＤＰＭ的目标检测 ／１７６
５．３ 基于卷积神经网络的目标检测 ／１８３
５．３．１ 两阶段目标检测算法 ／１８５
５．３．２ 单阶段目标检测算法 ／１９０
５．３．３ 无锚框的目标检测算法 ／１９５
５．４ 基于Ｔｒａｎｓｆｏｒｍｅｒ的目标检测 ／１９９
５．４．１ ＤＥＴＲ／１９９
５．４．２ Ｐｉｘ２ｓｅｑ／２０１
５．５ 本章小结 ／２０３
参考文献 ／２０４
第６章 图像分割 ／２０７
６．１ 引言 ／２０７
６．２ 基于手动特征的图像分割算法 ／２０９
６．２．１ 基于图论的图像分割 ／２０９
６．２．２ 基于聚类的图像分割 ／２１３
６．３ 语义分割 ／２１６
６．３．１ ＦＣＮ／２１８
６．３．２ Ｕ Ｎｅｔ／２１９
６．３．３ ＤｅｅｐＬａｂ／２２０
６．３．４ ＰＳＰＮｅｔ／２２３
６．４ 实例分割 ／２２３
６．４．１ ＭａｓｋＲ ＣＮＮ／２２５
６．４．２ ＹＯＬＡＣＴ／２２５
６．４．３ ＳＯＬＯ／２２７
６．５ 全景分割 ／２２８
６．５．１ ＰａｎｏｐｔｉｃＦＰＮ／２２９
６．５．２ ＵＰＳＮｅｔ／２３０
６．６ 点云分割 ／２３２
６．６．１ 用于图的卷积神经网络 ／２３４
６．６．２ 基于点云的语义分割 ／２３８
６．７ 本章小结 ／２４４
参考文献 ／２４４
第７章 视频分类和行为识别 ／２４８
７．１ 引言 ／２４８
７．２ 基于手动特征的视频分类 ／２５３
７．２．１ 基于词袋模型的视频表达和分类 ／２５４
７．２．２ 基于光流特征的视频表达和分类 ／２５４
７．３ 基于循环神经网络的视频分类 ／２６３
７．３．１ 循环神经网络 ／２６３
７．３．２ 双向循环神经网络 ／２６４
７．３．３ 长短期记忆网络 ／２６６
７．３．４ 门控制循环单元 ／２６７
７．３．５ 基于ＬＳＴＭ的视频表达 ／２６７
７．４ 基于卷积神经网络的视频分类 ／２７０
７．４．１ 单分支网络 ／２７０
７．４．２ 多分支网络 ／２７８
７．５ 基于Ｔｒａｎｓｆｏｒｍｅｒ的视频分类 ／２８２
７．５．１ ＶｉＶｉＴ／２８２
７．５．２ ＴｉｍｅＳＦｏｒｍｅｒ／２８５
７．５．３ ＶｉｄｅｏＳｗｉｎＴｒａｎｓｆｏｒｍｅｒ／２８６
７．５．４ ＶｉｄｅｏＣＬＩＰ／２８８
７．５．５ ＶＬＭ／２９０
７．６ 时序动作定位 ／２９１
７．６．１ 单阶段方法 ／２９２
７．６．２ 自顶向下的多阶段方法 ／２９５
７．６．３ 自底向上的多阶段方法 ／２９９
７．７ 本章小结 ／３０４
参考文献 ／３０４
第８章 图像三维重建 ／３１１
８．１ 引言 ／３１１
８．２ 对极几何 ／３１３
８．３ 相机标定 ／３１７
８．４ 基于传统算法的多视图立体重建 ／３２１
８．４．１ 简单的基于匹配三维点空间坐标求解方法 ／３２１
８．４．２ 基于平面扫描的场景深度估计 ／３２２
８．４．３ 基于视差的深度估计 ／３２３
８．４．４ 基于ＰａｔｃｈＭａｔｃｈ的立体重建 ／３２５
８．５ 基于深度学习的多视角重建 ／３２８
８．５．１ ＭＶＳＮｅｔ／３２９
８．５．２ Ｆａｓｔ ＭＶＳＮｅｔ／３３０
８．６ 基于深度学习的场景的单目深度估计 ／３３２
８．６．１ 有监督学习的单目深度估计 ／３３２
８．６．２ 自监督学习的单目视频深度估计 ／３３５
８．７ 深度学习对基于不同形状表达的三维重建 ／３３８
８．７．１ 基于体素的显式三维表达 ／３３８
８．７．２ 基于多边形网格的显式三维表达 ／３４４
８．７．３ 基于隐函数的隐式物体表达 ／３４８
８．７．４ 基于神经立体渲染的多视角重建 ／３５３
８．８ 本章小结 ／３７０
参考文献 ／３７０

本书主要介绍和探讨计算机视觉的一系列核心主题，包括相机成像，图像处理、分析和感知，三维重建等。首先介绍了相机模型、成像过程以及图像的颜色模型、照射模型、渲染模型等；然后系统性地介绍了图像滤波、特征提取、图像和视频感知与理解等多种任务，不仅详细讲解了各任务中的经典方法，还全面地介绍了前沿的基于深度学习的方法；最后介绍了三维重建中涉及的几何原理、重建步骤以及基于深度学习的新方法。
本书针对每一个核心问题单独成章，并着重讲解基本概念。通过大量的彩图，帮助读者理解问题。适合作为本科及研究生的计算机视觉和数字图像处理课程的教材，并且可以作为深度学习课程的参考书。同时，也可供对计算机视觉感兴趣的相关专业人士参考。

高盛华简介：
上海科技大学信息科学与技术学院教授，长期从事计算机视觉与机器学习领域研究，发表多篇高水平计算机视觉领域学术论文。
厉征鑫简介：
上海科技大学信息科学与技术学院副研究员，博士毕业于江南大学，长期从事机器视觉、异常检测相关研究，发表多篇计算机视觉领域论文。