计算机视觉——算法与应用

本书萌芽于2001年，当时，华盛顿大学的Steve Seitz邀我和他一起讲一门课，课程名称是“面向计算机图形学的计算机视觉”。那个时候，计算机图形学领域正在越来越多地使用计算机视觉技术，用它来创建基于图像的真实物体的模型，用于产生视觉效果，用于通过计算摄影学技术来合并真实影像。我们决定聚焦于计算机视觉在若干有趣问题中的应用，例如使用个人照片的图像拼接和基于照片的3D建模等，这一想法引起了学生们的共鸣。

　　从那时起，华盛顿大学和斯坦福大学就一直使用类似的课程大纲和项目导向的课程结构来进行常规计算机视觉课程的教学（在斯坦福大学，在2003年这门课程由我和David Fleet共同讲授）。类似的课程大纲也被其他很多大学所采用，并被纳入计算摄影学相关的更专业的课程。（有关如何在课程中使用本书的建议，请参见1.4节的表1.1。）

　　本书还反映了我在企业研究实验室（DEC剑桥研究实验室和微软研究院）这二十年的计算机视觉研究经历。在从事研究的过程中，我主要关注在真实世界中具有实际应用的问题和在实践中行之有效的方法（算法）。因此，本书更强调在真实世界条件下有效的基本方法，而较少关注内在完美但难以实际应用的神秘的数学内容。

　　本书适用于计算机科学和电子工程专业高年级本科的计算机视觉课程。学生好已经修过图像处理或计算机图形学课程，这样一来，便可以少花一些时间来学习一般性的数学背景知识，多花一些时间来学习计算机视觉技术。本书也适用于研究生的计算机视觉课程（通过专研更富有挑战性的应用和算法领域），作为基本技术和近期研究文献的参考用书。为此，我尽量尝试引用每个子领域中的研究进展，即便其技术细节过于复杂而无法在本书中涉及。

　　在课程教学过程中，我们发现，要使学生从容应对真实图像及其带来的挑战，让他们尝试实现一些小的课程设计（通常一个建立在另一个基础之上），是很有帮助的。随后，要求学生分成组选择各自的主题，完成终的课程设计。（有时，这些课程设计甚至能转换为会议论文！）本书各章后的习题包含有关小型中期课程设计题目的很多建议，也包含一些更开放的问题，这些问题的解决仍然是活跃的研究课题。只要有可能，我都会鼓励学生用他们自己的个人照片来测试他们的算法，因为这可以更好地激发他们的兴趣，往往会产生富有创造性的衍生问题，使他们更熟悉真实影像的多样性和复杂性。

　　在阐述和解决计算机视觉问题的过程中，我常常发现从三个高层途径获取灵感是有帮助的。

　　·科学层面：建立图像形成过程的详细模型，为了恢复感兴趣量而构建其逆过程的数学方法（必要时，做简化假设使其在数学上更容易处理）。

　　·统计层面：使用概率模型来量化产生输入图像的未知量先验似然率和噪声测量过程，然后推断所期望量的可能的估计并分析其结果的不确定程度。使用的推断算法往往与用于逆转（科学的）图像形成过程的优化方法密切相关。

　　．工程层面：开发出易于描述和实现且己知在实践中行之有效的方法。测试这些方法，以便于了解其不足和失效模态，及其期望的计算代价（运行时的性能）。

　　以上这三个途径相互依存，并且贯穿本书始终。

　　我个人的研究和发展哲学（本书中的习题亦然）非常强调算法测试。在计算机视觉领域，提出一个算法在少数几幅图像上使某件事似乎可以做而不是把某件事做对，这太容易了。要想使算法有效，理想的途径是使用一种“三部曲”策略。

　　首先，在干净的合成数据上测试算法，因为已知其精确结果。其次，在该数据上增加噪声，评测性能是怎样作为噪声水平的函数退化的。后，在真实世界数据上测试算法，优先取自广泛输入源的数据，比如万维网上的照片。只有这样，我们才能确信该算法能够处理真实世界的复杂性，即不符合某种简化模型或假设的图像。

　　为了在这一过程中帮助学生，本书附带大量补充阅读材料，这些都可以在本书网站找到，网址为http：//szeliski.org/Book。具体资源类别（参见附录C的描述）如下：

　　·指向万维网上可以找到的问题的常用数据集的链接；

　　·指向软件库的链接，可帮助学生从基本任务入手，比如读／写图像或创建和操作图像：

　　·与本书素材对应的幻灯片；

　　·本书所引用的论文文献列表。

　　在本领域发表新论文的教师和研究人员可能对后两项资源更感兴趣，但即便是普通学生，迟早也会发现它们是很有用的。有些软件库包含广泛的计算机视觉算法的实现，能帮助你应对更难的项目（征得导师同意的情况下）。

　　致谢

　　我要感谢对本书写作有帮助的所有人，他们的研究热情、咨询和鼓励帮助我写就本书。

　　McGill大学的Steve Zucker是个引导我涉足计算机视觉领域的人，他教导我们所有的学生要敢于质疑和辩论研究结果和研究方法，鼓励我攻读这个领域的研究生。

　　我的博士论文导师，卡内基·梅隆大学的Takeo Kanade（金出武雄）和GeoffHinton，教给我良好的研究、写作和报告的基本方法。他们激发了我对视觉处理、3D建模和统计方法的兴趣，与此同时，Larry Matthies让我见识了卡尔曼滤波和立体匹配。

作者简介：

Richard Szeliski博士，计算机视觉领域的大师级人物。Szeliski博士在计算机视觉研究方面有25年以上的丰富经验，先后任职干DEC和微软研究院。1996年，他在微软研究院任职期间，提出一种基于运动的全景图像拼接模型，采用L-M算法，通过求图像间的几何变换关系来进行图像匹配。此方法是图像拼接领域的经典算法，Richard Szeliski也因此成为图像拼接领域的奠基人。

译者简介：

艾海舟博士，清华大学计算机系教授，IEEE高级会员和IEEE CS会员。先后于1985年、1988年和1991年获得清华大学工学学士、硕士和博士学位，博士论文荣获“1992年度清华大学优秀博士论文”奖。1994—1996年，在比利时布鲁塞尔自由大学做博士后研究。目前，在清华大学教授“数字图像处理”和“计算机视觉”课程，研究方向为计算机视觉与模式识别。发表学术论文80余篇。

作者简介：

Richard Szeliski博士，计算机视觉领域的大师级人物。Szeliski博士在计算机视觉研究方面有25年以上的丰富经验，先后任职干DEC和微软研究院。1996年，他在微软研究院任职期间，提出一种基于运动的全景图像拼接模型，采用L-M算法，通过求图像间的几何变换关系来进行图像匹配。此方法是图像拼接领域的经典算法，Richard Szeliski也因此成为图像拼接领域的奠基人。

译者简介：

艾海舟博士，清华大学计算机系教授，IEEE高级会员和IEEE CS会员。先后于1985年、1988年和1991年获得清华大学工学学士、硕士和博士学位，博士论文荣获“1992年度清华大学优秀博士论文”奖。1994—1996年，在比利时布鲁塞尔自由大学做博士后研究。目前，在清华大学教授“数字图像处理”和“计算机视觉”课程，研究方向为计算机视觉与模式识别。发表学术论文80余篇。