计算机视觉技术与应用

党的二十大报告指出：“教育、科技、人才是全面建设社会主义现代化国家的基
础性、战略性支撑。必须坚持科技是第一生产力、人才是第一资源、创新是第一动
力，深入实施科教兴国战略、人才强国战略、创新驱动发展战略，开辟发展新领域新
赛道，不断塑造发展新动能新优势。”
1. 为什么计算机视觉技术如此重要
计算机视觉技术是信息科技中最具前沿性、挑战性的领域之一，涵盖了模式识
别、计算机图形学、机器学习、图像处理等多门学科。随着数字技术的不断进步，计
算机视觉技术正在从理论研究走向实践应用，是医疗、安防、智能交通、人脸识别、
虚拟现实等各类应用场景的中枢神经。此外，计算机视觉技术还广泛应用于工业智能
化、文化遗产保护、环境监测等领域。可以说，计算机视觉技术已经成为新一代信息
科技的引擎，正在高速驱动人类社会的发展和进步，也在深刻影响我们的日常生活。
2. 为什么要编写本书
自2007 年以来，编者团队一直从事计算机视觉技术领域的本科生和研究生教学工
作，期间开展了大量的教学实验和理论研究，以及与国内外同行密切交流，为本书的
编写打下了重要的基础。
当前，计算机视觉科技已成为信息科技领域的热门方向之一。然而，对于初学者来
说，在海量文献中找到一份系统、全面的学习资料并不容易。现有的计算机视觉技术类
教材有些注重理论而缺少实践；有些过度追求专业化，将初学者拒之千里；有些教材强
调学理，缺少现实生活的应用情景；有些教材缺少对党的二十大精神和《习近平新时代
中国特色社会主义思想进课程教材指南》等重大主题教育进课程教材的系统规划。
因此，我们编写了这本《计算机视觉技术与应用》，旨在让学生轻松、系统、全
面地了解计算机视觉技术，使之适应信息时代和知识社会的需求，具备解决复杂问题
和适应不可预测情境的高级能力。
计算机视觉技术与应用
Ⅱ
3. 本书有什么特点
（1）本书坚持以习近平新时代中国特色社会主义思想为指导，深入贯彻党的二十
大精神，落实“育人的根本在于立德”。
本书始终坚持以习近平新时代中国特色社会主义思想为指导，以润物细无声的方
式融入党的二十大精神，在具体案例和项目导读中弘扬社会主义核心价值观，弘扬科
学家精神，激发学生实现高水平科技自立自强的责任感和使命感。
（2）本书着眼于学科发展前沿，具有前瞻性和时代性。
在编写本书的过程中，我们借鉴了许多国内外优秀的计算机视觉教材和案例，结
合我们多年的教学和研究经验，将知识点分类整理并精选了对应案例。通过案例讲解
和实践操作，学生能够学以致用，更好地掌握计算机视觉的核心技术。
（3）本书内容翔实，脉络清晰，体现核心素养的要求，具有科学性和系统性。
本书针对复杂、真实的生活情境，精心设计和编排内容，共有图像滤波、图像特
征提取、图像识别、图像分割、目标检测与追踪、图像生成与转换、人体行为解析、
图像文本生成、视觉问答系统和视频理解10 个项目。每个项目下设2 ～ 3 个应用任
务，每个任务都设置有学习目标、任务要求、知识归纳、任务实施、任务小结、任务
自测等。任务、知识点、基本原理相辅相成，项目的编排顺序环环相扣，互相铺垫，
进一步培养学生解决现实生活复杂问题的能力。
本书使用当前主流的Python 语言编写，并讲解核心程序，代码简洁高效，便于学
生实践操作。
（4）本书在自主学习和人才培养模式方面做出了积极尝试，具有原创性和创新性。
按照传统体例编写的教材需要教师进行大量的指导与讲解，留给学生自主学习的
空间有限。本书按照项目式学习原则编写，提高了真实性和实践性。学生通过项目、
任务以及丰富的配套资源，能够实现自主学习。我们也希望通过这本书鼓励和启发教
育者创新人才培养模式。
4. 本书适合哪些读者
本书内容丰富、涵盖面广，涉及低、中、高层视觉，以及视觉与文本结合的多模
态技术等，适合计算机、人工智能、通信和自动化等相关专业的教师与学生，以及广
大从事计算机视觉工程的研发人员阅读参考。
5. 致谢
在本书出版之际，我们特别要感谢清华大学出版社和刘茵女士，他们精准策划，
执着约稿，耐心沟通，对我们来说是莫大的鼓励。我们还要感谢参与本书编写的其他
成员：杨振国、孙宇平、黄国恒、姬玉柱、赵靖亮等老师，他们查阅梳理了大量国内
Ⅲ
外的最新学术文献和论著，力求全方位展现计算机视觉领域的前沿技术和最新成果，
凡此种种，都让我们感动不已。
在本书的编写过程中，我们通过多种渠道与书中选用作品（包括照片、插图等）
的作者进行了联系，得到他们的大力支持，对此，我们表示衷心的感谢。在本书付梓
前，书中仍有部分所参考和引用资料的作者，我们未能与之取得联系，恳请他们以及
读者，在本书使用过程中，如遇问题请与清华大学出版社联系，再次感谢！
在编写本书的时候，我们常常能感受到“吾生也有涯，而知也无涯”的浩瀚，但
我们更享受“不怕真理无穷，进一寸有一寸”的欢喜。期待能够跟大家一起，通过本
书感受计算机视觉技术领域的魅力。
由于编者水平有限，书中难免有疏漏和不足之处，在此恳请广大读者批评、指
正，以便日后修订。
编　者
2023 年11 月

"　　本书采用项目任务式的编写方式，介绍了计算机视觉相关的基础概念与基本知识点，并结合应用案例阐述其基本原理。全书内容丰富、涵盖面广，涉及低、中、高层视觉技术，以及视觉与文本结合的多模态技术，具体包括10 个项目：图像滤波、图像特征提取、图像识别、图像分割、目标检测与追踪、图像生成与转换、人体行为解析、图像文本生成、视觉问答系统和视频理解。 　　本书对每个项目涉及的知识点提供了丰富、生动的案例素材，并以Python 语言为主要工具详细讲解了核心程序。每个项目下设2 ～ 3 个应用任务，结合代码讲述具体任务实施过程，让读者全方位深刻理解任务对应知识点与基本原理。 　　本书结构布局紧凑，内容深入浅出，代码简洁高效，适合作为计算机、人工智能、通信和自动化等相关专业的教师与学生用书，也可作为广大从事计算机视觉工程的研发人员的参考用书。"

胡钦太,博士、二级教授、博士生导师，国家社科基金重大课题首席专家，国家自然科学基金重点项目主持人, 广东省优秀社会科学家。
朱鉴，博士，广东工业大学副教授，青年百人计划引进人才，计算机学院副院长。主要研究领域包括计算机视觉、智能图形学与机器学习等。
刘东宁，博士，现任广东工业大学教授、博士生导师，计算机学院教学副院长。主要研究领域为协同计算，包括分布式智能系统、社会计算、工业软件等，曾于2013年解决了1973年提出的时态查询线性时间复杂度问题；2015年底破解了自1955年提出的匈牙利算法（也称Kuhn-Munkres算法）多对多最优指派问题。

项目1　图像滤波  1
任务1.1 灰度图对比度矫正  2
任务1.2 自然图像噪声去除  9
任务1.3 图像边缘增强 15
项目2　图像特征提取 21
任务2.1 基于霍夫变换的硬币检测 22
任务2.2 基于SIFT 特征点的图像拼接 31
项目3　图像识别 41
任务3.1 基于逻辑回归的手写数字识别 42
任务3.2 基于卷积神经网络的人脸识别 53
项目4　图像分割 71
任务4.1 车牌分割 72
任务4.2 医学图像分割 82
项目5　目标检测与追踪 96
任务5.1 基于MMDetection 的目标检测 98
任务5.2 基于MMTracking 的目标追踪  113
项目6　图像生成与转换  127
任务6.1 服饰图像生成  129
计算机视觉技术与应用
Ⅵ
任务6.2 图像风格迁移  146
项目7　人体行为解析  159
任务7.1 人体姿态估计  160
任务7.2 人体动作识别  173
项目8　图像文本生成  183
任务8.1 图像描述生成  184
任务8.2 医疗文本生成  196
项目9　视觉问答系统  210
任务9.1 封闭式视觉问答系统  211
任务9.2 开放式视觉问答系统  222
项目10　视频理解  234
任务10.1 视频情感分类  236
任务10.2 视频主题分类  248
参考文献  263

"　　本书采用项目任务式的编写方式，介绍了计算机视觉相关的基础概念与基本知识点，并结合应用案例阐述其基本原理。全书内容丰富、涵盖面广，涉及低、中、高层视觉技术，以及视觉与文本结合的多模态技术，具体包括10 个项目：图像滤波、图像特征提取、图像识别、图像分割、目标检测与追踪、图像生成与转换、人体行为解析、图像文本生成、视觉问答系统和视频理解。 　　本书对每个项目涉及的知识点提供了丰富、生动的案例素材，并以Python 语言为主要工具详细讲解了核心程序。每个项目下设2 ～ 3 个应用任务，结合代码讲述具体任务实施过程，让读者全方位深刻理解任务对应知识点与基本原理。 　　本书结构布局紧凑，内容深入浅出，代码简洁高效，适合作为计算机、人工智能、通信和自动化等相关专业的教师与学生用书，也可作为广大从事计算机视觉工程的研发人员的参考用书。"

胡钦太,博士、二级教授、博士生导师，国家社科基金重大课题首席专家，国家自然科学基金重点项目主持人, 广东省优秀社会科学家。
朱鉴，博士，广东工业大学副教授，青年百人计划引进人才，计算机学院副院长。主要研究领域包括计算机视觉、智能图形学与机器学习等。
刘东宁，博士，现任广东工业大学教授、博士生导师，计算机学院教学副院长。主要研究领域为协同计算，包括分布式智能系统、社会计算、工业软件等，曾于2013年解决了1973年提出的时态查询线性时间复杂度问题；2015年底破解了自1955年提出的匈牙利算法（也称Kuhn-Munkres算法）多对多最优指派问题。