信息检索与深度学习

信息检索是我们理解这个世界的重要手段之一，随着技术的进步，我们的检索行为也在不断变化。伴随着人工智能时代的到来，大数据的涌现以及万物互联的场景对信息的获取、理解和运用提出了新的需求，特别是大模型的出现，有望重塑信息检索的架构与技术体系。本书以信息检索系统架构为抓手，围绕检索系统的各个技术模块展开对神经检索前沿技术的介绍。一方面，帮助读者快速了解传统技术的发展现状；另一方面，深入介绍深度学习技术给该研究问题所带来的主要变革和前沿成果。由此，读者可以通过本书较为全面地了解信息检索领域过去与当前发展的面貌。

郭嘉丰 中国科学院计算技术研究所研究员、博士生导师，现任网络数据科学与技术重点实验室主任，中国中文信息学会信息检索专委会副主任，国家自然科学基金优秀青年基金获得者。长期从事智能信息检索与大数据分析方向研究，研究成果四次获得本领域重要国际会议优秀论文类奖励、两次获得国家奖励。 兰艳艳 清华大学智能产业研究院研究员，曾任中国科学院计算技术研究所研究员，主要研究方向为信息检索、人工智能赋能科学计算和智能药物研发。研究成果获 SIGIR 优秀学生论文奖和 CIKM 优秀论文提名奖，入选国家万人计划青年拔尖人才，担任中国中文信息学会信息检索专委会秘书长，Artificial Intelligence Associate Editor。 程学旗 中国科学院计算技术研究所副所长，国家杰出青年科学基金获得者，国家高层次人才，北京学者，CCF 会士。任 CCF大数据专家委员会秘书长、CCF 中国数字经济 50 人论坛秘书长、中国中文信息学会副理事长。长期从事网络数据科学、大数据系统、社会计算、Web 信息检索与数据挖掘等方向研究。研究成果六次获得本领域top级国际学术会议优秀论文奖，关键技术与系统成果四次获得国家科技奖励。

第 1章 引言 1

1.1 信息检索技术的发展历史 2

1.2 信息检索的代表性任务 4

1.2.1 ad-hoc 检索 5

1.2.2 问答 6

1.2.3 社区问答 7

1.2.4 自动对话 8

1.3 信息检索的评价方法 9

1.4 深度学习与信息检索的结合 12

第 2章 深度文本索引 17

2.1 基础知识 19

2.1.1 基于符号的文档表示方法 20

2.1.2 面向符号表示的文档索引方法 25

2.2 深度文本索引方法 32

2.2.1 基于稠密向量的文档表示 33

2.2.2 稠密向量索引 36

2.3 小结 57

第3章 深度文本检索 59

3.1 基础知识 61

3.1.1 问题形式化 61

3.1.2 经典词项检索模型 62

3.1.3 早期语义检索方法 66

3.2 深度检索模型 70

3.2.1 基于稀疏向量表示的检索模型 71

3.2.2 基于稠密向量表示的检索模型 75

3.2.3 稀疏?C 稠密向量混合检索方法 90

3.3 小结 94

第4章 深度文本匹配 96

4.1 基础知识 98

4.1.1 问题形式化 98

4.1.2 学习目标 99

4.2 深度匹配模型 104

4.2.1 对称与非对称架构 104

4.2.2 注重表示与注重交互的架构 108

4.2.3 单粒度与多粒度的架构 112

4.3 小结 115

第5章 深度关系排序 116

5.1 基础知识 117

5.1.1 问题定义和评价指标 117

5.1.2 传统关系排序方法 120

5.2 深度关系排序模型 133

5.2.1 基于贪婪选择的深度关系排序模型 133

5.2.2 基于全局决策的深度关系排序模型 142

5.3 小结 158

第6章 深度查询理解 160

6.1 传统的查询理解方法 161

6.2 基于深度学习的查询改进 163

6.2.1 基于深度学习的查询修正 164

6.2.2 基于深度学习的查询扩展 167

6.3 基于深度学习的查询推荐 170

6.4 基于深度学习的查询意图识别 173

6.4.1 基于深度学习的查询分类 173

6.4.2 基于深度学习的查询聚类 175

6.5 小结 177

第7章 交互式信息检索 178

7.1 基础知识 179

7.1.1 交互的概念 179

7.1.2 合作博弈框架 181

7.2 深度交互式信息检索模型 193

7.2.1 代理搜索模型 194

7.2.2 会话搜索模型 200

7.2.3 对话搜索模型 203

7.3 小结 207

第8章 基于预训练的信息检索 209

8.1 基础预训练模型 211

8.1.1 面向判别式任务的预训练模型 211

8.1.2 面向生成式任务的预训练模型 215

8.2 面向检索的预训练模型 217

8.2.1 预训练表示模型 218

8.2.2 预训练交互模型 222

8.3 小结 226

参考文献（图灵社区下载）

信息检索是我们理解这个世界的重要手段之一，随着技术的进步，我们的检索行为也在不断变化。伴随着人工智能时代的到来，大数据的涌现以及万物互联的场景对信息的获取、理解和运用提出了新的需求，特别是大模型的出现，有望重塑信息检索的架构与技术体系。本书以信息检索系统架构为抓手，围绕检索系统的各个技术模块展开对神经检索前沿技术的介绍。一方面，帮助读者快速了解传统技术的发展现状；另一方面，深入介绍深度学习技术给该研究问题所带来的主要变革和前沿成果。由此，读者可以通过本书较为全面地了解信息检索领域过去与当前发展的面貌。

郭嘉丰 中国科学院计算技术研究所研究员、博士生导师，现任网络数据科学与技术重点实验室主任，中国中文信息学会信息检索专委会副主任，国家自然科学基金优秀青年基金获得者。长期从事智能信息检索与大数据分析方向研究，研究成果四次获得本领域重要国际会议优秀论文类奖励、两次获得国家奖励。 兰艳艳 清华大学智能产业研究院研究员，曾任中国科学院计算技术研究所研究员，主要研究方向为信息检索、人工智能赋能科学计算和智能药物研发。研究成果获 SIGIR 优秀学生论文奖和 CIKM 优秀论文提名奖，入选国家万人计划青年拔尖人才，担任中国中文信息学会信息检索专委会秘书长，Artificial Intelligence Associate Editor。 程学旗 中国科学院计算技术研究所副所长，国家杰出青年科学基金获得者，国家高层次人才，北京学者，CCF 会士。任 CCF大数据专家委员会秘书长、CCF 中国数字经济 50 人论坛秘书长、中国中文信息学会副理事长。长期从事网络数据科学、大数据系统、社会计算、Web 信息检索与数据挖掘等方向研究。研究成果六次获得本领域top级国际学术会议优秀论文奖，关键技术与系统成果四次获得国家科技奖励。

大规模互联网、海量数字化和生成式人工智能的快速发展给信息检索领域带来巨大变革和机遇。信息检索也正经历着从数据到信息，从信息到知识，从知识到智能的飞跃。这本书回顾、总结和展望信息检索技术的核心架构、前沿算法和未来趋势，我大力推荐。

张亚勤，清华大学讲席教授兼智能产业研究院（AIR）院长，中国工程院院士

名师佳作！作者以其在信息检索领域的高深造诣和国际先进的科研成果，将人工智能新时代的基于深度学习的神经信息检索科研现状清晰地展现在读者面前。本书既有历史背景，又有全面深入的技术阐述，更有富