文本挖掘与信息检索概论

近年来，随着互联网的发展，廉价的图形用户界面和大容量存储设备逐渐出现，基于网络环境的信息检索系统以显著优势引起人们的关注。企业要想在激烈的市场竞争中脱颖而出，成为市场的大赢家，就必须运用各种现代化的技术，打造出一套属于自己的决策系统。科学的决策，源于对信息资料的充分了解与认识，信息检索是国家、部门、单位和个人等决策者获取信息的重要途径。信息检索使国家、部门、单位和个人的决策建立在科学基础之上，大大增加了决策的科学性，减少了决策的盲目性。
当今，信息呈爆炸式增长，不仅如此，信息载体也发生了巨大的变化，除了传统纸介质信息外，每天都有大量的电子信息及各类网上信息涌现出来，这些浩如烟海的信息的多样性、离散性与无序性及其复杂的检索界面和使用方法，增加了信息利用的难度，极大地影响了人们获取信息的质量与效率。而文本挖掘的出现为文本信息的整理、分析、挖掘提供了更有效的手段。
本书讨论了信息检索基础，主要介绍信息检索的定义、进展及发展趋势，使读者对信息检索有一个概要的认识； 论述了信息检索的经典模型(向量空间检索模型、概率检索模型、基于语言建模的信息检索模型)； 简要介绍了信息检索的评价方法； 详细介绍了文本挖掘的具体方法，即文本分类技术、文本聚类技术、自动摘要技术、文本推荐技术、链接分析技术。在此基础上，分别讨论了各个文本挖掘技术在信息检索领域中的应用。
本书由蔡晓妍、杨黎斌、程塨、姚西文、姚超、韩军伟编著，蔡晓妍编写第1、8章，杨黎斌编写第2、7章，程塨编写第4章，姚西文编写第5章，姚超编写第3章，韩军伟编写第6章。蔡晓妍、杨黎斌负责全书的策划、大纲的制定和统纂工作。
本书在编写过程中参考了国内外许多公开发表的相关资料，在此对所涉及的各位专家、学者表示诚挚的感谢。研究生石锴乐、王楠鑫、梅欣、赵金涛、芮志远、李立群，本科生王铭杨、余霖智、王赞硕、张奥、孙世彬分别对本书进行了校对并提出了宝贵的建议，特表示感谢。由于编写时间紧迫，加之编者理论水平和实践经验有限，书中难免有不当和疏漏之处，恳请广大读者批评和指正。
本书配套PPT课件、教学大纲和典型算法的Python源码，读者可以关注清华大学出版社公众号“书圈”（见封底）来下载资源，如有相关问题和建议请发邮件至404905510@qq.com。

编者
2022年6月

文本挖掘与信息检索是近年来人工智能领域的热点研究方向。本书共8章，包括信息检索概述、信息检索模型、信息检索的评价、文本分类技术、文本聚类技术、自动摘要技术、文本推荐技术和网页链接分析，融合了统计学、机器学习、数据库等知识，具有多学科交叉的特点。 内容全面，案例丰富，适合作为人工智能、数据科学、计算机、软件工程等专业的本科生和研究生教材，也可作为企事业单位相关研究人员的参考资料。

文本挖掘与信息检索是近年来人工智能领域的热点研究方向。本书共8章，包括信息检索概述、信息检索模型、信息检索的评价、文本分类技术、文本聚类技术、自动摘要技术、文本推荐技术和网页链接分析，融合了统计学、机器学习、数据库等知识，具有多学科交叉的特点。 内容全面，案例丰富，适合作为人工智能、数据科学、计算机、软件工程等专业的本科生和研究生教材，也可作为企事业单位相关研究人员的参考资料。

第1章  信息检索概述

1.1数据、信息和知识

1.1.1从数据到信息

1.1.2从信息到知识

1.2信息检索的定义

1.3信息检索的发展

1.3.1信息检索的发展历史

1.3.2信息检索的主要方法

1.3.3信息检索的应用

1.3.4信息检索的发展趋势

习题

第2章  信息检索模型

2.1概述

2.2向量空间检索模型

2.2.1内积

2.2.2相似度计算 

2.3概率检索模型

2.3.1概率论基础知识 

2.3.2词项权重 

2.3.3二值独立模型

2.3.4非二值独立模型

2.4基于语言建模的信息检索模型

2.4.1庞特模型

2.4.2零概率问题以及解决方法

2.4.3语言模型检索框架

2.4.4跨语言检索模型

习题

第3章  信息检索的评价

3.1信息检索的评价指标

3.1.1查全率

3.1.2査准率

3.1.3查准率与查全率的关系

3.1.4漏检率和误检率

3.1.5响应时间

3.2信息检索系统的评价

习题

第4章  文本分类技术

4.1概述

4.1.1基本概念

4.1.2文本自动分类的两种类型

4.1.3文本分类模式

4.1.4文本分类过程

4.2文本预处理

4.2.1分词技术

4.2.2停用词去除

4.2.3文本特征选择方法

4.2.4文本表示方法

4.3相似度度量方法

4.4常用分类算法分析

4.4.1Rocchio算法

4.4.2贝叶斯分类器

4.4.3贝叶斯信念网络

4.4.4K近邻算法

4.4.5支持向量机

4.5分类性能评价

4.5.1精确度和召回率

4.5.2F测量

4.5.3分类方法的综合评价

4.6基于向量空间模型的文本分类方法

4.6.1文本分类系统的结构框架

4.6.2改进的文本特征抽取算法

4.6.3二级分类模式

4.7基于语言模型的文本分类

4.7.1概述

4.7.2Bigram模型

4.7.3特征提取

4.7.4分类器设计

4.7.5统计平滑

4.8基于卷积神经网络的文本分类

4.8.1CNN概述

4.8.2CNN文本分类经典结构

4.8.3CNN文本分类方法

习题

第5章  文本聚类技术

5.1概述

5.2常用的聚类方法

5.2.1基于划分的聚类方法

5.2.2基于分层的聚类方法

5.2.3基于密度的聚类方法

5.2.4基于网格的聚类方法

5.2.5基于模型的聚类方法

5.3聚类算法的评价标准

5.4基于Kmeans的文本聚类算法

5.4.1概述

5.4.2Kmeans算法理论基础

5.4.3Kmeans算法结果影响因素

5.4.4TFIDF理论基础

5.4.5基于Kmeans文本聚类的主要步骤

5.4.6基于Kmeans算法的聚类实例

5.5基于潜在语义索引的文本聚类方法

5.5.1概述

5.5.2矩阵的奇异值分解

5.5.3LSI技术的理论基础

5.5.4基于LSI文本聚类的主要步骤

5.5.5基于LSI文本聚类的实例

5.6基于Word2Vec的文本聚类方法

5.6.1词向量概述

5.6.2Word2Vec语言模型

5.6.3连续词袋模型

5.6.4Skipgram模型

5.6.5基于Word2Vec的文本聚类举例

习题

第6章  自动摘要技术

6.1概述

6.2抽取式摘要

6.2.1基于TextRank的文本自动摘要

6.2.2基于图模型的文本自动摘要

6.2.3融合噪声检测的多文档自动摘要

6.2.4抽取式多文档自动摘要

6.3生成式摘要

6.3.1融合词汇特征的生成式摘要模型

6.3.2基于深度学习的文本自动摘要

6.3.3基于HITS注意力神经网络的生成式摘要模型

6.4自动摘要的评价方法 

6.4.1内部评价法

6.4.2外部评价法

习题

第7章  文本推荐技术

7.1基于内容的推荐方法

7.1.1概述

7.1.2存在的问题

7.2基于协同过滤的推荐方法

7.2.1基于用户的协同过滤推荐方法

7.2.2基于物品的协同过滤推荐方法

7.2.3存在的问题

7.3混合推荐方法

7.4基于图表示学习的推荐方法

7.4.1图表示学习方法

7.4.2基于图表示学习的推荐

7.4.3基于DeepWalk异构文献网络表示学习的个性化全局引文推荐方法

7.5推荐系统的评价

7.5.1评价指标

7.5.2基于DeepWalk异构文献网络表示学习的个性化全局引文推荐方法的实验结果分析

习题

第8章  网页链接分析

8.1超链和页面内容的关系

8.2特征提取和特征表示

8.3不同搜索阶段的分析

8.4PageRank算法

8.4.1PageRank算法定义

8.4.2PageRank算法的优点和缺点

8.4.3基于LexRank的多文档自动摘要方法

8.5HITS算法

8.5.1HITS算法定义

8.5.2寻找其他的特征向量

8.5.3寻找同引分析和文献耦合的关系

8.5.4HITS算法的优点和缺点

8.5.5基于HITS的多文档自动摘要

8.6两种算法的比较

8.7链接分析的应用

习题

参考文献

文本挖掘与信息检索是近年来人工智能领域的热点研究方向。本书共8章，包括信息检索概述、信息检索模型、信息检索的评价、文本分类技术、文本聚类技术、自动摘要技术、文本推荐技术和网页链接分析，融合了统计学、机器学习、数据库等知识，具有多学科交叉的特点。 内容全面，案例丰富，适合作为人工智能、数据科学、计算机、软件工程等专业的本科生和研究生教材，也可作为企事业单位相关研究人员的参考资料。

可作为人工智能、数据科学、计算机、软件工程等专业的高年级本科生和研究生教材，也对从事相关工作的科研人员具有一定参考价值。