知识驱动的Web查询处理技术

第1章 Web查询处理概述

1.1搜索引擎工作原理

1.2Web查询处理简介

1.3相关研究现状

1.3.1查询分类·

1.3.2查询意图理解·

1.3.3查询消歧

1.3.4查询推荐

本章小结

本章参考文献

第2章基于概念知识的Web查询分类

2.1研究背景

2.2相关工作

2.2.1短文本分类

2.2.2查询推荐

2.3预备知识

2.4基于概念的短文本分类框架·

2.4.1类别概念模型

2.4.2短文本概念化

2.4.3分类与排序

2.5面向MSN新闻频道的查询分类

2.5.1新闻频道的概念表示

2.5.2查询概念化

2.5.3查询多样化排序

2.6实验

2.6.1实验数据

2.6.2查询分类效果

2.6.3多样化推荐效果

本章小结

本章参考文献

第3章基于概念知识的Web查询理解

3.1介绍

3.2总体框架

3.2.1 框架

3.2.2大规模分类学知识库

3.3意图停用词表.

3.4概念模式挖掘

3.4.1实体修饰关系

3.4.2概念修饰关系

3.5语义角色标注

3.5.1实体识别

3.5.2双实体查询标注

3.5.3多实体查询标注

3.5.4语义冲突

3.6实验

3.6.1挖掘意图停用词

3.6.2挖掘实体修饰关系

3.6.3概念模式知识库

3.6.4语义标注效果

3.6.5与其他方法的比较

3.6.6评分函数和参数的影响

3.6.7广告匹配应用效果

3.7相关工作

本章小结

本章参考文献

第4章CQA问题查询的命名实体消歧

4.1研究背景

4.2相关工作

4.2.1正规文本的实体消歧

4.2.2短文本实体消炼

4.2.3基于话题模型的消歧方法

4.3问题定义

4.4问题查询的命名实体消歧

4.4.1实体指称识别

4.4.2实体消歧模型

4.4.3估计先验分布

4.4.4模型求解

4.5实验

4.5.1实验设置

4.5.2参数调整

4.5.3评测结果

4.5.4讨论

本章小结

本章参考文献

第5章基于大规模实体网络的相关实体查询推荐

5.1研究背景

5.2相关工作

5.2.1开放域的信息抽取·

5.2.2实体排序

5.2.3查询推荐·

5.3相关实体网络

5.3.1构建相关实体网络

5.3.2相关实体网络概况

5.3.3实体相关度排序

5.4面向实体查询的推荐

5.4.1实验数据

5.4.2相关实体质量分析

5.4.3排序方法评测

5.4.4相关实体排序准确率

5.4.5相关实体推荐新颖性

本章小结

本章参考文献

第1章Web查询处理概述

近年来，随着计算机技术的发展和互联网的普及，Web上的资源以指数级迅速增长。根据中国互联网中心第48次《中国互联网络发展状况统计报告》，截至2021年6月，我国网民规模达10.11亿，较2020年12月增长2175万，互联网普及率达71.6%。十亿用户接入互联网，形成了全球最为庞大、生机勃勃的数字社会。超过10类互联网应用的用户规模在5亿以上，人均每周上网时长达到26.9个小时，互联网应用塑造了全新的生活方式和社会形态。互联网中蕴含着海量的数据资源，除海量网页以外，还有许多其他种类丰富的资源，包括图片、视频、用户自生内容（博客、微博、评论等）、开放链接数据和大规模知识库等。互联网日益成为人们学习、工作、生活的新空间，日益成为人们获取信息与公共服务的新平台。从互联网海量信息中准确快速地获取需要的信息成为是人们的客观需求。在此背景下，基于信息检索技术的搜索引擎应运而生，旨在帮助用户快速查找所需要的信息。

自20世纪90年代互联网搜索引擎出现以来，互联网搜索已经成为人们日常生活必不可少的一部分。特别是进入移动互联网时代。越来越多的人通过手机、平板电脑等移动设备接入互联网。搜索引擎正向精准化、智能化、个性化的方向发展。不断变化升级的计算机端搜索和移动搜索的背后，实际上是用户需求和市场格局的变迁。例如，随着人们更多地使用手机等移动设备上网，使用移动搜索引擎占用的也大都是零碎的时间，比如地铁上、客厅里、工作间隙等。在碎片化的时间里，用户需求指向更明确，他们没有耐心去一页页翻找信息，也很难忍受长篇大论，这就要求搜索引擎要更快更精准地给出用户所需要的信息。

1.1搜索引擎工作原理

经典的商业网络搜索引擎，比如由百度、谷歌、Bing（必应）等，为提供全网搜索服务，需要处理数十亿甚至数万亿的网络文档，并且文档数量一直在持续更新，需要PB级的数据存储空间，并确保通过数十亿用户查询来满足搜索引擎用户的需求。一般来说，搜索引擎需要准确地了解搜索查询，然后根据用户输入的查询有效从海量文档中找到相关结果并对结果进行排序，最终将排序后的结果呈现给用户。如图1-1所示①，上述检索过程包含线上和线下两部分

（1）线下部分：主要完成网页文档信息采集、信息索引和为实时信息检索做准备。

1）网页数据采集

……