从零构建知识图谱：技术、方法与案例

为什么写这本书

知识图谱，是近年来火热的研究方向之一，被认为是实现认知智能的核心基础技术。知识图谱以图的形式表现客观世界中的实体、概念及其之间的关系，致力于解决认知智能中的复杂推理问题。

随着大数据时代的红利逐渐消失，以深度学习为基础的感知智能逐步触碰到天花板，理论突破也越来越难。而在认知智能的前进道路上，基于统计概率的深度学习模型仍然无法真正实现和人类相同的推理和理解能力。

充分有效地利用人类社会中海量的知识是可行的解决路径之一。而知识图谱将人类知识表示为图的形式，可以让机器更好地利用知识，实现一定程度的“智能化”。然而，虽然知识图谱被寄予厚望，可以实现人工智能从感知到认知的跨越，但通用知识图谱的建立和完善是一个漫长的过程。在现阶段，知识图谱还是大量应用在简单场景和垂直场景上，例如搜索引擎、智能问答、语义理解、决策分析、智慧物联等。

构建知识图谱是一个系统工程，涉及知识的表示、获取、存储、应用以及自然语言处理等各项技术，如何全面掌握知识图谱的构建，成为很多同学和从业者为关注的问题。纵观目前市场上的知识图谱书籍，我们发现，大多数的书都是以理论介绍为主，虽然内容充分翔实，但缺乏应用性的梳理和阐述。

写这本书的初衷，就是希望将我们在实践中构建知识图谱的经验，包括踩坑的教训，以文字的形式做出总结，同时分享给各位奋战在一线的知识图谱从业人员。书中不仅对知识图谱的概念和理论做了详细介绍，同时用开源代码的形式阐述了落地细节。书中代码资源下载地址为https://github.com/zhangkai-ai/build-kg-from-scratch。

本书一共分为8章。第1章给出了知识图谱的概览，第2章围绕知识图谱的整体技术体系，详细阐述了知识的表示与建模、抽取与挖掘、存储与融合，以及检索与推理。第3章以具体的实例介绍了各种知识图谱工具的使用。第4章和第5章从实战的角度带领读者从零到一构建通用知识图谱和领域知识图谱，并配以详细的代码解读。第6章给出了知识图谱的具体应用。第7章也是从实战的角度对知识图谱的问答系统做了详尽阐述。后第8章给出了知识图谱的总结和展望。

知识图谱领域仍然有很多问题需要解决，需要各位同人一起努力。希望本书能够为读者解决问题提供些许帮助。

由于种种原因，本书成稿过程颇有波折。我们要特别感谢编辑杨福川和李艺，他们对本书出版提供了大力支持。

这是一本能让读者快速从零开始构建工业级知识图谱的著作。作者是知识图谱和自然语言处理领域的专家，本书得到了OpenKG联合创始人王昊奋、清华大学教授李涓子、东南大学教授漆桂林、美团知识图谱团队负责人张富峥、文因互联创始人鲍捷等学界和业界知识图谱扛旗人的一致好评和推荐。

本书不仅详细讲解了知识图谱的技术原理和构建工具，而且还循序渐进地讲解了知识图谱的构建方法、步骤和行业应用。配有大量实战案例，并且开放了源代码，确保读者能学会并落地。

全书一共8章：

第1章介绍了知识图谱的概念、模式、应用场景和技术架构；

第2章围绕知识图谱的技术体系，详细阐述了知识的表示与建模、抽取与挖掘、存储与融合，以及检索与推理；

第3章通过具体的实例介绍了各种知识图谱工具的使用；

第4章和第5章从工业实践的角度讲解了从0到1构建通用知识图谱和领域知识图谱的步骤和方法，并配备详细的代码解读；

第6~7章讲解了知识图谱的具体应用和一个综合性的知识图谱案例——问答系统，进一步指导读者实践；

第8章对知识图谱的未来发展进行了总结和展望。

邵浩

资深人工智能技术专家，复星集团CEO助理，集团AI业务负责人。曾任vivo人工智能研究院算法专家、技术总监，曾任狗尾草智能科技AI研究院院长，带领团队打造了虚拟生命产品的交互引擎。上海市静安区首届优秀人才，上海市人才发展基金获得者，杭州市高层次人才。中国中文信息学会青年工作委员会委员，语言与知识计算专委会委员，中国计算机学会语音对话与听觉专委会委员，自然语言处理专委会委员。

日本国立九州大学工学博士，亚利桑那州立大学访问学者，曾任上海对外经贸大学副教授，硕士生导师。共发表论文 50余篇，专利十余项，在国内率先出版了聊天机器人和预训练语言模型相关的著作，主持多项和省部级课题。

张凯

资深AI算法工程师，主要研究方向包括知识图谱、对话系统、推荐系统、机器翻译等，拥有多年算法落地经验。主导构建了开放通用知识图谱七律，参与了《知识图谱评测标准》和《知识图谱白皮书》的编写。聊天机器人专业书籍作者之一。

李方圆

资深AI算法工程师，主要研究方向包括机器翻译、知识图谱和问答系统，具有多年实战项目经验，现任vivo机器翻译团队负责人，主导从零构建机器翻译能力。

张云柯

资深AI算法工程师，中文信息学会会员，硕士毕业于加拿大Queen’s University，曾任职于奇虎360。主要研究方向包括自然语言处理与知识图谱，曾于领域内知名会议发表相关论文，拥有丰富的算法落地经验。

戴锡强

资深AI算法工程师，主要研究方向为知识图谱、对话系统等，参与构建了百科知识图谱，医药领域知识图谱，基于知识图谱的问答系统等，具有丰富的知识图谱落地经验。

推荐序

前言

第1章　知识图谱概览  1

1.1　知识图谱序言  1

1.2　知识图谱基本概念  3

1.2.1　知识图谱背景  3

1.2.2　知识图谱的定义  5

1.2.3　典型知识图谱示例  7

1.3　知识图谱的模式  10

1.4　为什么需要知识图谱  13

1.5　知识图谱的典型应用  15

1.6　知识图谱的技术架构  17

参考文献  18

第2章　知识图谱技术体系  19

2.1　知识表示与知识建模  19

2.1.1　知识表示  19

2.1.2　知识建模  26

2.2　知识抽取与知识挖掘  29

2.2.1　知识抽取  29

2.2.2　知识挖掘  38

2.3　知识存储与知识融合  42

2.3.1　知识存储  42

2.3.2　知识融合  47

2.4　知识检索与知识推理  52

2.4.1　知识检索  53

2.4.2　知识推理  58

参考文献  61

第3章　知识图谱工具  63

3.1　知识建模工具  63

3.1.1　Protégé  64

3.1.2　其他本体建模工具  79

3.1.3　本体建模工具的选择  83

3.2　知识抽取工具  84

3.2.1　DeepDive  84

3.2.2　其他知识抽取工具  102

3.2.3　知识抽取工具对比  106

3.3　知识存储工具  107

3.3.1　Neo4j  108

3.3.2　Neo4j安装与部署  109

3.3.3　可视化  113

3.3.4　图模型  115

3.3.5　其他图数据库  120

参考文献  122

第4章　从零构建通用知识图谱  123

4.1　通用知识表示与抽取  123

4.1.1　通用知识数据来源  123

4.1.2　实体层构建  126

4.1.3　表述层构建  131

4.1.4　概念层构建  134

4.2　知识增强  135

4.2.1　实体层知识增强  135

4.2.2　模式完善  139

4.2.3　实体链接：表述层与实体层之间的映射  144

4.2.4　实体分类：实体层与概念层之间的映射  146

4.3　百科知识存储与更新  153

4.3.1　属性图存储模型  154

4.3.2　知识存储  156

4.3.3　知识更新  168

第5章　领域知识图谱构建  172

5.1　领域知识图谱概览  172

5.2 　医药领域知识图谱  173

5.2.1　领域模式构建  174

5.2.2　领域知识抽取  176

5.2.3　领域图谱构建  178

5.2.4　图谱展示  182

5.3　用户画像图谱  183

5.3.1　用户画像知识表示  183

5.3.2　知识抽取和挖掘  185

5.3.3　抽取案例  194

参考文献  207

第6章　知识图谱应用  208

6.1　知识可视化  208

6.1.1　D3  208

6.1.2　ECharts  213

6.1.3　其他工具介绍  220

6.1.4　小结  225

6.2　实体链接  225

6.2.1　实体链接的定义  225

6.2.2　实体链接的步骤  226

6.2.3　实体链接工具  232

6.2.4　实体链接的应用  242

6.3　知识问答  245

6.3.1　知识问答系统概述  245

6.3.2　知识问答系统的主要流程  247

6.3.3　主流知识问答系统介绍  252

6.3.4　问答系统实战  260

6.4　联想  277

6.4.1　联想整体流程  278

6.4.2　话题识别  279

6.4.3　候选话题生成  280

6.4.4　候选话题排序  282

6.4.5　联想回复生成  290

参考文献  292

第7章　基于知识图谱的问答系统  297

7.1　简介  297

7.2　自然语言理解  300

7.2.1　概述  300

7.2.2　基础NLU  301

7.2.3　意图理解  309

7.2.4　实体识别与链接  317

7.2.5　文本相似度与向量化  317

7.3　对话管理  322

7.3.1　概述  322

7.3.2　知识问答  327

7.3.3　闲聊  331

7.4　自然语言生成  332

7.5　服务化  333

参考文献  335

第8章　总结与展望  336

参考文献  338

这是一本能让读者快速从零开始构建工业级知识图谱的著作。作者是知识图谱和自然语言处理领域的专家，本书得到了OpenKG联合创始人王昊奋、清华大学教授李涓子、东南大学教授漆桂林、美团知识图谱团队负责人张富峥、文因互联创始人鲍捷等学界和业界知识图谱扛旗人的一致好评和推荐。

本书不仅详细讲解了知识图谱的技术原理和构建工具，而且还循序渐进地讲解了知识图谱的构建方法、步骤和行业应用。配有大量实战案例，并且开放了源代码，确保读者能学会并落地。

全书一共8章：

第1章介绍了知识图谱的概念、模式、应用场景和技术架构；

第2章围绕知识图谱的技术体系，详细阐述了知识的表示与建模、抽取与挖掘、存储与融合，以及检索与推理；

第3章通过具体的实例介绍了各种知识图谱工具的使用；

第4章和第5章从工业实践的角度讲解了从0到1构建通用知识图谱和领域知识图谱的步骤和方法，并配备详细的代码解读；

第6~7章讲解了知识图谱的具体应用和一个综合性的知识图谱案例——问答系统，进一步指导读者实践；

第8章对知识图谱的未来发展进行了总结和展望。

邵浩

资深人工智能技术专家，复星集团CEO助理，集团AI业务负责人。曾任vivo人工智能研究院算法专家、技术总监，曾任狗尾草智能科技AI研究院院长，带领团队打造了虚拟生命产品的交互引擎。上海市静安区首届优秀人才，上海市人才发展基金获得者，杭州市高层次人才。中国中文信息学会青年工作委员会委员，语言与知识计算专委会委员，中国计算机学会语音对话与听觉专委会委员，自然语言处理专委会委员。

日本国立九州大学工学博士，亚利桑那州立大学访问学者，曾任上海对外经贸大学副教授，硕士生导师。共发表论文 50余篇，专利十余项，在国内率先出版了聊天机器人和预训练语言模型相关的著作，主持多项和省部级课题。

张凯

资深AI算法工程师，主要研究方向包括知识图谱、对话系统、推荐系统、机器翻译等，拥有多年算法落地经验。主导构建了开放通用知识图谱七律，参与了《知识图谱评测标准》和《知识图谱白皮书》的编写。聊天机器人专业书籍作者之一。

李方圆

资深AI算法工程师，主要研究方向包括机器翻译、知识图谱和问答系统，具有多年实战项目经验，现任vivo机器翻译团队负责人，主导从零构建机器翻译能力。

张云柯

资深AI算法工程师，中文信息学会会员，硕士毕业于加拿大Queen’s University，曾任职于奇虎360。主要研究方向包括自然语言处理与知识图谱，曾于领域内知名会议发表相关论文，拥有丰富的算法落地经验。

戴锡强

资深AI算法工程师，主要研究方向为知识图谱、对话系统等，参与构建了百科知识图谱，医药领域知识图谱，基于知识图谱的问答系统等，具有丰富的知识图谱落地经验。

近年来，知识图谱技术及应用受到了广泛的关注。作为人工智能时代从感知跨越到认知的桥梁，知识图谱以图网络的形式连接人类丰富的知识，并尝试解决推理和理解问题。越来越多的学者和工业界人士投身于知识图谱的研究和落地，基于知识图谱的智能搜索、问答以及推荐也得到了推广和应用。

知识图谱相关技术发展迅速，应用也非常广泛，但仍然有很多问题需要解决。从理论研究方面，知识图谱的基础技术仍然需要进一步推进，一些问题，例如语言歧义性、长尾知识获取、时序知识获取、多模态知识的融合、复杂推理，还没有较好的解决办法。而从工业实践上来看，由于数据源繁多，数据规模庞大，异构数据质量参差不齐，高质量通用知识图谱的构建还有很长的路要走。

因此，很多公司将目光转向特定领域的知识图谱应用，也催生了诸如医疗、法律、公安、电商等基于行业的知识图谱。知识图谱的发展已经进入下半场，由于技术和工具的不断成熟，构建完整的知识图谱也不再是巨头的专利，具备一定基础的技术人员也能够将知识图谱技术应用于自身业务中。

如何将理论化为应用，是一线从业人员为关注的问题。虽然构建知识图谱的要求很高，但门槛已经大大降低。各行各业对知识图谱的关注度都在提升，知识图谱相关的课程、教材也已面世。但在理论之外，从业人员更需要一本能够结合工业实践将知识图谱落地的指南。

本书正是这样一本面向实战的知识图谱指南，不仅有基础的知识图谱技术介绍，还用大量的篇幅阐述如何快速构建和应用知识图谱。本书作者都是长期深耕于自然语言处理与知识图谱领域的一线研究人员和工程师，为国内的知识图谱开源社区OpenKG贡献了很多有价值的数据和工具。他们从实践角度，通过浅显易懂的解析以及开源的代码，对知识图谱的理论基础、相关工具、构建步骤进行了详细的阐述。相信无论是知识图谱从业人员还是研究学者，都可以通过本书了解知识图谱的全流程构建方法，并能够将其应用到实际项目和业务中。

王昊奋　同济大学特聘研究员，OpenKG联合创始人，CCF SIGKG主席

在从感知智能向认知智能迈进的过程中，如何让AI学习理解知识，形成自己的“大脑”，知识图谱技术扮演了重要角色。本书详细阐述了知识图谱在工业界的实际落地，是一本以实战为主的书籍，通过具体案例对知识图谱涉及的各方面技术进行了讲解，适合学生和工程师参考。

——李涓子 清华大学教授

知识图谱是近年来的研究热点，除了理论不断完善，行业应用也越来越多。本书通过浅显易懂的语言和开源代码，阐述了知识图谱的理论基础和落地方案，是一本不可多得的实践类书籍。作者有深厚的理论基础和丰富的工程经验，无论是研究学者还是从业人员，都能够从书中找到有价值的信息。

——漆桂林 东南大学教授

知识图谱的理论技术已经有了长足的发展，如何在工业实践中建设业务型知识图谱，成为了广大从业人员更为关注的问题。这是一本系统介绍知识图谱理论和落地的书籍，尤其是在实践方面，通过具体案例和实施代码，让读者能够快速将知识图谱技术应用于具体业务。

——张富峥 美团知识图谱团队负责人

知识图谱由多层技术栈构成，涉及数据库、自然语言处理、深度学习、图挖掘等多领域知识。本书从实战角度出发，以具体的案例和代码，详细介绍了知识图谱的整套技术体系和实现细节。无论是构建底层支撑的通用知识库，还是直接面向推荐、风控、决策等领域的上层应用，读者都能通过本书快速掌握知识图谱技术，找到实际项目的切入点。

——鲍捷 文因互联创始人