数字人文领域知识图谱构建方法与实践

第1章绪论社会经济生活的方方面面以更细粒度的数据形式呈现出来，通过数据世界，人们可以更加清晰地观察和了解社会经济活动情境。数据在众多行业展示出具大的经济价值，对海量数据和信息进行快速收集、挖掘、研判与共享，对于提高生产力、竞争力、创新能力起到关键的作用。传统的管理转向或正在转向基于数据的管理，传统的决策转向或正在转向基于数据的决策［4］。作为集成了社会、经济、文化、政治等多维“镜像”的数据，也为社会治理提供了重要的数据基础，能够助力社会治理和治理模式创新，通过开放政府数据将进一步促进数据价值的有效释放，产生更大的社会效益和经济效益。数据不仅改善了各行各业的数据资源利用能力和管理决策水平，也为科技创新带来了更加旺盛的生命力，大数据在改变传统生产经营模式、驱动传统产业转型升级方面发挥着至关重要的作用。数据作为一种新的生产要素，已经成为推动经济发展、社会治理和科技创新的一类重要基础性战略资源。如今，数字竞争力已经成为国家综合竞争力的重要内容，世界各国政府对此都高度重视，密集出台支持大数据的各项行动计划，积极应对大数据环境下的各类挑战。我国在2014年首次将“大数据”写入政府工作报告后，系统部署大数据发展工作，将发展大数据上升为国家战略，政府数据开放共享、数据流通与交易、利用大数据保障和改善民生等概念已深入人心。特别是2020年以来的新冠肺炎疫情为各产业和全社会加速数字化转型提供了特殊的契机，在全民共同参与构建社会治理新格局的大背景下，新兴数字科技手段在疫情监测、诊断治疗、防控救治、资源调配等诸多方面显示了巨大的应用价值，同时带动了在线教育、在线娱乐、远程办公、在线医疗、生鲜电商等新业态的创新发展。大数据作为社会经济生活的片段记录，蕴含着极为丰富和有用的信息。当然，数据的超大规模及其新的特征也使得从中获取有用的知识极具挑战性［5］。第一，是割裂的多源异构数据。需要处理的数据可能来自领域数据库、知识库或者Web页面的开放信息，具有多源异构的特点。并且，这些数据在物理上分散存放于不同的系统中，造成了各种数据孤岛，给大数据分析处理带来巨大挑战。第二，从数据规模来看，数据的规模越大，提供的有价值的信息通常越多，但是对数据的存储和处理的要求也就越高，甚至可能超出了数据存储和处理的能力范围。第三，是跨媒体、跨语言的关联。比如，图片、视频、音频数据与文本数据之间存在着关联，不同语种的数据之间存在着关联，如何自动识别和利用这些跨媒体、跨语言的关联是有待探索的问题。第四，实体和关系具有动态演化性，这一特性给实体和关系的判别增加了难度，容易带来数据不一致的问题，这对实体和关系的建模提出了更高的要求。第五，是知识的隐含性。大量的知识不是显式的，而是隐含在海量的信息中，需要对相应数据和信息进行深入理解、抽象和归纳，才能获得具有一般性的知识。大数据知识服务是大数据生态系统的核心。知识服务对知识组织有很高的要求，强调数据间的有机联系，尤其要求通过数据间的联系形成相关知识。面对多源异构、组织松散的数据，需要根据大数据环境下的知识组织原则，去探索既符合网络信息资源发展变化又适应人类认知需求的知识互联方法。随着互联网数据的规模和复杂性的快速增长，人们开发了各种知识库用来实现智能化语义检索，使用计算机帮助人们自动地、智能化地组织和管理信息。DBpedia、YAGO、Freebase都是典型的以互联网资源为基础的大规模知识库，它们利用语义网技术与众多知识库建立关联，构成了规模巨大的关联数据网络。伴随着关联数据的迅速增长，知识图谱（knowledge graph）应运而生。知识图谱吸收了语义网、本体在知识组织和表达方面的理念，使知识更易于在计算机之间、计算机与人之间交换和流通。知识图谱作为一种技术体系，是指大数据时代知识工程的一系列代表性技术的综合［6］。知识图谱使用本体对领域知识进行语义知识表示，同时使用机器学习、自然语言处理技术等对资源中的知识要素进行提取，实现数据化及语义化，促成知识的共享与重用，并使与其他各种来源的知识相融合成为可能。在基于语义的数据融合的基础上，获取新的概念或认识，进行对比与统计分析，揭示各实体之间的关系，发掘隐含在其背后的规律。目前，知识图谱在学术界和产业界已经成为一个热门的研究领域，国务院2017年颁布的《新一代人工智能发展规划》中也特别强调将知识图谱列作重点攻关方向。作为人们访问知识和信息的接口，知识图谱在智能时代必将扮演越来越重要的角色。如何根据业务需求设计实现知识图谱应用，并基于数据特点进行优化调整，是知识图谱应用研究的关键内容。目前，知识图谱在互联网、金融、医疗和电子商务等领域得到了较多的关注和探索，通过快速检索信息、发现关联，提供有价值的决策支持。各行业正在试图通过积累的大数据，借助知识图谱来完成数据价值的变现，时代发展赋予了知识图谱助力行业智能化升级与转型的历史使命。