复杂数据质量控制技术

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。高维性、非结构性、多模态性等是大数据复杂性的具体表现，数据复杂性直接加剧了模型和算法的复杂性，进而导致技术的复杂性。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。

国防科技大学信息质量研究组(Information Quality Research Group，IQRG)成立于2008年，以结合我国信息环境特点系统开展数据质量控制与数据治理研究和实践为己任，随着相关工作推进至深水区，我们对国内数据资源建设现状及面临的真正挑战体会愈深。

2008年以来，信息质量研究组陆续出版了译著《数据质量工程实践》(2010年11月)、《信息质量》(2013年3月)和《数据质量改进实践指南》(2016年8月)，后两者得到了装备科技译著出版基金的资助。三本译著对国内普及数据质量理论与实践体系、提升数据质量认知发挥了积极作用。为了有计划地推出研究成果，立足我国信息环境特点，逐步构建数据治理与应用理论技术体系，2016年上半年，受国防工业出版社之邀，信息质量研究组启动了“大数据治理与应用丛书”的出版工作，译著《数据质量改进实践指南》是丛书的开卷，随后又出版了专著《数据质量导论》(2017年10月)、译著《数据与信息质量： 维度、原理和技术》(2022年8月)。

本书聚焦于复杂数据的质量控制技术，包括《数据质量导论》出版后信息质量研究组取得的主要研究进展，是丛书第4个成员。

本书分为6部分，共24章。本书除第1部分、第6部分外，其他各部分甚至各章支持读者按需选择阅读，使读者快速获取感兴趣的知识，以提升本书的使用效率。

本书由曹建军全面筹划，负责第1部分概述(第1、2章)、第6部分结束语(第24章)的撰写工作，并参与了其他各章的研究撰写； 在第2部分实体分辨技术(第3~13章)中，刘艺负责第3~6章的研究撰写，尚玉玲负责第7~9章的研究撰写，周星负责第10章的研究撰写，郑奇斌负责第11~13章的研究撰写； 在第3部分真值发现技术(第14~18章)中，冯钦负责第14、15章的研究撰写，常宸负责第16~18的研究撰写； 周金陵负责第4部分基于数据依赖的数据质量控制技术(第19~21章)的研究撰写； 第5部分系统与平台(第22、23章)由翁年凤负责研究撰写； 谭明超参加了第2章、第9章的研究撰写。聂子博、余旭、王孟大参加了部分材料收集整理的工作，盛艳萍负责了部分格式调整的工作。刁兴春对全书内容进行了审校。

本书出版得到了信息质量研究组瞿雷、汪挺、江春、袁震、严浩、丁鲲、蒋国权、王芳潇、张慧、许永平、彭琮、周晓磊、张骁雄、范强、刘茗、刘姗姗等其他成员的支持和帮助。

在本书内容的研究撰写过程中，广泛参考了国内外相关成果，并与多家兄弟科研团队及多位专家同仁进行了有益的长期交流研讨，在此一并致以诚挚的谢意。

受水平所限，书中难免有错误和不妥之处，恳请广大读者批评指正，并欢迎与作者直接交流。

作者2023年1月

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。 全书分为6部分，共24章。第1部分概述(第1、2章)，综述所研究数据控制技术的基本概念和任务定位，以及国内外的研究进展； 第2部分实体分辨技术(第3~13章)，研究了高维数据实体分辨、名称分辨、XML数据实体分辨和跨模态数据实体分辨等； 第3部分真值发现技术(第14~18章)，研究了单真值发现、多真值发现、文本数据真值发现，以及基于多蚁群优化和基于深度神经网络的真值发现等； 第4部分基于数据依赖的数据质量控制技术(第19~21章)，研究了数据录入辅助预测与推理方法、不一致数据检测与修复方法，以及有限先验知识下的全局数据质量评估； 第5部分系统与平台(第22、23章)，介绍了数据质量控制系统，以及数据治理平台的设计与实现； 第6部分结束语(第24章)，归纳总结了当前面临的风险和挑战。 本书务实求新，系统性强，易读性和可操作性好，既可作为数据质量控制与数据治理领域的进阶用书，又可作为数据资源建设与利用、信息技术等相关学科领域的教学参考或工程实践指导用书。

第1部分 概述

复杂性是大数据区别于小数据的本质特性，也是当前大数据质量控制与数据治理面临的核心挑战。本书围绕大数据的复杂性开展研究，旨在探索当前数据资源建设与利用过程中面临的挑战和技术难题，促进数据价值的充分释放。 全书分为6部分，共24章。第1部分概述(第1、2章)，综述所研究数据控制技术的基本概念和任务定位，以及国内外的研究进展； 第2部分实体分辨技术(第3~13章)，研究了高维数据实体分辨、名称分辨、XML数据实体分辨和跨模态数据实体分辨等； 第3部分真值发现技术(第14~18章)，研究了单真值发现、多真值发现、文本数据真值发现，以及基于多蚁群优化和基于深度神经网络的真值发现等； 第4部分基于数据依赖的数据质量控制技术(第19~21章)，研究了数据录入辅助预测与推理方法、不一致数据检测与修复方法，以及有限先验知识下的全局数据质量评估； 第5部分系统与平台(第22、23章)，介绍了数据质量控制系统，以及数据治理平台的设计与实现； 第6部分结束语(第24章)，归纳总结了当前面临的风险和挑战。 本书务实求新，系统性强，易读性和可操作性好，既可作为数据质量控制与数据治理领域的进阶用书，又可作为数据资源建设与利用、信息技术等相关学科领域的教学参考或工程实践指导用书。

本书内容丰富，详细介绍了数据资源建设与利用，以及最新的信息技术。