大数据质量

图书标准信息

• 作者 蔡莉、朱扬勇 著
• 出版社 上海科学技术出版社
• 出版时间 2017-01
• 版次 1
• ISBN 9787547833742
• 定价 60.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 240页
• 字数 350千字
• 正文语种 简体中文
• 丛书 大数据技术与应用

【内容简介】

　　数据作为一种基础性与战略性资源得到了广泛认可，数据服务成为很多组织和机构日常运营中必不可少的重要环节。当下，数据质量在理论越来越受到关注，不仅是制约数据产业发展的关键问题，也是大数据应用研究中绕不开的重大问题。《大数据质量》汇集了国内外数据质量研究的经典理论、技术和方法，以及新的前沿发展趋势；首先介绍了传统数据质量研究的各种代表性成果，并在此基础上，分析大数据时代下数据质量面临的挑战，并详细介绍基于大数据的数据质量相关技术的实现；最后，通过一个实际案例，提出一套完整的大数据质量解决方案。

【作者简介】

　　蔡莉，副教授，云南大学软件学院网络工程系副系主任，中国计算机学会西南网路与MIS专委会委员，昆明市仪器仪表学会理事。在软件学院工作期间，参与和主持省级和市级等教学和科研项目20余项，总计金额为200余万元。同时，在国际会议和国内核心期刊上发表30余篇论文，多篇被EI和ISTP检索。出版教材2部，拥有3个软件著作权。2004年获得IBM优秀教师奖，2008年获得IBM奖教金，2014年获得IBM产学合作专业综合改革项目支持。

　　朱扬勇，复旦大学教授、博士生导师，数据科学研究中心主任、上海市政府信息化专家委员会专家。致力于数据科学与技术、数据挖掘及其应用等领域。主持过国家自然科学基金、国家863项目、上海市科委重点等多项数据挖掘领域的研究课题。

【目录】

第1章理解数据质量1

●1.1数据质量问题2
1.1.1数据质量带来的影响2
1.1.2影响数据质量的因素4

●1.2数据质量概述7
1.2.1数据质量定义7
1.2.2大数据时代数据质量面临的挑战8

●1.3数据质量与信息质量10
1.3.1从数据质量到信息质量的发展历程11
1.3.2数据质量与信息质量的区别与联系12
参考文献14第2章数据质量标准17

●2.1ISO 8000国际标准18
2.1.1ISO 8000的历史与现状18
2.1.2ISO/TS 8000100系列概述20
2.1.3ISO/TS 8000100主数据质量22
2.1.4ISO 22745： 2010概述24

●2.2地理信息质量标准ISO 1910028
2.2.1地理信息数据质量31
2.2.2地理信息数据质量评价33

●2.3统计数据质量标准35
2.3.1国际统计数据标准概述35
2.3.2IMF的数据公布通用标准（GDDS）36
2.3.3IMF的数据公布特殊标准（SDDS）38

●2.4科学数据质量标准39
2.4.1科学数据标准规范39
2.4.2科学数据质量框架43
参考文献44第3章数据分类及数据模型47

●3.1数据类型及分类48
3.1.1数据类型48
3.1.2数据分类49

●3.2结构化数据模型51
3.2.1概念模型51
3.2.2逻辑模型53

●3.3半结构化和非结构化数据模型56
3.3.1XML语言57
3.3.2半结构化数据模型——数据和数据质量（D2Q）模型67
3.3.3非结构化数据模型——四面体模型71
参考文献79第4章数据质量相关技术81

●4.1数据集成82
4.1.1数据仓库的基本概念82
4.1.2数据仓库的体系架构83
4.1.3数据仓库的元数据87

●4.2数据剖析89
4.2.1数据剖析的方法89
4.2.2数据剖析实例92

●4.3数据清洁95
4.3.1数据清洁概述95
4.3.2“脏”数据的来源96
4.3.3数据清洁的原理与框架97
4.3.4数据清洁工具100
4.3.5大数据环境下的数据清洁102

●4.4数据溯源105
4.4.1数据溯源的基本概念105
4.4.2数据溯源的分类106
4.4.3数据溯源模型107
4.4.4数据溯源的方法109
4.4.5数据溯源的应用111
4.4.6大数据溯源111
参考文献115第5章数据质量评估121

●5.1数据质量维度122
5.1.1数据质量维度定义122
5.1.2常用的数据质量维度123
5.1.3其他的数据质量维度126
5.1.4质量维度度量127

●5.2数据质量评估框架130
5.2.1DQAF框架131
5.2.2AIMQ框架133
5.2.3DQA框架136

●5.3数据质量评估方法137
5.3.1定性评估137
5.3.2定量评估138
5.3.3综合评估140

●5.4数据质量评估案例——媒体信息可信度质量评估152
5.4.1背景概述152
5.4.2媒体信息可信度评价指标体系153
5.4.3媒体信息可信度的综合评价模型154
5.4.4实验过程及结果分析160
参考文献163第6章数据质量管理167

●6.1质量管理168
6.1.1质量管理发展历程168
6.1.2全面质量管理170

●6.2数据质量管理概述171
6.2.1数据质量管理方法172
6.2.2数据质量知识库管理173
6.2.3MIT全面数据质量管理175

●6.3数据质量管理团队建设176
6.3.1任命首席数据官177
6.3.2建立数据质量管理团队178

●6.4质量管理成熟度模型179
6.4.1信息质量管理成熟度模型180
6.4.2数据质量管理成熟度模型181
参考文献184第7章位置大数据中的质量研究187

●7.1概述188
7.1.1位置大数据的来源188
7.1.2位置大数据的应用领域196

●7.2位置大数据面临的质量问题198
7.2.1GPS轨迹数据的质量问题198
7.2.2签到数据的质量问题199
7.2.3手机定位数据的质量问题200
7.2.4智能公交IC卡数据的质量问题201
7.2.5OSM地图数据的质量问题202

●7.3位置大数据的质量评估模型203
7.3.1GPS轨迹数据的质量评估模型203
7.3.2签到数据的质量评估模型205
7.3.3手机定位数据的质量评估模型206
7.3.4OSM地图数据的质量评估模型207
7.3.5基于云平台的位置大数据质量评估系统211

●7.4位置大数据质量控制214
7.4.1位置大数据清洁214
7.4.2位置大数据质量控制215
7.4.3OSM地图数据质量保证217
参考文献221