【现货速发】大数据治理与安全

党的二十大报告中指出： 教育、科技、人才是全面建设社会主义现代化国家的基础性、战略性支撑。必须坚持科技是第一生产力、人才是第一资源、创新是第一动力，深入实施科教兴国战略、人才强国战略、创新驱动发展战略，这三大战略共同服务于创新型国家的建设。高等教育与经济社会发展紧密相连，对促进就业创业、助力经济社会发展、增进人民福祉具有重要意义。

信息技术的快速发展引发了数据规模的爆炸式增长，大数据引起了国内外学术界、工业界和政府部门的高度重视，被认为是一种新的非物质生产要素，蕴含巨大的经济和社会价值，并将导致科学研究的深刻变革，对国家的经济发展、社会发展、科学进展具有战略性、全局性和长远性的意义。

数据为人类社会带来机遇的同时也带来了风险，围绕数据产权、数据安全和隐私保护的问题也日益突出，并催生了一个全新的命题——数据治理。综合来看，数据治理是指从使用零散数据变为使用统一数据、从具有很少或没有组织流程到企业范围内的综合数据管控、从数据混乱状况到数据井井有条的一个过程。随着大数据在各个行业领域应用的不断深入，数据作为基础性战略资源的地位日益凸显，数据标准化、数据确权、数据质量、数据安全、隐私保护、数据流通管控、数据共享开放等问题越来越受到国家、行业、企业各个层面的高度关注，这些内容都属于数据治理的范畴。因此，数据治理的概念越来越多地受到人们关注，成为目前大数据产业生态系统中的新热点。

本书以理论与实践操作相结合的方式深入讲解了大数据治理与安全的基本知识和实现的基本技术，在内容设计上既有上课时老师的讲述部分，包括详细的理论与典型的案例，又有大量的实训环节，双管齐下，极大地激发了学生在课堂上的学习积极性与主动创造性，让学生在课堂上跟上老师的思维，从而学到更多有用的知识和技能。

本书共9章，主要包括数据治理概述、数据采集与数据道德、数据质量与数据管理、数据交换与数据集成、数据库设计与治理、架构设计与治理、数据仓库设计与治理、大数据安全与治理及综合实训。

本书的特色如下： 

（1） 采用“理实一体化”教学方式，课堂上既有老师的讲述,又有学生独立思考、上机操作的内容。

（2） 紧跟时代潮流，注重技术变化，书中包含最新的大数据治理知识及一些开源库的使用。建议读者在阅读本书前具备一定程度的大数据基础知识，了解Hadoop框架，并熟悉一门编程语言。此外，读者在阅读本书时还需安装MySQL及Kettle等相关软件。

（3） 编写本书的老师都具有多年的教学经验，能够激发学生的学习热情。

（4） 为便于教学，本书提供丰富的配套资源，包括教学大纲、教学课件、习题答案、程序源码、教学进度表和在线作业。

资源下载提示

课件等资源： 扫描封底的“课件下载”二维码，在公众号“书圈”下载。

素材（源码）等资源： 扫描目录上方的二维码下载。

在线作业： 扫描封底的作业系统二维码，登录网站在线做题及查看答案。

本书可作为高等院校大数据专业、人工智能专业、软件技术专业、云计算专业、计算机网络专业的专业课教材，也可作为大数据爱好者的参考书。

本书的建议学时为54学时，具体分布如下表所示。

章建议学时

数据治理概述2

数据采集与数据道德8

数据质量与数据管理8

数据交换与数据集成6

数据库设计与治理8

架构设计与治理6

数据仓库设计与治理6

大数据安全与治理6

综合实训4

本书由黄源任主编，龙颖、吴文灵、杨瑞峰任副主编。其中，黄源编写了第1~7章； 龙颖编写了第9章； 吴文灵和杨瑞峰共同编写了第8章。全书由黄源负责统稿工作。

本书在编写过程中得到了中国电信金融行业信息化应用重庆基地总经理助理杨琛的大力支持，在此表示感谢。另外，在本书编写过程中编者参阅了大量的资料，在此对相关作者表示感谢。

由于编者水平有限，书中难免出现疏漏之处，希望广大读者批评、指正。

编者2023年7月于重庆

本书的编写目的是向读者介绍大数据治理与安全的基本概念和相应的技术应用。本书共9章，内容分别为数据治理概述、数据采集与数据道德、数据质量与数据管理、数据交换与数据集成、数据库设计与治理、架构设计与治理、数据仓库设计与治理、大数据安全与治理及综合实训。本书将理论与实践操作相结合，通过大量的案例帮助读者快速了解和应用大数据治理的相关技术，并对书中重要的、核心的知识点加大练习的比例，以达到帮助读者熟练应用的目的。 本书可作为高等院校大数据专业、人工智能专业、软件技术专业、云计算专业、计算机网络专业的专业课教材，也可作为大数据爱好者的参考书。

第1章数据治理概述

1．1数据治理简介

1．1．1认识数据治理

1．1．2人工智能下的数据治理

1．2数据治理领域

1．3数据治理项目的实施

1．4本章小结

1．5实训

习题1

第2章数据采集与数据道德

2．1数据采集基础

2．1．1数据采集介绍

2．1．2数据采集的类型

2．1．3数据采集的方式

2．2数据采集平台

2．2．1数据采集平台概述

2．2．2数据采集平台实例

2．3网络爬虫

2．3．1爬虫概述

2．3．2Python爬虫的相关技术

2．3．3Python爬虫的实现流程

2．4人工智能时代的法律问题与伦理道德

2．4．1数据带来的法律问题

2．4．2使用网络爬虫爬取数据的法律风险与合规建议

2．4．3数据伦理与道德

2．5本章小结

2．6实训

习题2

第3章数据质量与数据管理

3．1数据质量与数据质量管理概述

3．1．1数据质量

3．1．2数据质量管理

3．2数据标准

3．2．1数据标准介绍

3．2．2数据标准的建设

3．3主数据与元数据

3．3．1主数据介绍

3．3．2元数据概述

3．3．3元数据管理

3．4本章小结

3．5实训

习题3

第4章数据交换与数据集成

4．1数据交换

4．1．1数据交换概述

4．1．2数据交换中的常见格式

4．1．3API与数据交换

4．2数据交换平台及应用

4．2．1数据交换平台

4．2．2数据交换平台的应用

4．3数据集成

4．3．1数据集成介绍

4．3．2数据集成模式

4．3．3数据集成方法

4．4本章小结

4．5实训

习题4

第5章数据库设计与治理

5．1数据库概述

5．1．1数据库介绍

5．1．2数据库管理系统

5．1．3数据库系统的结构

5．1．4数据模型

5．1．5关系数据库的设计流程

5．2数据库治理

5．2．1数据库治理概述

5．2．2数据字典设计

5．2．3数据库设计

5．3图谱数据库

5．3．1知识图谱概述

5．3．2知识图谱与图谱数据库

5．4本章小结

5．5实训

习题5

第6章架构设计与治理

6．1认识数据架构

6．1．1数据架构介绍

6．1．2企业架构的核心概念

6．1．3企业架构

6．1．4主流的企业架构

6．1．5ArchiMate语言

6．2架构治理概述

6．2．1治理的分类

6．2．2架构治理的内容

6．3数据治理框架与规划

6．3．1数据治理框架概述

6．3．2数据治理架构规划

6．3．3数据治理顶层架构设计

6．4大数据架构

6．4．1大数据架构简介

6．4．2大数据架构的分类

6．4．3Hadoop架构

6．5本章小结

6．6实训

习题6

第7章数据仓库设计与治理

7．1数据仓库

7．1．1数据仓库概述

7．1．2数据仓库建模

7．1．3数据仓库与ETL

7．2数据仓库规范

7．2．1数据仓库规范概述

7．2．2数据仓库设计规范

7．3Hive数据仓库

7．3．1Hive数据仓库简介

7．3．2Hive的安装与配置

7．3．3Hive常用操作

7．3．4Hive支持的数据类型

7．3．5Hive中的数据库操作

7．3．6Hive中的数据操作

7．4数据湖与数据中台

7．4．1数据湖

7．4．2数据中台

7．5本章小结

7．6实训

习题7

第8章大数据安全与治理

8．1大数据安全

8．1．1大数据安全概述

8．1．2大数据安全中的关键技术

8．2大数据安全体系

8．2．1大数据安全体系概述

8．2．2大数据安全体系的加固措施

8．3大数据安全治理

8．3．1大数据安全治理概述

8．3．2大数据安全治理的关键技术

8．3．3大数据安全治理的开源软件

8．4本章小结

8．5实训

习题8

第9章综合实训

9．1大数据平台的搭建

9．2大数据平台的组件安装

9．3大数据平台的监控

9．4安全算法的研究与应用

本书的编写目的是向读者介绍大数据治理与安全的基本概念和相应的技术应用。本书共9章，内容分别为数据治理概述、数据采集与数据道德、数据质量与数据管理、数据交换与数据集成、数据库设计与治理、架构设计与治理、数据仓库设计与治理、大数据安全与治理及综合实训。本书将理论与实践操作相结合，通过大量的案例帮助读者快速了解和应用大数据治理的相关技术，并对书中重要的、核心的知识点加大练习的比例，以达到帮助读者熟练应用的目的。 本书可作为高等院校大数据专业、人工智能专业、软件技术专业、云计算专业、计算机网络专业的专业课教材，也可作为大数据爱好者的参考书。

本书特色：（1） 采用“理实一体化”教学方式，课堂上既有老师的讲述又有学生独立思考、上机操作的内容；（2）  紧跟时代潮流，注重技术变化，书中包含了最新的大数据治理知识及一些开源库的使用；（3）配套资源丰富，包括教学大纲、教学课件、习题答案、程序源码、教学进度表和在线作业。