大数据安全技术

第1章大数据安全相关技术1

1.1大数据1

1.1.1大数据的定义和特点1

1.1.2大数据的应用2

1.2大数据核心技术与生态圈3

1.2.1大数据核心技术3

1.2.2大数据生态圈7

1.3大数据面临的安全威胁与挑战13

1.3.1安全威胁13

1.3.2安全挑战15

1.4数据的生命周期及安全机制16

1.4.1数据采集阶段16

1.4.2数据传输阶段18

1.4.3数据存储阶段19

1.4.4数据处理阶段21

1.4.5数据交换阶段22

1.4.6数据销毁阶段24

1.5大数据安全框架及安全技术25

1.5.1安全框架25

1.5.2安全技术29

1.6本章小结33

习题33第2章密码技术及网络安全协议34

2.1概述34

2.1.1信息安全属性34

2.1.2密码学的地位和作用35

2.2密码学的基本概念36

2.2.1基本概念36

2.2.2密码算法的分类37

2.3加密算法37

2.3.1分组密码37

2.3.2序列密码40

2.3.3公钥密码42

2.3.4混合加密47

2.4消息认证与Hash函数48

2.4.1消息认证48

2.4.2Hash函数49

2.5数字签名51

2.5.1数字签名的原理51

2.5.2RSA数字签名52

2.6密钥管理技术53

2.6.1密钥分配与密钥协商53

2.6.2DiffieHellman密钥协商算法54

2.6.3公钥基础设施55

2.7网络安全协议57

2.7.1IPSec58

2.7.2SSL/TLS60

2.8本章小结62

习题62第3章大数据平台Hadoop的安全机制64

3.1安全威胁概述64

3.2Hadoop安全机制65

3.2.1基本安全机制65

3.2.2总体安全机制66

3.3Hadoop组件的安全机制67

3.3.1RPC安全机制67

3.3.2HDFS安全机制67

3.3.3MapReduce安全机制70

3.4安全技术工具71

3.4.1系统安全工具71

3.4.2Apache Sentry73

3.4.3Apache Ranger75

3.5Hadoop的安全性分析78

3.5.1Hadoop面临的安全问题78

3.5.2Hadoop生态圈安全风险79

3.5.3Hadoop安全应对80

3.6Hadoop安全技术架构81

3.6.1Hadoop认证授权81

3.6.2Hadoop网络访问安全82

3.6.3Hadoop数据安全84

3.6.4Hadoop安全审计和监控84

3.7本章小结86

习题86第4章身份认证技术88

4.1概述88

4.2身份认证技术介绍89

4.2.1口令认证89

4.2.2消息认证92

4.2.3基于生物特征的认证94

4.2.4多因子认证96

4.3基于Kerberos的身份认证技术实践96

4.3.1Kerberos身份认证方案96

4.3.2Kerberos配置过程100

4.4本章小结105

习题106第5章访问控制技术107

5.1概述107

5.1.1访问控制的术语109

5.1.2访问控制的目标112

5.1.3访问控制的过程112

5.1.4访问控制的等级划分标准112

5.1.5大数据访问控制面临的挑战114

5.2自主访问控制115

5.2.1自主访问控制的定义及特点115

5.2.2自主访问控制策略116

5.2.3自主访问控制模型117

5.3强制访问控制118

5.3.1强制访问控制的定义及特点118

5.3.2强制访问控制策略120

5.3.3强制访问控制模型121

5.4基于零信任的访问控制技术122

5.4.1零信任网络架构123

5.4.2零信任体系架构的逻辑组件124

5.4.3零信任架构的核心能力及访问控制模型126

5.5基于角色的访问控制126

5.5.1基于角色的访问控制基本概念127

5.5.2基于角色的访问控制模型128

5.6基于属性的访问控制132

5.6.1基于属性的访问控制基本概念132

5.6.2基于属性的访问控制模型132

5.7基于数据分析的访问控制技术134

5.7.1角色挖掘技术134

5.7.2风险自适应的访问控制技术137

5.8基于Ranger的访问控制技术实践139

5.8.1实验原理139

5.8.2准备工作140

5.8.3Ranger安装143

5.8.4Ranger访问控制认证144

5.9本章小结146

习题146第6章数据加密技术149

6.1静态数据加密149

6.1.1HDFS透明加密150

6.1.2MapReduce中间数据加密152

6.1.3Impala磁盘溢出加密155

6.1.4磁盘加密157

6.1.5加密文件系统157

6.2动态数据加密158

6.2.1Hadoop RPC加密158

6.2.2HDFS数据传输协议加密160

6.2.3Hadoop HTTPS加密161

6.2.4加密shuffle162

6.3静态数据加密技术实践165

6.3.1HDFS透明加密配置165

6.3.2LUKS加密配置169

6.3.3eCryptfs加密配置171

6.4动态数据加密技术实践173

6.5本章小结176

习题176第7章大数据采集及安全178

7.1概述178

7.2大数据采集179

7.2.1大数据采集技术179

7.2.2数据的违规采集180

7.3数据分类分级181

7.3.1基本概念181

7.3.2基本原则、框架及流程182

7.3.3数据分类185

7.3.4数据分级187

7.4数据采集安全190

7.4.1数据采集安全管理190

7.4.2数据源鉴别及记录191

7.4.3数据质量管理192

7.5本章小结194

习题194第8章大数据存储及安全196

8.1大数据存储方法196

8.1.1分布式文件系统196

8.1.2分布式数据库199

8.1.3云存储203

8.2存储介质安全209

8.2.1存储介质209

8.2.2存储介质安全管理209

8.2.3存储介质监控与审计211

8.2.4存储介质清除技术212

8.3逻辑存储安全213

8.3.1逻辑存储安全管理213

8.3.2技术工具简述215

8.4数据备份与数据恢复217

8.4.1数据备份217

8.4.2数据恢复218

8.5本章小结219

习题219第9章大数据处理及安全221

9.1敏感数据处理221

9.1.1敏感数据的定义及分类221

9.1.2敏感数据识别222

9.1.3敏感数据脱敏223

9.2同态加密225

9.2.1同态加密的相关概念及理论基础226

9.2.2同态加密算法分类227

9.2.3同态加密的应用232

9.3安全多方计算233

9.3.1平均工资问题233

9.3.2安全多方计算模型及实现方式234

9.4联邦学习235

9.4.1联邦学习的定义235

9.4.2联邦学习的系统架构236

9.4.3联邦学习的分类238

9.4.4联邦学习的应用241

9.5私有信息检索244

9.5.1PIR概述244

9.5.2两种PIR协议244

9.5.3PIR协议的取舍245

9.6虚拟化技术及安全246

9.6.1虚拟化技术246

9.6.2容器技术和安全247

9.7基于HElib的全同态加密技术实践254

9.7.1安装配置254

9.7.2HElib库测试与学习256

9.8本章小结259

习题259第10章大数据交换及安全261

10.1概述261

10.2隐私的概念262

10.2.1隐私的定义262

10.2.2隐私的分类262

10.2.3隐私的度量与量化表示263

10.3数据匿名化技术263

10.3.1匿名化263

10.3.2“发布遗忘”模型265

10.4隐私保护模型268

10.4.1K匿名隐私保护模型269

10.4.2l多样性隐私保护模型273

10.4.3T相近隐私保护模型274

10.5差分隐私275

10.5.1差分隐私模型275

10.5.2差分隐私的原理与应用276

10.6数据交换安全标准279

10.6.1数据交换共享安全标准279

10.6.2数据出境安全标准280

10.7本章小结281

习题281第11章大数据算法及安全283

11.1概述283

11.2大数据算法基础284

11.2.1数学模型284

11.2.2搜索引擎算法287

11.2.3推荐算法289

11.2.4机器学习算法292

11.3大数据算法攻击296

11.3.1推荐系统托攻击296

11.3.2搜索引擎优化300

11.3.3对抗机器学习攻击模式302

11.4本章小结306

习题306第12章数据安全与隐私保护相关规范308

12.1国外数据安全与隐私保护308

12.1.1欧盟《通用数据保护条例》308

12.1.2美国《国家安全与个人数据保护法》提案310

12.2我国数据安全与隐私保护311

12.2.1《中华人民共和国网络安全法》311

12.2.2《中华人民共和国数据安全法》312

12.2.3《中华人民共和国个人信息保护法》314

12.2.4《网络数据安全管理条例（征求意见稿）》315

12.2.5《网络安全审查办法》318

12.3本章小结319

习题319参考文献321