大数据技术基础

图书标准信息

• 作者 宋旭东 主编；宋亮 王立娟 张鹏 副主编
• 出版社 清华大学出版社
• 出版时间 2020-08
• 版次 1
• ISBN 9787302557531
• 定价 59.00元
• 装帧 平装
• 开本 16开
• 页数 303页
• 字数 500千字

【内容简介】

本书系统介绍了大数据基础知识和相关技术，全书分为大数据概述篇、大数据存储与管理篇、大数据采集与预处理篇、大数据分析与挖掘篇、大数据平台Hadoop实践与案例分析篇。全书共15章，主要内容包括大数据基本概念、大数据存储与管理概念及技术、大数据采集及预处理技术、大数据计算模式、大数据分布式并行处理框架Hadoop、大数据分布式文件系统HDFS、大数据分布式数据库系统HBASE、大数据Hadoop平台操作实践及具体大数据预测应用案例分析。

【作者简介】

宋旭东，男，博士，大连交通大学软件学院教授，计算机科学与技术、软件工程专业硕士生导师，美国伍斯特理工学院公派访问学者，辽宁省高校很好青年骨，与教育评估评审专家，科研和科技奖励评审专家。主要从事：大数据、人工智能、数据挖掘与决策支持系统等方面的研究工作，具有深厚的理论基础及较为丰富的科研经验。发表科研学术80多篇，出版教材9部，主持及参加过30多项科研项目。

【目录】

篇大数据基础

章大数据基本概念

1.1大数据时代

1.1.1大数据有多大

1.1.2大数据的产生

1.1.3大数据的发展历程

1.1.4大数据对科学研究的影响

1.1.5大数据对思维模式的影响

1.2大数据的定义与特征

1.2.1大数据的定义

1.2.2大数据的数据特征

1.3大数据的应用

1.3.1大数据在科研领域的应用

1.3.2大数据在交通领域的应用

1.3.3大数据在通信领域的应用

1.3.4大数据在医疗领域的应用

1.3.5大数据在金融领域的应用

1.3.6大数据在制造领域的应用

1.3.7大数据在体育领域的应用

1.3.8大数据在个化生活领域的应用

1.3.9大数据在安全领域的应用

1.4大数据框架体系

1.4.1大数据基础设施层

1.4.2大数据采集层

1.4.3大数据存储层

1.4.4大数据处理层

1.4.5大数据交互展示层

1.4.6大数据应用层

1.5大数据关键技术

1.5.1数据采集与预处理技术

1.5.2数据存储与管理技术

1.5.3数据分析与挖掘技术

1.5.4数据可视化技术

1.5.5数据安全和隐私保护技术

1.6大数据支撑技术

1.6.1云计算

1.6.2物联网

1.6.3机器学

题

第2章大数据台hadoop基础

2.1大数据台hadoop概述

2.1.1hadoop简介

2.1.2hadoop项目起源

2.1.3hadoop发展历程

2.1.4hadoop特

2.1.5hadoop主要用途

2.2大数据台hadoop

2.2.1分布式计算

2.2.2mapreduce

2.2.3yarn

2.3大数据台hadoop组件

2.3.1hdfs组件

2.3.2mapreduce组件

2.3.3zookeeper组件

2.3.4yarn组件

2.3.5hbase组件

2.3.6hive组件

2.3.7spark组件

2.3.8mahout组件

2.3.9flume组件

2.3.10sqoop组件

2.3.11kafka组件

2.3.12pig组件

2.3.13ambari组件

2.3.14tez组件

2.3.15mon组件

题

第二篇大数据存储与管理

第3章大数据存储与管理基本概念

3.1大数据的数据类型

3.1.1结构化数据

3.1.2半结构化数据

3.1.3非结构化数据

3.2数据管理技术的发展

3.2.1文件系统阶段

3.2.2数据库系统阶段

3.2.3数据仓库阶段

3.2.4分布式系统阶段

3.3分布式系统基础理论

3.3.1cap理论

3.3.2base思想

3.4nosql数据库

3.4.1nosql数据库的兴起

3.4.2nosql数据库与关系数据库的比较

3.4.3nosql数据库的四大类型

3.5大数据存储与管理技术

3.5.1分布式存储技术

3.5.2虚拟化技术

3.5.3云存储技术

题

第4章大数据分布式文件系统

4.1hdfs概述

4.1.1hdfs简介

4.1.2hdfs设计特点

4.2hdfs工作

4.2.1hdfs体系结构

4.2.2hdfs工作组件

4.3hdfs工作流程

4.3.1读数据的过程

4.3.2写数据的过程

4.4hdfs基本作

4.4.1hdfs文件作

4.4.2hdfs管理命令

4.5hdfs编程接

4.5.1hdfs常用java api

4.5.2hdfs api编程实例

题

第5章大数据分布式数据库系统hbase

5.1hbase概述

5.1.1hbase简介

5.1.2hbase特

5.1.3hbase与传统关系数据库对比

5.1.4hbase应用场景

5.2hbase数据模型

5.2.1hbase数据模型术语

5.2.2hbase数据逻辑模型

5.2.3hbase数据物理模型

5.3hbase工作

5.3.1hbase体系结构

5.3.2hbase工作组件

5.4hbase作命令

5.4.1hbase表作

5.4.2hbase数据作

5.5hbase编程接

5.5.1hbase常用java api

5.5.2hbase api编程实例

题

第6章大数据分布式数据仓库系统hive

6.1hive概述

6.1.1hive特

6.1.2hive工作

6.1.3hive执行流程

6.2hive数据类型及数据模型

6.2.1hive数据类型

6.2.2hive数据模型

6.3hive sql查询语法

6.3.1ddl语句

6.3.2dml语句

6.3.3dql语句

6.3.4hive实例作

6.4hive访问接

6.4.1hive cli访问接

6.4.2bc访问接

题

第三篇大数据采集与预处理

第7章大数据采集与预处理技术

7.1数据抽取、转换、加载技术

7.1.1etl概述

7.1.2数据抽取

7.1.3数据转换

7.1.4数据加载

7.1.5etl工具

7.2数据爬虫技术

7.2.1爬虫流程

7.2.2爬虫分类

7.2.3大数据爬虫技术

7.3数据预处理技术

7.3.1数据清理

7.3.2数据集成

7.3.3数据变换

7.3.4数据归约

题

第8章大数据采集工具

8.1sqoop关系型大数据采集系统

8.1.1sqoop简介

8.1.2sqoop工作

8.2flume志大数据采集系统

8.2.1flume简介

8.2.2flume工作

8.3nutch分布式大数据爬虫系统

8.3.1nutch简介

8.3.2nutch工作

题

第四篇大数据分析与挖掘

第9章大数据计算模式

9.1大数据批处理

9.1.1大数据批处理概述

9.1.2大数据批处理常用组件

9.2大数据查询分析计算

9.2.1大数据查询分析计算概述

9.2.2大数据查询分析计算组件

9.3大数据流计算

9.3.1大数据流计算概述

9.3.2大数据流计算组件

9.4大数据迭代计算

9.4.1大数据迭代计算概述

9.4.2迭代计算组件

9.5大数据图计算

9.5.1大数据图计算概述

9.5.2图计算组件

题

0章大数据mapreduce计算模型

10.1mapreduce概述

10.1.1mapreduce简介

10.1.2mapreduce由来

10.1.3mapreduce主要功能

10.1.4mapreduce技术特征

10.2mapreduce模型框架

10.2.1mapreduce设计思想

10.2.2mapreduce模型架构

10.3mapreduce数据处理过程

10.3.1mapreduce运行

10.3.2mapreduce数据输入输出流程

10.4mapreduce程序执行过程

10.4.1作业提交

10.4.2作业初始化

10.4.3作业分配

10.4.4任务执行

10.4.5过程和更新

10.4.6作业完成

10.5mapreduce编程接

10.5.1数据读入

10.5.2mapper类和reduce类

10.5.3数据处理

10.5.4数据输出

10.6mapreduce实例分析

10.6.1wordcount mapreduce设计

10.6.2wordcount编程实现

题

1章大数据spark计算模型

11.1spark概述

11.1.1spark的产生

11.1.2spark的相关概念及其组件

11.1.3spark的特

11.2spark工作

11.2.1rdd

11.2.2spark工作流程

11.2.3spark集群架构及运行模式

11.2.4spark streaming工作

11.3spark访问接

11.3.1spark访问接概述

11.3.2sparkcontext 访问接

11.3.3rdd 访问接

11.4spark实例分析

11.4.1spark shell wordcount编程实现

11.4.2scala wordcount编程实现

11.4.3java wordcount编程实现

题

2章大数据mapreduce基础算法

12.1关系代数运算

12.1.1关系代数运算规则

12.1.2关系代数运算的mapreduce设计与实现

12.2矩阵乘法

12.2.1矩阵乘法

12.2.2矩阵乘法mapreduce设计

12.2.3矩阵乘法mapreduce实现

题

3章大数据挖掘算法

13.1大数据关联分析算法

13.1.1apriori算法简介

13.1.2apriori算法mapreduce设计

13.1.3apriori算法mapreduce实现

13.2大数据knn分类算法

13.2.1knn分类算法简介

13.2.2knn算法mapreduce设计

13.2.3knn算法mapreduce实现

13.3大数据kmeans聚类算法

13.3.1kmeans聚类算法简介

13.3.2基于mapreduce的kmeans算法的设计

13.3.3基于mapreduce的kmeans算法的实现

题

第五篇大数据台hadoop实践与应用案例

4章hadoop大数据台实践

14.1hadoop的安装与配置

14.1.1安装hadoop的准备工作

14.1.2linux虚拟机的安装

14.1.3安装和配置k

14.1.4下载安装hadoop

14.1.5ssh密登录

14.1.6虚拟机克隆

14.1.7hadoop运行

14.1.8查看集群 

14.2hadoop台基本作

14.2.1hadoop启动与关闭命令

14.2.2hadoop文件作

14.2.3hadoop程序运行命令

14.3hadoop台程序开发过程

14.3.1开发环境配置

14.3.2程序开发流程

题

5章开敞式码头系泊作业缆力预测应用案例

15.1开敞式码头系泊作业缆力预测背景描述

15.1.1开敞式码头系泊作业缆力背景描述

15.1.2开敞式码头系泊作业缆力预测背景

15.2大数据系泊缆力相似查询预测方法

15.2.1模糊相似查询基本方法

15.2.2系泊缆力相似查询预测模型

15.3相似查询预测方法mapreduce设计

15.3.1相似查询预测方法map设计

15.3.2相似查询预测方法reduce设计

15.4相似查询预测方法mapreduce实现

15.4.1系泊缆力预测结果展示

15.4.2系泊缆力预测结果分析

6章曙光xdata大数据台及应用案例

16.1曙光xdata大数据台简介

16.1.1曙光xdata大数据台概述

16.1.2曙光xdata大数据台特点及应用

16.2曙光大数据台架构及关键技术

16.2.1曙光xdata大数据台架构

16.2.2曙光xdata大数据台关键技术

16.3曙光xdata大数据台组件

16.3.1曙光xdata大数据集成与数据治理组件

16.3.2曙光xdata大数据存储与数据计算组件

16.3.3曙光xdata大数据分析与数据智能组件

16.3.4曙光xdata大数据可视化分析组件

16.3.5曙光xdata大数据安全管控与管理运维组件

16.4曙光xdata大数据台作实践

16.4.1曙光xdata大数据台安装与配置概述

16.4.2曙光xdata大数据台基本作

16.5基于曙光xdata大数据台的智能交通应用案例

16.5.1曙光xdata智能交通应用项目背景

16.5.2曙光xdata智能交通应用方案设计

16.5.3曙光xdata智能交通功能实现及应用效果

参文献