大数据技术原理与应用

图书标准信息

• 作者 程秀峰；严中华
• 出版社 科学出版社
• 出版时间 2022-10
• 版次 1
• ISBN 9787030729576
• 定价 78.00元
• 装帧 平装
• 开本 16开
• 页数 268页
• 字数 422千字

【内容简介】

本书从大数据基础原理、大数据分析方法和大数据行业应用三个部分介绍大数据技术。全书共12章，内容包含大数据的基本概念，分布式基础架构Hadoop，分布式文件系统HDFS，NoSQL数据库，分布式计算框架MapReduce，大数据基本分析方法（聚类、分类与预测），大数据在搜索引擎、推荐系统以及其他行业的应用。本书在前7章设置8个实验，帮助读者初步掌握大数据技术、大数据分析与大数据应用的相关知识与操作技能。

【目录】

前言

章  大数据概述

1.1  什么是大数据

1.1.1  关于大数据的预言

1.1.2  触发大数据产生的三种技术

1.1.3  大数据形成中遇到的问题及解决方案

1.1.4  各方对大数据的定义

1.2  大数据的类型与特征

1.2.1  按照数据结构分类

1.2.2  按照生产主体分类

1.2.3  按照作用方式分类

1.2.4  大数据的特征

1.3  大数据的思维方式

1.4  大数据的技术流程

1.4.1  体处理流程

1.4.2  数据采集与数据预处理

1.4.3  数据存储

1.4.4  数据分析与数据挖掘

1.5  主流的大数据台

1.5.1  hadoop

1.5.2  spark

1.5.3  storm

1.5.4  flink

1.5.5  主流的大数据台比较

1.6  大数据集群的部署方式

1.6.1  分布式

1.6.2  云架构

1.7  实验1：熟悉虚拟环境、linux、java

1.7.1  安装vmware

1.7.2  linux基本命令

1.7.3  在linux中安装java环境

1.8  题与思

第2章  分布式基础架构hadoop

2.1  什么是hadoop

2.2  hadoop的发展历史

2.3  hadoop的基本特

2.4  深入了解hadoop

2.4.1  hadoop的体系结构

2.4.2  hadoop的并行开发

2.4.3  hadoop的生态系统

2.5  hadoop与其他技术和框架

2.5.1  hadoop与关系型数据库

2.5.2  hadoop与云计算

2.6  实验2：快速搭建hadoop集群环境

2.6.1  准备工作

2.6.2  安装配置虚拟机

2.6.3  配置固定ip并测试

2.6.4  克隆虚拟机

2.6.5  配置ssh无密码登录

2.6.6  配置时间同步服务

2.6.7  安装k

2.6.8  上传、解压hadoop安装包

2.6.9  配置hadoop

2.6.10  启动集群

2.6.11  查看集群监控

2.7  题与思

第3章  分布式文件系统hdfs

3.1  什么是hdfs

3.1.1  文件系统和计算机集群

3.1.2  分布式文件系统

3.1.3  hdfs

3.1.4  hdfs的优点和缺点

3.2  hdfs中的概念

3.2.1  块

3.2.2  三级寻址和元数据

3.2.3  命名空间

3.2.4  名称节点

3.2.5  第二名称节点

3.2.6  数据节点

3.2.7  客户端

3.2.8  心跳机制

3.2.9  块缓存

3.3  hdfs的存储

3.3.1  冗余存储机制

3.3.2  数据存取策略

3.3.3  数据的错误与恢复

3.4  hdfs的数据读写过程

3.4.1  rpc实现流程

3.4.2  文件的读流程

3.4.3  文件的写流程

3.5  hdfs的命令、界面及api

3.5.1  hdfs的主要命令

3.5.2  hdfs的web界面

3.5.3  hdfs常用的java api

3.6  实验3：hdfs编程实践

3.6.1  在eclie中创建项目

3.6.2  为项目添加需要用到的jar包

3.6.3  编写java应用程序

3.6.4  编译运行程序

3.6.5  应用程序的部署

3.7  题与思

第4章  nosql数据库

4.1  关系型数据库

4.1.1  关系模型

4.1.2  设据库

4.1.3  使用数据库

4.1.4  数据库恢复和数据保护

4.2  非关系型数据库nosql

4.2.1  关系型数据库和nosql的比较

4.2.2  nosql的基础理论

4.3  nosql数据库的分类

4.3.1  列族数据库

4.3.2  键值数据库

4.3.3  文档数据库

4.3.4  图数据库

4.3.5  四种nosql数据库的比较

4.4  列族数据库—hbase

4.4.1  hbase概述

4.4.2  hbase的数据模型

4.4.3  hbase的实现

4.4.4  hbase的系统架构

4.5  实验4：hbase的基本作

4.5.1  hbase的安装

4.5.2  hbase的配置

4.5.3  使用shell命令作hbase

4.5.4  用程序作hbase

4.6  文档数据库monb

4.6.1  monb概述

4.6.2  monb的体系结构

4.6.3  monb的数据类型

4.7  实验5：monb的基本作

4.7.1  monb的安装

4.7.2  monb的基本作

4.7.3  monb的索引作

4.7.4  monb的聚合作

4.8  题与思

第5章  mapreduce

5.1  什么是mapreduce

5.1.1  mapreduce模型

5.1.2  mapreduce函数

5.2  mapreduce的体系架构

5.2.1  mapreduce的工作主体

5.2.2  mapreduce的工作流程

5.2.3  mapreduce的执行过程

5.2.4  map任务和reduce任务

5.3  shuffle的具体过程

5.3.1  shuffle过程简介

5.3.2  输入数据和执行map任务

5.3.3  partition作

5.3.4  sort作

5.3.5  bine作

5.3.6  merge作

5.4  mapreduce的数学应用

5.4.1  在关系代数运算中的应用

5.4.2  分组与聚合运算

5.4.3  矩阵-向量乘

5.4.4  矩阵乘

5.5  题与思

第6章  mapreduce实践案例

6.1  实验6：wordcount

6.1.1  实验需求

6.1.2  实验设计

6.1.3  执行过程

6.1