图解大数据分析

第1章 大数据分析概述

1.1 大数据和分布式处理

网络的普及导致了大量数据的增加 002

1.2 非结构化数据的增加和机器学习

分析文本、声音、图像等数据 006

1.3 大数据分析系统

在分布式处理与机器学习驱动下将数据利润化 010

1.4 企业中大数据活用的各个阶段

大数据分析要从一小步开始 014

1.5 活用大数据分析时所需的三个角色

数据业务员、科学分析员、工程技术员 020

1.6 工程技术员的价值在哪里

为什么完成了验证实验后仍然无法实现真正的系统化 026

第2章 大数据分析系统的结构

2.1 整体结构概述

数据的收集、积累、活用 032

2.2 数据的生成和收集

利用业务系统生成数据，利用分析系统收集数据 036

2.3 数据的积累

数据池与数据仓库 040

2.4 数据的活用

应用于企业决策和增加利润 044

第3章 分布式处理的基础知识

3.1 对瓶颈问题的分析

系统性能上的一些问题 048

3.2 上述三种瓶颈以外的与性能相关的问题

内存枯竭，以及没有瓶颈但性能仍然很差的原因 052

3.3 分布式存储

消除磁盘瓶颈的技术 056

3.4 分布式计算

消除处理器瓶颈的技术 060

3.5 分布式系统的网络

消除网络的瓶颈 064

3.6 资源管理器

支撑分布式处理的资源管理 068

3.7 分布式处理的开发方式

Hadoop、自行开发、云服务 070

第4章 机器学习的基础知识

4.1 机器学习

对变换成向量的数据进行处理的函数 076

4.2 数据的准备和预处理

机器学习的开发过程（前篇） 082

4.3 模型预估与系统化

机器学习的开发过程（中篇） 086

4.4 正式发布与性能提升

机器学习的开发过程（后篇） 090

4.5 深度学习

引发机器学习热潮的火种 094

4.6 机器学习工具

工程师必备的几个重要工具 098

4.7 科学分析员与工程技术员的不同角色

系统化与数据准备等大量的工作 104

第5章 大数据的收集

5.1 批数据收集和流数据收集

数据收集的种类 108

5.2 文件数据的收集与文件格式

文件形式数据的收集 112

5.3 基于SQL的数据收集

从数据库中收集数据（前篇） 116

5.4 基于数据输出和同步更新日志的数据收集

从数据库中收集数据（后篇） 120

5.5 API数据收集与刮擦收集

其他的批数据收集方式 124

5.6 批数据收集的开发方法

可以利用ETL软件制品也可以自行开发 128

5.7 分布式队列与流处理

流数据收集概述 132

5.8 流数据收集中的分布式队列

了解分布式队列的特性 136

5.9 生产者、分布式队列和消费者

流数据收集的开发方法 140

5.10 应对数据结构的变化

数据结构会随着业务的发展而变化 143

第6章 大数据的积累

6.1 数据池与数据仓库

要分别准备好原始数据和用于分析的数据 148

6.2 分析型数据库

操作型数据库与分析型数据库的不同之处 152

6.3 面向列的数据格式化

在列方向上压缩数据后实现分析处理的高速化 156

6.4 SQL on Hadoop

分析型DB的选择方法（前篇） 160

6.5 DWH制品

分析型DB的选择方法（后篇） 166

第7章 大数据的活用

7.1 数据市场

根据不同目的来加工数据 172

7.2 即席分析

可以自主地分析数据并进行决策 178

7.3 构筑即席分析环境

支持数据利用者和进行资源管理的必要性 182

7.4 数据可视化

任何人都可以基于数据做出决策 186

7.5 数据应用程序

互联网企业的活用案例 190

第8章 元数据的管理

8.1 整体概念和静态元数据

元数据管理（前篇） 194

8.2 动态元数据和元数据管理的实现方法

元数据管理（后篇） 198

8.3 数据结构管理

如何定义数据 202

8.4 数据沿袭管理

数据从何而来，又去往何处 208

8.5 数据新鲜度的管理

表明这是什么时候的数据 212

后记 216

本书通过大量的绘图和详细的说明，从技术层面以简单易懂的形式讲述大数据分析。这是一本从系统结构搭建到实际开发逐步推进的教科书。

书中的知识点包括大数据分析时所需的分布式处理、机器学习，以及分布式存储、分布式计算、开发时可能遇到的瓶颈，还包括大数据的收集、积累、活用以及元数据的使用与管理等。

本书适合大数据领域的广大爱好者、商务人士和工程技术人员用于了解、学习、掌握、运用大数据技术进行大数据分析，也适合作为该领域的职业院校和高校本科相关专业的教材及研究生辅助教材。