大数据技术架构：核心原理与应用实践(博文视点出品)

图书标准信息

• 作者 李智慧 著
• 出版社 电子工业出版社
• 出版时间 2021-07
• 版次 1
• ISBN 9787121414183
• 定价 89.00元
• 装帧 平装
• 开本 16开
• 页数 208页
• 字数 236千字

【内容简介】

在人工智能时代，不论是否从事大数据开发，掌握大数据的原理和架构早已成为每个工程师的必备技能。本书结合作者多年大数据开发、应用的经验，深入浅出地阐述大数据的完整知识体系，帮助读者从不同视角找到大数据方向的突破口，真正从普通开发者晋升为拥有大数据思维并能解决复杂问题的技术专家。本书一共分为7章，分别是大数据的前世今生与应用场景、Hadoop大数据原理与架构、大数据生态体系主要产品原理与架构、大数据开发实践、大数据平台与系统集成、大数据分析与运营、大数据算法与机器学习。本书既可作为初学者了解大数据技术的入门指南，也可作为有一定经验的工程师深入理解大数据思维的有益参考。

【作者简介】

李智慧，同程旅行交通首席架构师。曾任阿里巴巴、Intel架构师，长期从事分布式系统与大数据开发，Apache Spark 代码贡献者，腾讯云 TVP，著有畅销书《大型网站技术架构：核心原理与案例分析》。

【目录】

1  大数据的前世今生与应用场景1
大数据的前世今生：大数据简史与大数据生态体系概述1
从搜索引擎到人工智能：大数据应用发展史6
大数据应用的搜索引擎时代6
大数据应用的数据仓库时代7
大数据应用的数据挖掘时代7
大数据应用的机器学习时代8
数据驱动一切：大数据全领域应用场景分析10
大数据在医疗健康领域的应用10
大数据在社交媒体领域的应用12
大数据在金融领域的应用13
大数据在新零售领域的应用13
大数据在交通领域的应用13
2  Hadoop大数据原理与架构15
移动计算比移动数据更划算16
从RAID看垂直伸缩到水平伸缩的演化19
新技术层出不穷，HDFS依然是存储的王者23
为什么说MapReduce既是编程模型又是计算框架29
MapReduce如何让数据完成一次旅行33
MapReduce作业启动和运行机制34
MapReduce数据合并与连接机制37
为什么把Yarn称为资源调度框架39
程序员应该如何学好大数据技术44
3  大数据生态体系主要产品原理与架构47
Hive是如何让MapReduce实现SQL操作的47
用MapReduce实现SQL数据分析的原理48
Hive的架构49
Hive如何实现join操作51
人们并没有觉得MapReduce速度慢，直到Spark出现53
同样的本质，为何Spark可以更高效57
Spark的计算阶段57
Spark的作业管理61
Spark的执行过程62
BigTable的开源实现：HBase63
HBase可伸缩架构64
HBase可扩展数据模型65
HBase的高性能存储66
流式计算的代表：Storm、Spark Streaming、Flink68
Storm68
Spark Streaming70
Flink71
ZooKeeper是如何保证数据一致性的74
分布式一致性原理75
Paxos算法与ZooKeeper架构76
大数据技术应用场景分析80
4  大数据开发实践82
如何自己开发一个大数据SQL引擎83
Panthera架构83
Panthera的SQL语法转换84
比如这条SQL85
Panthera程序设计85
Spark的性能优化案例分析89
Apache开源社区的组织和参与方式90
软件性能优化91
大数据开发的性能优化91
Spark性能优化92
案例1：Spark任务文件初始化调优95
案例2：Spark任务调度优化98
案例3：Spark应用配置优化102
案例4：操作系统配置优化102
案例5：硬件优化103
大数据基准测试可以带来什么好处105
大数据基准测试的应用105
大数据基准测试工具HiBench107
从大数据性能测试工具Dew看如何快速开发大数据系统109
Dew设计与开发110
Akka的原理与应用112
大数据开发实践的启示115
5  大数据平台与系统集成117
大数据平台 = 互联网产品 + 大数据产品117
数据采集119
数据处理119
数据输出与展示119
大数据任务调度120
大数据平台Lamda架构120
数据在大数据平台中的流转121
大数据从哪里来123
从数据库导入123
从日志文件导入124
前端埋点采集126
爬虫系统128
数据的熵128
知名大厂如何搭建大数据平台129
淘宝大数据平台129
美团大数据平台130
滴滴大数据平台131
学架构就是学架构模式133
盘点可供中小企业参考的商业大数据平台134
大数据解决方案提供商134
大数据云计算服务商136
大数据SaaS服务商138
大数据开放平台138
当大数据遇上物联网139
物联网应用场景分析139
物联网平台架构140
大数据技术在物联网中的应用141
6  大数据分析与运营144
老板想要监控什么运营指标144
互联网运营的常用数据指标145
数据可视化图表与数据监控147
一个用户新增下降的数据分析案例150
数据分析案例151
数据分析方法154
AB测试与灰度发布必知必会156
A/B测试的过程157
A/B测试的系统架构158
灰度发布159
如何利用大数据成为“增长黑客”160
Hotmail的增长黑客故事161
AARRR用户增长模型161
利用大数据增长用户数量163
为什么说数据驱动运营164
7  大数据算法与机器学习168
如何对数据进行分类和预测168
k近邻分类算法169
数据的距离170
文本的特征值171
贝叶斯分类172
如何发掘数据的关系174
搜索排序174
关联分析177
聚类179
如何预测用户的喜好181
基于人口统计的推荐182
基于商品属性的推荐183
基于用户的协同过滤推荐184
基于商品的协同过滤推荐185
机器学习的数学原理是什么186
样本187
模型187
算法188
为什么学机器学习要学数学189
从感知机到神经网络190
感知机191
神经网络192