【假一罚四】大数据平台架构李昉
集团直发，全新正版书籍，假一罚四，放心选购。24小时内发货。
￥ 41.5 4.7折 ￥ 89 全新
库存2件
浙江嘉兴
认证卖家担保交易快速发货售后保障
作者李昉
出版社电子工业出版社
ISBN9787121430671
出版时间2022-04
装帧平装
开本16开
定价89元
货号31419404
上书时间2024-10-26
商品详情
- 品相描述：全新
- 商品描述
-
目录
第1章 大数据平台架构概述1
1.1 大数据平台的产生与应用1
1.1.1 大数据平台的产生1
1.1.2 大数据平台的应用2
1.2 大数据平台架构4
1.3 大数据处理系统经典架构7
1.3.1 什么是Lambda架构7
1.3.2 Lambda架构8
1.3.3 Kappa架构10
1.3.4 适用场景10
第2章 大数据与Hadoop12
2.1 Hadoop简介12
2.1.1 Hadoop起源12
2.1.2 Hadoop特点13
2.1.3 Hadoop版本13
2.2 Hadoop生态系统14
2.2.1 Hadoop生态系统概况15
2.2.2 Hadoop生态系统组成详解16
2.3 Hadoop应用案例21
2.3.1 Hadoop应用案例1：全球最大超市沃尔玛21
2.3.2 Hadoop应用案例2：全球最大拍卖网站eBay21
2.3.3 Hadoop应用案例3：全球最大信用卡公司Visa22
2.4 Hadoop在国内的现状与未来22
2.4.1 国内最早的Hadoop交流平台：Hadoop in China22
2.4.2 国内Hadoop发展现状22
2.4.3 国内Hadoop前景展望25
第3章 开始使用Hadoop集群26
3.1 Hadoop初探26
3.1.1 使用Hadoop的先决条件26
3.1.2 安装环境27
3.1.3 安装并运行Hadoop29
3.1.4 运行模式30
3.1.5 Hadoop单机模式31
3.1.6 Hadoop伪分布式模式32
3.1.7 Hadoop完全分布式模式36
3.1.8 Hadoop命令手册解读39
3.2 HDFS基础和权限管理45
3.2.1 HDFS特点45
3.2.2 HDFS基本构成46
3.2.3 HDFS使用原理47
3.2.4 HDFS权限管理48
3.3 MapReduce Job开发、运行与管理49
3.3.1 为什么需要 MapReduce49
3.3.2 MapReduce 1.X和MapReduce 2.X49
3.3.3 MapReduce开发55
3.3.4 MapReduce运行与管理58
3.4 YARN管理62
3.4.1 YARN简介62
3.4.2 主要组件64
3.4.3 ResourceManager组件65
3.4.4 NodeManager组件65
3.4.5 ApplicationMaster组件66
3.4.6 Container组件66
3.4.7 应用提交过程分析66
第4章 Hadoop集群性能优化和维护69
4.1 集群常用配置文件解读69
4.1.1 配置文件70
4.1.2 Hadoop核心配置文件core-site.xml71
4.2 HDFS配置优化78
4.2.1 dfsadmin81
4.2.2 SecondaryNameNode82
4.2.3 Rebalance与机架感知83
4.2.4 安全模式、fsck、升级与回滚84
4.2.5 集群与环境优化85
4.3 MapReduce配置优化86
4.3.1 Job配置86
4.3.2 其他91
4.4 YARN配置优化91
4.4.1 YARN91
4.4.2 Capacity Scheduler92
4.4.3 Queue Properties94
第5章 高可用配置97
5.1 架构97
5.2 使用NFS共享存储98
5.3 Quorum-based存储+ZooKeeper99
5.4 QJM100
5.5 使用ZooKeeper进行自动故障转移101
5.6 部署与配置102
第6章 Hadoop其他组件106
6.1 HBase介绍106
6.1.1 概述106
6.1.2 特点107
6.1.3 架构108
6.1.4 工作原理108
6.1.5 安装与运行110
6.1.6 基础操作112
6.2 Hive介绍113
6.2.1 概述113
6.2.2 特点114
6.2.3 数据结构114
6.2.4 架构115
6.2.5 工作原理116
6.2.6 安装与运行116
6.3 Pig介绍118
6.3.1 概述118
6.3.2 特点119
6.3.3 运行模式119
6.3.4 安装与运行120
6.4 Sqoop介绍121
6.4.1 概述121
6.4.2 版本介绍122
6.4.3 特点122
6.4.4 安装与运行123
6.4.5 工作原理123
第7章 NoSQL125
7.1 NoSQL介绍125
7.2 NewSQL介绍126
7.3 NoSQL应用场景127
7.4 能承受海量压力的键值型数据库：Redis128
7.5 处理非结构化数据的利器：MongoDB128
7.6 图数据库：Neo4j130
7.6.1 什么是图130
7.6.2 什么是图数据库130
7.6.3 Neo4j简介130
第8章 Spark生态系统132
8.1 Spark在大数据生态中的定位132
8.1.1 Spark简介132
8.1.2 Spark系统定位135
8.1.3 基本术语136
8.2 Spark主要模块介绍138
8.2.1 Spark Core138
8.2.2 Spark SQL146
8.2.3 Spark Streaming149
8.2.4 GraphX150
8.2.5 MLlib154
8.3 Spark部署模型介绍156
第9章 Spark SQL实战案例158
9.1 Spark SQL前世今生158
9.1.1 大数据背景158
9.1.2 Spark和Spark SQL的产生159
9.1.3 版本更迭159
9.2 RDD、DataFrame及Dataset160
9.2.1 Spark SQL基础161
9.2.2 Dataset、DataFrame、RDD的区别167
9.3 使用外部数据源168
9.3.1 读写文件168
9.3.2 .parquet文件169
9.3.3 ORC文件174
9.3.4 JSON Dataset174
9.4 连接Metastore174
9.4.1 Hive table174
9.4.2 和不同版本的Hive Metastore交互175
9.4.3 JDBC连接其他数据库176
9.5 自定义函数178
9.5.1 聚合函数――非标准化类型（UnTyped）UADF开发178
9.5.2 类型安全的自定义聚合函数――Type-safe的UDAF180
9.6 Spark SQL与Spark Thrift server183
9.6.1 分布式SQL引擎183
9.6.2 HiveServer2服务184
9.7 Spark SQL 优化185
9.7.1 内存缓存数据185
9.7.2 SQL查询中的Broadcast Hint186
9.7.3 持久化RDD，选择存储级别186
9.7.4 数据序列化选择188
9.7.5 内存管理189
9.7.6 其他考虑192
第10章 Spark Streaming195
10.1 Spark Streaming架构195
10.2 DStream的特点196
10.3 DStream的操作197
10.3.1 DStream的输入操作197
10.3.2 DStream的转换操作199
10.4 StatefulRDD和windowRDD实战201
10.4.1 StatelessRDD无状态转化操作201
10.4.2 StatefulRDD有状态转化操作206
10.5 Kafka+Spark Steaming实战212
10.5.1 搭建Kafka环境212
10.5.2 代码编写213
10.6 Spark Streaming的优化220
第11章 数据同步收集224
11.1 从关系数据库同步数据到HDFS224
11.1.1 Sqoop225
11.1.2 DataX226
11.2 Sqoop的使用228
11.2.1 安装228
11.2.2 MySQL环境驱动配置229
11.2.3 导入数据230
11.3 数据清洗234
第12章 任务调度系统设计239
12.1 初识任务调度239
12.2 几种相对成熟的Java调度系统选择242
12.2.1 Timer和TimerTask242
12.2.2 ScheduledThreadPoolExecutor244
12.2.3 Quartz245
12.2.4 jcrontab245
12.2.5 相对成熟的调度工具和开源产品246
12.3 Quartz的介绍250
12.3.1 Quartz的储备知识251
12.3.2 Quartz的基本使用251
12.3.3 Trigger的选择252
12.3.4 JobStore255
12.3.5 完整的例子257
12.4 开源工具XXL-Job258
12.4.1 搭建项目258
12.4.2 运行项目260
12.4.3 项目简单使用263
12.4.4 高级使用和使用建议267
第13章 调度系统选择274
13.1 常用调度系统及对比274
13.1.1 Oozie简介274
13.1.2 Azkaban简介275
13.1.3 Airflow简介276
13.1.4 调度系统对比277
13.2 Airflow基本架构设计278
13.2.1 设计原则278
13.2.2 Airflow的服务构成278
13.2.3 依赖关系的解决280
13.2.4 工作原理280
13.3 Airflow任务调度系统的安装配置及使用281
13.3.1 安装281
13.3.2 配置282
13.3.3 使用285
13.4 Airflow自定义DAG的使用286
第14章 数据安全管理292
14.1 HDFS层面的访问权限及安全模式292
14.1.1 HDFS权限管理292
14.1.2 HDFS安全模式293
14.1.3 ACL概念介绍294
14.2 保障敏感数据的安全性295
14.3 应用层面的安全性保障297
第15章 大数据面临的挑战、发展趋势及典型案例300
15.1 大数据面临的问题与挑战300
15.1.1 大数据潜在的危害300
15.1.2 开放与隐私如何平衡301
15.1.3 大数据人才的缺乏302
15.2 大数据发展趋势302
15.2.1 大数据与电子商务303
15.2.2 大数据与医疗303
15.2.3 大数据与人工智能304
15.2.4 工业大数据云平台304
15.3 典型大数据平台案例304
15.3.1 阿里云数加304
15.3.2 华为Fusion Insight大数据平台305
15.3.3 三一重工Witsight工业大数据平台307
内容摘要
本书将为大家全面而深入地介绍Hadoop、Spark和NoSQL平台的构建，深入浅出地讲解Hadoop、Spark和NoSQL的基础知识、架构方案与实战技巧等。通过阅读本书，读者可以对大数据平台架构有一个明确、清晰的认识，掌握Hadoop、Spark、NoSQL平台的使用技巧，从而搭建一个安全可靠的大数据集群平台，来满足企业的实际需求。 本书共15章，可分为五大部分。第一部分（第1章）为大数据平台架构概述，讲述大数据平台的基本概念与实际应用；第二部分（第2章～第6章）主要讲解Hadoop的基本使用方法，以及Hadoop生态圈的其他组件；第三部分（第7章）主要介绍NoSQL；第四部分（第8章～第10章）主要介绍Spark生态圈与Spark实战案例；第五部分（第11章～第15章）讲解如何构建大数据平台，阐述大数据平台的几个核心模块，以及大数据平台的未来发展趋势。 本书可作为各类IT企业和研发机构的大数据工程师、架构师、软件设计师、程序员，以及相关专业在校学生的参考书。
主编推荐
从整个大数据生态的整体架构由浅入深讲述大数据平台系统架构的思路、架构方法、设计方法
媒体评论
"大数据技术的发展和应用，为各行各业数据的获取、存储、管理、分析带来了极大的推动和深远的影响，新开普也将大数据能力应用到了智慧校园建设中，推动了教育信息化的发展。本书涵盖了作者在大数据领域的实践心得与感悟，有志于学习大数据技术的朋友，推荐这本书，帮你掌握相关知识。
杨维国 新开普电子股份有限公司 董事长兼总裁
大数据已经成为经济和社会发展新的驱动力，但众多的开源技术使得初学者无从下手，业界急需一本深入浅出，让读者能很快了解大数据平台技术全貌，理解大数据平台架构的书。作者将多年的感悟、心得编撰成书，希望广大读者不要错过。
云从科技不错副总裁 张立
本书立足于Hadoop平台，又不限于Hadoop平台，从整个大数据生态的整体架构由浅入深讲述大数据平台系统架构的思路、架构方法、设计方法，值得一读。
微软中国云计算创新中心首席产品经理 宋青见
大数据相关技术、产品、应用和标准不断发展，逐渐形成了包括开源平台与工具、数据分析、数据应用等板块构成的大数据生态系统。我一直对大数据技术领域很好关注，如果你是一位大数据领域的尝鲜者，我推荐你阅读本书。
齐心好视通 CTO 王飞
投身大数据行业，首先学习和了解大数据平台架构，我希望未来有更多的读者能从中受益，和我们一起走上研发自主可控的基础软件之路。
炎凰科技总经理 叶晓路
因为工作的原因，我经常与国内外众多行业的同行们交流，大数据这个话题谈论得很好多。本书作者进行了深度地研究和实践，我相信这本书将会给大数据领域的实践者带去有意义的启发和思考。
四川大学华西基础医学与法医学院生物医学工程研究室主任，教授，博士生导师 沈阳
大数据无疑是当前的热门话题，对学术界和教育界都正在产生巨大的影响。然而如何进行大数据建设，大数据到底和过去的数据处理技术有何联系和不同？这又是一个各执一词的问题。本书深入浅出对相关知识进行了详细阐述，希望读者从中得到启发，为研究或工作提供帮助。
东北大学教授 王良勇
大数据平台建设是企业数字化转型的战略选择，大数据平台架构并非是一个简单的工作，需要从数据存储、计算、加工与融合等多方面进行考虑。读者可以从本书中了解相关的知识，为进入大数据行业提供帮助。
普洛斯数字化研发负责人 于立国"
— 没有更多了 —
以下为对购买帮助不大的评价