分布式统一大数据虚拟文件系统——Alluxio原理、技术与实践
①全新正版,现货速发,7天无理由退换货②天津、成都、无锡、广东等多仓就近发货,订单最迟48小时内发出③无法指定快递④可开电子发票,不清楚的请咨询客服。
¥
70.7
7.1折
¥
99
全新
库存2件
作者顾荣 刘嘉承 毛宝龙 著
出版社机械工业
ISBN9787111732587
出版时间2023-08
装帧其他
开本其他
定价99元
货号31831639
上书时间2024-10-13
商品详情
- 品相描述:全新
- 商品描述
-
目录
Contents 目 录<br />序<br />前言<br />第1章 Alluxio总体介绍与快速入门1<br />1.1 Alluxio的发展背景与系统概览1<br />1.1.1 Alluxio Master组件4<br />1.1.2 Alluxio Worker组件6<br />1.1.3 Alluxio Job Service组件7<br />1.1.4 数据读写流程7<br />1.2 Alluxio配置部署与程序运行11<br />1.2.1 获取/编译Alluxio系统11<br />1.2.2 单机模式安装部署13<br />1.2.3 集群模式安装部署14<br />1.2.4 Alluxio服务启停操作15<br />第2章 Alluxio的核心功能服务18<br />2.1 文件系统统一命名空间18<br />2.1.1 统一命名空间概览18<br />2.1.2 挂载底层存储系统19<br />2.1.3 与底层存储系统元数据同步20<br />2.1.4 使用示例21<br />2.2 层级存储与数据缓存22<br />2.2.1 存储结构概览22<br />2.2.2 Alluxio层级存储23<br />2.2.3 Alluxio的数据副本管理机制24<br />2.2.4 使用示例25<br />2.3 Alluxio与HDFS/POSIX接口存<br /> 储系统的集成26<br />2.3.1 HDFS底层存储连接器的基本<br /> 原理26<br />2.3.2 配置HDFS作为Alluxio的<br /> 底层存储27<br />2.3.3 配置CephFS作为Alluxio的<br /> 底层存储30<br />2.3.4 配置NFS作为Alluxio的底层<br /> 存储32<br />2.4 Alluxio与对象存储系统的集成32<br />2.4.1 对象类型底层存储连接器的<br /> 基本原理32<br />2.4.2 配置AWS S3作为Alluxio的<br /> 底层存储34<br />2.4.3 配置阿里云OSS作为Alluxio<br /> 的底层存储35<br />2.4.4 配置Apache Ozone作为Alluxio<br /> 的底层存储37<br />2.4.5 配置Swift作为Alluxio的底层<br /> 存储38<br />2.5 新增底层存储连接模块的集成<br /> 方法39<br />2.5.1 客户端常见操作与底层存储<br /> 连接器的交互39<br />2.5.2 底层存储连接器的加载机制41<br />2.5.3 底层存储连接器的管理方式42<br />2.5.4 新增底层存储连接器的示例43<br />2.6 Alluxio与大数据计算框架的集成45<br />2.6.1 与Apache Spark并行计算<br /> 框架集成45<br />2.6.2 与Kubernetes中的Spark并<br /> 行计算框架集成48<br />2.6.3 与Apache Flink并行计算<br /> 框架集成51<br />2.7 Alluxio与大数据查询系统的集成52<br />2.7.1 与Hive数据仓库集成52<br />2.7.2 与Presto数据仓库集成59<br />2.8 Alluxio与深度学习框架的集成63<br />第3章 Alluxio的基本使用与<br /> 运维操作67<br />3.1 Alluxio的重要操作命令67<br />3.1.1 管理员操作命令67<br />3.1.2 用户操作命令72<br />3.1.3 常用的编程API86<br />3.1.4 Web界面展示与操作88<br />3.2 Alluxio的挂载点运维94<br />3.3 Alluxio的元数据同步和备份运维95<br />3.3.1 元数据同步的配置95<br />3.3.2 自动/手动生成备份和从备份<br /> 恢复集群96<br />3.4 Journal日志和高可用运维98<br />3.4.1 UFS Journal模式配置方式99<br />3.4.2 Embedded Journal模式配置<br /> 方式100<br />3.4.3 自动/手动生成Checkpoint102<br />3.4.4 高可用集群的部署与配置<br /> 更改103<br />3.4.5 Master节点的添加/移除和<br /> Primary Master的切换104<br />3.4.6 客户端配置连接高可用<br /> Master106<br />3.5 Alluxio的不同配置方式108<br />3.5.1 Alluxio的配置方式和生效<br /> 优先级108<br />3.5.2 Alluxio客户端配置方式111<br />3.5.3 Alluxio集群配置方式112<br />3.5.4 查看配置项112<br />3.6 Alluxio的Log日志运维113<br />3.6.1 Log日志位置113<br />3.6.2 改变Log日志等级114<br />3.6.3 Alluxio的集群指标116<br />3.7 Job Service使用和查询运维118<br />3.7.1 用命令行查询作业状态118<br />3.7.2 作业执行Log 日志跟踪119<br />3.8 Alluxio的安全认证与权限控制119<br />3.8.1 安全认证模式120<br />3.8.2 访问权限控制120<br />3.8.3 用户模拟功能123<br />3.8.4 审计日志功能124<br />第4章 Alluxio元数据管理与主<br /> 节点原理126<br />4.1 Alluxio Master核心功能概览126<br />4.2 Master组件的元数据管理128<br />4.2.1 Master对元数据的管理128<br />4.2.2 文件/数据块元数据示例130<br />4.2.3 元数据存储在堆上—HEAP<br /> 模式134<br />4.2.4 元数据存储在堆外—ROCKS<br /> 模式135<br />4.3 Alluxio的统一命名空间和底层存<br /> 储管理137<br />4.3.1 Alluxio的数据挂载功能137<br />4.3.2 Alluxio的文件生命周期139<br />4.3.3 Alluxio的一致性模型140<br />4.3.4 Alluxio与底层存储的元数据/<br /> 数据同步145<br />4.4 Journal日志和高可用152<br />4.4.1 Alluxio的元数据状态和重要<br /> 性质152<br />4.4.2 Alluxio的Journal日志内容155<br />4.4.3 Journal日志的Checkpoint操作156<br />4.4.4 基于底层存储的UFS Journal<br /> 模式156<br />4.4.5 基于Raft协议的Embedded <br /> Journal模式162<br />4.4.6 UFS Journal和Embedded <br /> Journal之间的切换与选择166<br />4.5 元数据备份功能168<br />4.5.1 元数据备份原理168<br />4.5.2 元数据备份解决的兼容问题168<br />4.5.3 在高可用集群中的代理备份<br /> 功能169<br />4.5.4 备份操作和Journal日志的<br /> Checkpoint操作的区别170<br />4.6 Alluxio Master的Worker管理<br /> 机制171<br />4.6.1 Alluxio Worker的注册与心跳171<br />4.6.2 在集群中加入和移除Alluxio <br /> Worker172<br />4.6.3 Alluxio Master的可用Worker<br /> 列表管理173<br />4.7 主节点的元数据并发机制173<br />4.7.1 文件路径并发控制173<br />4.7.2 Journal日志并发控制176<br />4.7.3 Worker相关元数据并发控制176<br />第5章 Alluxio数据存储的核心特<br /> 性与原理178<br />5.1 Alluxio Worker组件概览178<br />5.1.1 Alluxio Worker数据管理简介178<br />5.1.2 Worker的发展方向179<br />5.1.3 Worker对外开放的服务接口179<br />5.2 Alluxio系统中的数据I/O180<br />5.2.1 Alluxio的数据读模式详解180<br />5.2.2 Alluxio的数据写模式详解182<br />5.2.3 本地读写的优化184<br />5.3 Alluxio系统中数据块的生命周期<br /> 和管理186<br />5.3.1 数据块的加载和删除187<br />5.3.2 数据块的写入和持久化187<br />5.3.3 数据块的锁定和解锁188<br />5.3.4 数据块的副本控制188<br />5.3.5 数据块的TTL控制189<br />5.4 Alluxio Worker的分层缓存190<br />5.4.1 分层缓存的设计190<br />5.4.2 使用单层缓存191<br />5.4.3 使用多层缓存192<br />5.4.4 缓存分配机制192<br />5.4.5 缓存驱逐机制193<br />5.4.6 多层缓存的管理机制195<br />5.5 Alluxio Worker的并发和流量<br /> 控制机制197<br />5.5.1 数据块锁197<br />5.5.2 数据块的原子提交197<br />5.5.3 数据读写的流量控制197<br />5.6 代码实战—自定义缓存分配<br /> 策略198<br />第6章 Alluxio客户端与Job <br /> Service的原理200<br />6.1 Alluxio的原生客户端201<br />6.1.1 Alluxio原生客户端的总体<br /> 原理201<br />6.1.2 客户端与主节点的通信方式203<br />6.1.3 客户端侧的块位置选取策略204<br />6.2 Alluxio的Hadoop兼容客户端205<br />6.2.1 Hadoop兼容文件系统的<br /> Alluxio实现206<br />6.2.2 大数据生态应用Alluxio206<br />6.3 Alluxio的POSIX客户端207<br />6.3.1 JNI-FUSE模块208<br />6.3.2 启动流程209<br />6.3.3 FUSE Shell209<br />6.3.4 适用场景210<br />6.4 Alluxio Proxy服务210<br />6.4.1 S3 API210<br />6.4.2 REST API211<br />6.5 Alluxio系统的Shell命令行211<br />6.6 Alluxio Job Service概览和整体<br /> 架构212<br />6.6.1 Job Service组件功能介绍212<br />6.6.2 Job Service的发展方向212<br />6.6.3 Job Service对外开放的接口213<br />6.7 Alluxio Job Service的异步作业<br /> 分类213<br />6.8 Alluxio Job Service的优化功能216<br />6.9 Alluxio Job Master管理的元数据217<br />6.10 Alluxio Job Service高可用和Job <br /> Worker管理217<br />6.10.1 Job Master的高可用217<br />6.10.2 Job Master对Job Worker的<br /> 管理218<br />6.11 代码实战219<br />6.11.1 Alluxio Shell拓展实现219<br />6.11.2 块位置选择策略拓展实现219<br />6.11.3 Job Service自定义作业拓展<br /> 实现220<br />第7章 Alluxio系统性能深度调优222<br />7.1 Alluxio的推荐系统配置及测算<br /> 方法222<br />7.1.1 Alluxio文件系统规模观测222<br />7.1.2 Alluxio Master进程推荐配置225<br />7.1.3 Alluxio Worker进程推荐配置228<br />7.1.4 Alluxio Job Master进程推荐<br /> 配置230<br />7.1.5 Alluxio Job Worker进程推荐<br /> 配置230<br />7.2 Alluxio常见的性能问题及解决<br /> 方案231<br />7.2.1 读性能差231<br />7.2.2 写性能差234<br />7.2.3 服务资源占用高235<br />7.2.4 请求超时236<br />7.3 Alluxio Master调优238<br />7.3.1 元数据调优238<br />7.3.2 Journal日志性能调优239<br />7.3.3 UFS元数据缓存240<br />7.3.4 元数据同步调优240<br />7.3.5 Alluxio Master的Worker管理<br /> 调优241<br />7.3.6 RPC并发调优244<br />7.3.7 心跳线程调优245<br />7.4 Alluxio Worker调优245<br />7.4.1 异步缓存调优245<br />7.4.2 RPC并发调优246<br />7.4.3 UFS数据流缓存246<br />7.5 Job Service调优247<br />7.5.1 Job Service吞吐量调优247<br />7.5.2 Job Service并发调优247<br />7.6 客户端调优248<br />7.6.1 Alluxio Worker选取策略调优248<br />7.6.2 被动缓存策略调优249<br />7.6.3 Commit操作优化249<br />7.6.4 重试操作调优251<br />7.6.5 Keepalive调优252<br />7.6.6 其他客户端配置调优252<br />7.7 性能压力测试252<br />7.7.1 压力测试的目的和工具252<br />7.7.2 Alluxio的压力测试框架<br /> StressBench253<br />7.7.3 StressBench提供的测试内容254<br />第8章 Alluxio与云原生环境的<br /> 集成256<br />8.1 Kubernetes中的Alluxio集群架构256<br />8.2 Alluxio集群的部署258<br />8.2.1 部署的准备工作258<br />8.2.2 Alluxio集群的基础配置261<br />8.2.3 集群的部署和验证263<br />8.3 Alluxio集群的进阶配置266<br />8.3.1 Master节点的Journal日志266<br />8.3.2 Master节点的高可用配置267<br />8.3.3 使用RocksDB作为元数据<br /> 存储267<br />8.3.4 配置Alluxio Worker多层缓存268<br />8.3.5 配置底层文件系统270<br />8.4 配置Alluxio使用Kubernetes高级<br /> 功能271<br />8.5 Alluxio的其他Kubernetes部署<br /> 架构274<br />8.5.1 在Kubernetes中部署使用<br /> Alluxio FUSE274<br />8.5.2 通过Kubernetes CSI使用<br /> Alluxio FUSE276<br />8.6 Kubernetes环境下的读写性能<br /> 优化278<br
— 没有更多了 —
以下为对购买帮助不大的评价