Pig编程指南

图书标准信息

• 作者 [美]Alan Gates 著；曹坤 译
• 出版社 人民邮电出版社
• 出版时间 2013-02
• 版次 1
• ISBN 9787115301116
• 定价 49.00元
• 装帧 平装
• 开本 16开
• 纸张 胶版纸
• 页数 191页
• 字数 262千字
• 原版书名 Programming Pig

【内容简介】

　　《Pig编程指南》不仅为初学者讲解ApachePig的基础知识，同时也向有一定使用经验的高级用户介绍更加综合全面的Pig重要特性，如PigLatin脚本语言、控制台shell交互命令以及用于对Pig进行拓展的用户自定义函数(UDF)等。当读者有大数据处理需求时，《Pig编程指南》提供了如何更高效地使用Pig来完成需求的方法。
　　《Pig编程指南》适合各个层次的Pig用户及开发人员阅读使用。

【作者简介】

　　alan gates是将PIG从雅虎的研究项目转化成一个成功的Apache开源项目的工程师团队中最早的成员。他负责监督Pig的实现、编程接口和总体设计。

【目录】

第1章初识Pig
1.1Pig是什么？
1.1.1Pig是基于Hadoop的
1.1.2PigLatin，一种并行数据流语言
1.1.3Pig的用途
1.1.4Pig的设计思想
1.2Pig发展简史

第2章安装和运行Pig
2.1下载和安装Pig
2.1.1从Apache下载Pig软件包
2.1.2从Cloudera下载Pig
2.1.3使用Maven下载Pig
2.1.4下载Pig源码
2.2运行Pig
2.2.1本地单机运行Pig
2.2.2在Hadoop集群上运行Pig
2.2.3在云服务上运行Pig
2.2.4命令行使用以及配置选项介绍
2.2.5返回码

第3章命令行交互工具Grunt
3.1在Grunt中输入PigLatin脚本
3.2在Grunt中使用HDFS命令
3.3在Grunt中控制Pig

第4章Pig数据模型
4.1数据类型
4.1.1基本类型
4.1.2复杂类型
4.1.3NULL值
4.2模式

第5章PigLatin介绍
5.1基础知识
5.1.1大小写敏感
5.1.2注释
5.2输入和输出
5.2.1加载
5.2.2存储
5.2.3输出
5.3关系操作
5.3.1foreach
5.3.2Filter
5.3.3Group
5.3.4Orderby
5.3.5Distinct
5.3.6Join
5.3.7Limit
5.3.8Sample
5.3.9Parallel
5.4用户自定义函数UDF
5.4.1注册UDF
5.4.2define命令和UDF
5.4.3调用静态Java函数

第6章PigLatin高级应用
6.1高级关系操作
6.1.1foreach的高级功能
6.1.2使用不同的Join实现方法
6.1.3cogroup
6.1.4union
6.1.5cross
6.2在Pig中集成遗留代码和MapReduce程序
6.2.1stream
6.2.2mapreduce
6.3非线性数据流
6.4执行过程控制
6.4.1set
6.4.2设置分割器
6.5PigLatin预处理器
6.5.1参数传入
6.5.2宏
6.5.3包含其他的PigLatin脚本

第7章开发和测试PigLatin脚本
7.1开发工具
7.1.1语法高亮和语法检查
7.1.2describe
7.1.3explain
7.1.4illustrate
7.1.5Pig统计信息
7.1.6MapReduce任务运行状态信息
7.1.7调试技巧
7.2使用PigUnit测试用户的脚本

第8章让Pig飞起来
8.1编写优质的脚本
8.1.1尽早地并经常地进行过滤
8.1.2尽早地并经常地进行映射
8.1.3正确并合理使用join
8.1.4适当的情况下使用multiquery
8.1.5选择正确的数据类型
8.1.6选择合适的并行值
8.2编写优质的UDF
8.3调整Pig和Hadoop
8.4对计算中间结果进行压缩
8.5数据层优化
8.6垃圾数据处理

第9章在Python中嵌入PigLatin脚本
9.1编译
9.2绑定
9.3运行
9.4工具方法

第10章编写评估函数和过滤函数
10.1使用Java编写评估函数
10.1.1UDF将在哪里执行
10.1.2求值函数基本概念
10.1.3输入和输出模式
10.1.4错误处理和处理过程信息报告
10.1.5构造器和将数据从前端传送到后端
10.1.6重载UDF
10.1.7运算函数的内存问题
10.2代数运算接口
10.3累加器接口
10.4使用Python写UDF
10.5书写过滤器函数

第11章编写加载函数和存储函数
11.1加载函数
11.1.1前端执行计划函数
11.1.2从前端调用传递信息到后端调用
11.1.3后端数据读取
11.1.4可扩展的加载函数接口
11.2存储函数
11.2.1存储函数前端执行计划
11.2.2存储函数和UDFContext
11.2.3写数据
11.2.4任务失败后数据的清理
11.2.5存储元数据信息

第12章Pig和其他Hadoop社区的成员
12.1Pig和Hive
12.2Cascading
12.3NoSQL数据库
12.3.1HBase
12.3.2Cassandra
12.4Hadoop中的元数据

附录A内置的用户自定义函数和Piggybank
内置UDF
内置加载函数和存储函数
内置求值函数和过滤函数
Piggybank

附录BHadoop综述
MapReduce
Map阶段
Combiner阶段
Shuffle阶段
Reduce阶段
输出阶段
分布式缓存
故障处理
HDFS
作者介绍
书末说明