Hive数据仓库实践

大数据时代的到来给企业带来了前所未有的机遇和挑战。在海量数据背后,蕴藏着巨大的价值,然而,如何高效地管理、存储和处理这些海量数据成了摆在企业面前的重要问题。中国的大数据行业正处于快速增长和广泛应用的阶段。作为全球较大的数据生产国家,中国拥有丰富多样的数据资源。政府提出了“互联网 ”和“数字中国”战略,积极推动大数据技术在各行各业的应用,推动数字经济的发展。与此同时,中国的大数据行业也不断壮大,产业链日益完善,涉及数据采集、存储、分析和应用等多个环节。Hive作为大数据领域一种重要的数据仓库解决技术,以其强大的分布式存储、灵活的数据查询功能和高效的数据压缩优化,成为众多企业构建数据仓库的首选工具。本教材旨在为读者提供一套实践指南,帮助他们理解和应用Hive,构建高效、可靠的数据仓库系统。本书是专为应用型本科和高职学生撰写的实践指南,内容涵盖了Hive的核心概念和原理,从Hadoop和Hive的安装和配置开始、Hive的各数据类型定义,到数据库和表的操作、数据的查询、内置函数的应用、数据各存储格式的使用场景和压缩、数据调优和智慧电商数据仓库系统的搭建,逐步引导学生掌握Hive的使用方法和技巧,帮助读者构建完整的数据仓库流程。项目一主要训练Hadoop和Hive的环境搭建能力,共有2个任务,任务一通过Hadoop大数据开发环境搭建实践,理解Hadoop的知识,掌握Hadoop完全分布式集群搭建;任务二通过Hive环境搭建实践,理解数据仓库和Hive概念,掌握根据需求进行合理Hive部署。项目二主要训练Hive数据定义能力,有1个任务,任务通过定义不同类型数据实践,理解基本数据类型,复杂数据类型,并掌握不同数据类型的定义。项目三主要训练Hive数据管理能力,共有2个任务,任务一通过Hive数据库和表操作实践,理解HiveDDL,掌握HiveDDL数据库增删改查等,掌握Hive数据表的增删改等能力;任务二通过员工信息数据的导入、导出实践,理解HiveDML,掌握数据导入和导出的操作能力。项目四主要训练Hive数据检索能力,共有2个任务,任务一通过员工信息基本查询实践,理解和掌握Hive的运算符、常用函数、筛选条件等概念和操作;任务二通过员工信息高级查询实践,掌握分组、排序、Join等高级查询能力。项目五主要训练Hive内置函数和自定义函数应用能力,共有2个任务,任务一通过员工信息的操作实践,理解和掌握Hive内置函数的语法和操作;任务二通过制定范围、员工信息查询、入职日期查询等实践,理解自定义函数的不同类别,掌握自定义函数的操作。 项目六主要训练数据存储与压缩能力,共有3个任务,任务一通过数据压缩实践,理解和掌握MR的压缩设置、Map和Reduce阶段的压缩;任务二通过不同文件存储格式实践,理解和掌握列式和行式存储、TextFile格式、ORC格式、Parquet格式存储;任务三通过存储和压缩结合实践,理解和掌握ORC、Parquet存储方式的压缩。项目七主要训练数据优化能力,共有2个任务,任务一通过表的优化实践,理解小表Join大表、大表Join大表、MapJoin (MR引擎)、GroupBy等问题,掌握空Key过滤、空Key转换、MapJoin优化等优化;任务二通过MR引擎调优实践,理解和掌握复杂文件、小文件合并、设置Reduce、动态分区等优化。项目八主要搭建综合实战项目———智慧电商数据分析平台,通过项目准备、项目实现、数据展示,使用一个完整项目,将本教材知识融会贯通,培养企业实际项目问题解决能力,培养Hive数据仓库分层、数据转换、数据分析、Tableau数据可视化展示能力。本书特点是学校教师与企业专家共同编写,应用项目式、理实一体化教学、思政教学,引入企业真实项目,并包含丰富的学习资源。(1)校企共同编写,本教材由学校教师与华为技术有限公司、慧科教育科技集团有限公司共同编写,项目平台及案例由华为技术有限公司、慧科教育科技集团有限公司提供。(2)“三实教学”,通过实际场景、实践项目、实战检验,将真实的企业工作模式、操作环境搬入教材,通过实践项目来对知识点进行巩固和加强,将零碎的知识揉合在一起,让学生对知识有一个整体性的认识,最后进行实战检验。(3)项目化教学,通过项目描述、任务说明、知识引入、任务实现、练习测验等环节设置项目式教学,充分发掘学生的自身潜能,培养和提高学生的实践动手、分析问题、解决问题及综合能力,提升学生对知识的理解与深化。(4)理实一体化教学,按“任务分析—理论讲解—操作演示—技能训练”进程实施理实一体化教学,教学过程融“教学做”于一体,使学生很快地从理性上升到感性,实现知识技能的贯通,提高了教学效率。(5)思政教学,教材通过拓展知识,举例中国企业华为扩展Hive数据仓库技术自主开发的软件开发工具、组件和行业应用等,增强民族自豪感,培养爱国主义精神、精益求精和创新的工匠精神、艰苦奋斗的钻研精神等。(6)教学资源丰富,教材提供丰富的微课视频、PPT课件、教案、题库、项目案例数据和代码。本书由冯明卿、袁帅、王晓燕担任主编,李俊艳、简艳英、赵波、段锐、王宁博担任副主编,卢珊、唐佐侠、刘涵青、侯思悦、刘沣啸、王楠、李亚栋、董亮参与编写。本书由易焱华、李祺担任主审,他们提出了许多建设性的意见和建议。在本书的编写中,郑州电力高等专科学校的其他同仁给予了热情的支持,提出了许多宝贵的建议。同时本书还参考、引用了国内外很多专家、同行出版的图书和相关资料,在此一并表示衷心的感谢。由于作者水平有限,加之技术发展迅速,新概念、新应用层出不穷,书中难免存在疏漏和不妥之处,如有问题可联系邮箱510582939@qq.com,欢迎广大同行专家、读者不吝批评指正。

本书为全国电力行业“十四五”规划教材。
本书以项目任务式,培养学生的Hive数据仓库实践能力。本书共分为八个项目,主要内容包括探索Hive开发环境、探索Hive数据之林、Hive数据管理、Hive数据智能探索、员工信息管理系统、实现数据存储与压缩的融合、数据智能调优、综合实践———智慧电商数据分析平台等。本书由学校教师与企业专家共同编写,应用项目式、理实一体化教学、思政教学,引入企业真实项目,并包含丰富的学习资源。同时提供丰富的微课视频、PPT课件、教案、题库、项目案例数据和代码。各章力求原理叙述清晰,易于理解,突出理论联系实际,辅以代码实践与指导,引领读者更好地理解与应用Hive数据仓库技术,快速迈进数据仓库与数据挖掘领域。

袁帅，郑州电力高等专科学校大数据专业负责人，副教授，从教10年获得河南省高等教育教学成果奖二等奖，全国电力职业教育教学成果奖二等奖，河南省教育信息化优秀成果奖一等奖，河南省技术能手，河南省青年岗位能手，河南省骨干教师，发表论文10余篇，指导学生参加竞赛获得省级以上奖5余项。授课课程：数据仓库，大数据基础技术，Java程序设计，MySQL数据库技术授课对象：高等职业院校学生《计算机基础（全国计算机等级考试二级MS Office高级应用与设计精讲版）》，2022年6月，在人民邮电出版社出版，书号：ISBN9887115589897《Visual Basic6程序设计：理实一体化教程》，2016年2月，在机械工业出版社出版，书号：ISBN9787111528104

前言
项目一　探索Hive开发环境
学习目标 1
项目描述 1
任务一　Hadoop认知及虚拟开发环境部署 1
一、 任务说明 1
二、 知识引入 2
三、 任务实现 4
四、 拓展知识 18
五、 练习测验 18
任务二　数据仓库Hive认知及部署 18
一、 任务说明 18
二、 知识引入 19
三、 任务实现 24
四、 拓展知识 34
五、 练习测验 34
项目二　探索Hive数据之林
学习目标 36
项目描述 36
任务　Hive基本数据类型 36
一、 任务说明 36
二、 知识引入 37
三、 任务实现 39
四、 拓展知识 44
五、 练习测验 44
项目三　Hive数据管理
学习目标 46
项目描述 46
任务一　定义员工信息表 47
一、 任务说明 47
二、 知识引入 47
三、 任务实现 56
四、 拓展知识 58
五、 练习测验 59
任务二　员工信息数据操作 59
一、 任务说明 59
二、 知识引入 60
三、 任务实现 63
四、 拓展知识 65
五、 练习测验 65
项目四　Hive数据智能探索
学习目标 67
项目描述 67
任务一　员工信息基本查询 68
一、 任务说明 68
二、 知识引入 68
三、 任务实现 76
四、 练习测验 80
任务二　员工信息高级查询 80
一、 任务说明 80
二、 知识引入 81
三、 任务实现 93
四、 拓展知识 93
五、 练习测验 94
项目五　员工信息管理系统
学习目标 95
项目描述 95
任务一　Hive内置函数 96
一、 任务说明 96
二、 知识引入 96
三、 任务实现 109
四、 练习测验 112
任务二　Hive自定义函数 112
一、 任务说明 112
二、 知识引入 113
三、 任务实现 115
四、 练习测验 117
项目六　实现数据存储与压缩的融合
学习目标 118
项目描述 118
任务一　Hadoop压缩配置 118
一、 任务说明 118
二、 知识引入 119
三、 任务实现 120
四、 练习测验 122
任务二　文件存储格式 122
一、 任务说明 122
二、 知识引入 122
三、 任务实现 _______125
四、 练习测验 128
任务三　存储和压缩结合 129
一、 任务说明 129
二、 知识引入 129
三、 任务实现 130
四、 练习测验 132
项目七　数据智能调优
学习目标 133
项目描述 133
任务一　表的优化 133
一、 任务说明 133
二、 知识引入 134
三、 任务实现 136
四、 练习测验 141
任务二　MR引擎调优 141
一、 任务说明 141
二、 知识引入 142
三、 任务实现 144
四、 练习测验 145
项目八　综合实践——智慧电商数据分析平台
学习目标 147
项目描述 147
一、 项目目标 147
二、 项目实施步骤 148
任务一　项目准备 148
一、 需求分析 148
二、 数据结构 149
三、 平台环境数据准备 151
任务二　项目实现 153
一、 总体运营指标 153
二、 流量类指标 159
三、 网站销售类指标 163
四、 商品类指标 166
五、 营销类指标 168
六、 物流类指标 170
任务三　数据展示 172
一、 可视化软件介绍 172
二、 可视化软件安装 172
三、 数据展示 173

本书为全国电力行业“十四五”规划教材。
本书以项目任务式,培养学生的Hive数据仓库实践能力。本书共分为八个项目,主要内容包括探索Hive开发环境、探索Hive数据之林、Hive数据管理、Hive数据智能探索、员工信息管理系统、实现数据存储与压缩的融合、数据智能调优、综合实践———智慧电商数据分析平台等。本书由学校教师与企业专家共同编写,应用项目式、理实一体化教学、思政教学,引入企业真实项目,并包含丰富的学习资源。同时提供丰富的微课视频、PPT课件、教案、题库、项目案例数据和代码。各章力求原理叙述清晰,易于理解,突出理论联系实际,辅以代码实践与指导,引领读者更好地理解与应用Hive数据仓库技术,快速迈进数据仓库与数据挖掘领域。

袁帅，郑州电力高等专科学校大数据专业负责人，副教授，从教10年获得河南省高等教育教学成果奖二等奖，全国电力职业教育教学成果奖二等奖，河南省教育信息化优秀成果奖一等奖，河南省技术能手，河南省青年岗位能手，河南省骨干教师，发表论文10余篇，指导学生参加竞赛获得省级以上奖5余项。授课课程：数据仓库，大数据基础技术，Java程序设计，MySQL数据库技术授课对象：高等职业院校学生《计算机基础（全国计算机等级考试二级MS Office高级应用与设计精讲版）》，2022年6月，在人民邮电出版社出版，书号：ISBN9887115589897《Visual Basic6程序设计：理实一体化教程》，2016年2月，在机械工业出版社出版，书号：ISBN9787111528104