Hadoop大数据技术原理与应用

项目一Hadoop大数据处理平台

【任务一】学习Linux网络的搭建

【任务二】学习Linux安全机制的配置

【任务三】完成Hadoop环境的搭建

项目二大数据存储技术（HDFS)

【任务一】学习HDFS的相关概念

【任务二】认识HDFS体系架构与原理

项目三大数据离线计算框架（MapReduce & YARN）

【任务一】学习MapReduce技术原理

【任务二】学习YARN技术原理

项目四 大数据数据库（HBase）

【任务一】了解HBase

【任务二】学习HBase的架构原理

【任务三】学习HBase的基本操作

项目五 大数据数据仓库（Hive)

【任务一】学习Hive基础知识

【任务二】学习Hive的架构和数据存储

【任务三】完成Hive应用实践

项目六大数据数据转换（Sqoop）

【任务一】学习Sqoop基础知识

【任务二】完成Sqoop操作

项目七 大数据日志处理（Flume)

【任务一】学习Flume基础知识

【任务二】完成Flume的应用实践

项目八大数据实时计算框架(Spark)

【任务一】学习Spark基础知识

【任务二】学习Spark技术架构

【任务三】完成Spark应用实践

【任务四】完成Spark Streaming操作

【任务五】完成Spark SQL操作

参考文献

项目一

Hadoop 大数据处理平台

在数据“爆炸”的时代，Hadoop作为处理大数据的分布式存储和计算框架，得

到了国内外大、中、小型企业的广泛应用，学习Hadoop技术是从事大数据行业工作必不可少的一步。

本项目通过介绍Linux网络配置、防火墙安全机制，强调要建设网络强国，需要有健全的网络与信息安全组织体系、完善的网络与信息安全管理制度和高素质的网络与信息安全队伍。通过本项目的学习，能帮助学生在学习和生活中不断增强自身的网络安全意识，能合理利用网络，学会明是非、辨真假；通过介绍Hadoop集群配置时需要的基本环境搭建、集群安装与启动过程等内容，培养学生刻苦钻研的学习态度、奉献精神和团队协作意识；增强学生的民族自豪感，激发学生的爱国热情，培养学生科技兴国的责任感与使命感；引导学生严谨治学，培养学生尊重软件知识产权和遵纪守法的意识。

学习目标

认识Hadoop

€掌握Linux网络配置€掌握Linux安全机制

€掌握Linux 环境下 Java 的安装与配置（掌握 Linux 环境下Hadoop的安装与配置€掌握Hadoop集群部署

学习情境

最近公司新招了一位员工小王，为了让刚毕业的职场新人小王能尽快适应公司环境和业务，领导安排公司老员工老张来带领新人职的小王。经过简短的交谈后、小王了解到公司主要从事大数据相关的业务，选取的大数据平台以搭建在Limnx上的Hadoop平台为主、因此不光对员工的动手操作能力有一定的要求，还需要员工有相应的理论知识来支撑。

  小王虽然对一些基础的操作十分得心应手，但在较高难度的操作和理论知识储备这方面就没什么信心了。老张很快看出了小王心中的忧虑，为了提升小王的信心，并让他快速融入工作中，老张决定在带领小王熟悉公司业务的同时为他补习相关的理论知识和操作技术。第一天，老张决定先为小王补习Linux网络、Linux

安全机制和Hadoop环境搭建等相关知识。