大数据分析与应用实战9787576505955

黄金凤，江西人，福建船政交通职业学院信息工程系主任、副教授，2018年教育厅省级专业带头人。编著《信息技术基础》《计算机应用基础（Windows7+Office2010)》等教材。兼任全国高等院校计算机基础教育研究会委员。主持省部级课题项，发表权威期刊、学报等论文20余篇，在云计算、大数据等领域具有丰富的教学和实战经验。

前言

模块1 大数据基础知识

1．1 引言

1．2 大数据基本概念

1．3 商务智能概念

1．4 大数据关键技术

1．5 项目需求及业务场景分析

1．6 模块小结

1．7 课后习题

模块2 大数据平台部署与运维

2．1 引言

2．2 大数据平台系统架构

2．3 集群安装部署

2．4 部署Ambari平台

2．5 集群运维与优化

2．6 模块小结

2．7 课后习题

模块3 数据采集

3．1 引言

3．2 数据采集方式

3．3 采集工具的准备

3．4 采集贸易出口数据

3．5 采集和存储日志数据

3．6 课后习题

模块4 数据清洗、处理和存储

4．1 引言

4．2 ETL技术

4．3 大数据ETL过程说明

4．4 案例数据结构说明

4．5 Kettle导入数据并完成清洗

4．6 模块小结

4．7 课后习题

模块5 数据分析

5．1 引言

5．2 数据分析的定义及方法

5．3 数据分析案例

5．4 设计示例

5．5 模块小结

5．6 课后习题

模块6 数据挖掘

6．1 引言

6．2 数据挖掘概述

6．3 分类与预测

6．4 聚类分析

6．5 数据挖掘的工具分析

6．6 外贸出口数据挖掘

6．7 模块小结

6．8 课后习题

模块7 数据可视化

7．1 引言

7．2 了解数据可视化

7．3 数据可视化软件及工具

7．4 使用工具对外贸数据进行可视化

7．5 分析不同数据可视化的渠道

7．6 课后习题

参考文献

1.1引言

随着数字时代的发展，数据成为一种重要的生产要素。人类社会活动产生的数据与日俱增，涉及医疗、通信及能源等社会的方方面面，这些海量的数据称为“大数据”。大数据应用范围广泛，发展前景良好，对大数据的运用和价值挖掘会带来新的机遇和变革。

本模块通过讲述大数据的基本概念、大数据特点及应用场景、实施、运维流程、关键技术、产业模式以及发展趋势，帮助读者熟悉和了解大数据基础知识，为后续模块的学习打下坚实基础。

1.2大数据基本概念

大数据开启了一次重大的时代转型，其本身就是一个抽象的概念。互联网、物联网、云计算、智慧城市的发展，使得数据的“摩尔定律”失效，同时数据飞速地增长，一个与物理空间平行的数字空间正在逐渐形成。在新的数字世界中，数据成为宝贵的生产要素，顺应趋势、积极谋变的国家和企业将乘势崛起，成为新的领军者，大数据正在开启一个崭新的时代。

1.2.1大数据时代

最早提出大数据时代到来的是全球知名咨询公司麦肯锡，其称：“数据已经渗透到当今每一个行业和业务职能领域，成为重要的生产因素。人们对于海量数据的挖掘和运用，预示着新一波生产率增长和消费者盈余浪潮的到来。”此后，大数据的发展和研究成了各行业的热门话题，从而带动了政府、企业和研究机构对大数据的研究热情。2008年，Nature杂志推出的专刊从互联网科技、自然与环境、网络经济和金融等多个方面介绍了海量数据带来的挑战；2012年2月，《纽约时报》中一篇专栏写道，在商业、经济金融和其他多方面领域中，管理者更倾向于通过大数据分析来作出决策；2012年3月，以奥巴马为首的美国政府发布了“大数据研究和发展倡议”；2012年5月，联合国通过了政务白皮书《大数据促发展：挑战和机遇》来探讨大数据的作用和影响；在过去几年，欧盟对大数据基础建设投资一亿多欧元，世界各国都在加大对大数据的分析和研究。而在中国，2012年10月，第十七次全国统计科学讨论会开幕，其主题就是“大数据背景下的统计”；2014年2月在北京召开了以“科研大数据与数据科学”为主题的“科学数据大会”，研讨了大数据时代下数据的分析和应用以及科研数据带来的挑战和机遇。从互联网（Internet)诞生以来，驱动大数据爆发的标志性事件如图1-2-1所示。