大数据分析与应用

段刚龙，西安理工大学经济与管理学院管理科学与工程系副教授、硕士生导师。曾人选西安理工大学第二批优秀青年教师，现任经济与管理学院实验中心主任，兼任中国科学学与科技政策研究会创业创新专委会委员、陕西省大数据平台产品评审专家。先后主持各类项目18项，其中省部级项目4项；在国内外重要中英文学术期刊上发表论文30余篇，其中SCI、EI检索20篇。获得科技成果奖4项、申报软件著作权8项；获得省级教学成果奖3项、校级教学成果奖6项、陕西省“一流课程”1门、省级创新创业课程1门、校级在线课程2门。主编和参编教材2部。2014年获得西安理工大学本科教学优秀奖，2016年获得西安理工大学本科教学二等奖。指导学生竞赛获得省级以上奖项60余项，国际竞赛获奖2项。

 谢天保，博士，西安理工大学经济与管理学院管理科学与工程系副教授、硕士生导师。曾入选西安市企业信息化专家组成员、陕西省九三学社经济委员会委员。先后参与国家、省市级科技项目10余项，在《中国机械工程》《机械科学技术》《计算机工程》等国内外重要期刊发表论文20余篇。

第一章 大数据分析概述

第一节 认识大数据

第二节 认识大数据分析

第三节 大数据分析模型建立方法

本章小结

思考练习题

参考文献

第二章 数据仓库模型和大数据可视化

第一节 什么是数据仓库

第二节 数据仓库建模

第三节 大数据可视化

本章小结

思考练习题

参考文献

第三章 大数据分析的数据预处理

第一节 数据抽样和过滤

第二节 数据规范化与标准化

第三节 数据清洗

第四节 数据清洗方法对比分析

本章小结

思考练习题

参考文献

第四章 数据回归分析模型

第一节 回归分析概述

第二节 一元回归

第三节 多元回归

第四节 Logistics回归

第五节 梯度

本章小结

思考练习题

参考文献

第五章 关联分析模型与算法

第一节 关联规则背景

第二节 关联规则概述

第三节 Apriori算法

第四节 FP-growth算法生成频繁项集

第五节 关联规则的生成

第六节 应用案例

本章小结

思考练习题

参考文献

第六章 分类分析模型与算法

第一节 分类分析概述

第二节 决策树

第三节 支持向量机

第四节 KNN算法

第五节 朴素贝叶斯

第六节 随机森林

第七节 神经网络

第八节 分类性能评价

第九节 应用案例

本章小结

思考练习题

参考文献

……

第七章 聚类分析与模型

第八章 预测分析与模型

第九章 异常点分析与模型

第十章 文本分析模型

第十一章 推荐模型与系统

第一章大数据分析概述

第一节认识大数据

如果把数据比作地球上的水，个人的数据(电脑里的各种文档、电影等)就好像一颗小水珠，最多能在累的时候解解渴。一些企业的数据略有不同，根据规模的大小，有些是水坑，有些是池塘，已经可以养些小鱼小虾了；另一些企业的数据(如 Face-book)已经算得上是一个大湖泊了，可以实现大型的捕捞、规模化的养殖。

再者，当我们初次学习做饭时，各种攻略上常常以“少许”“适当”“足量”等词汇粗略地进行描述，实际操作起来很难。有了大数据以后，主材、配料的种类、比例，油盐酱醋的多少都可以进行精准的记录，甚至哪里产的猪肉，配上哪里的青椒、豆瓣做出来的回锅肉最好吃，都可以形成数据被记录下来。这些以前不被重视、不被采集的数据，就是我们大数据领域隐藏的“水滴”“池塘”“湖泊”。已有的大量数据，以及尚未被发现、记录的数据，共同构成了大数据时代的发展基础。

水滴、池塘、湖泊发现得多了，就能够汇成海洋。大数据海洋里面的水（数据）多到数不清楚，里面的资源(大数据产生的价值）也丰富到无以复加。原来我们在湖泊里面养“青草鲢鳙”四大家鱼，而有了数据海洋，想吃生蚝、鳕鱼、金枪鱼等也可以轻松搞定。简而言之，大数据时代把大量数据信息汇集到一起，然后从中发现价值，服务于生活与生产。

一、大数据的定义

大数据是指大数据集，这些数据集经过计算分析以揭示与数据某个方面相关的模式和趋势。对于大数据的定义，我们可以分别从广义和狭义两方面理解。广义的定义，有点哲学的味道——大数据，是指物理世界到数字世界的映射和提炼，通过发现其中的数据特征，从而做出提升效率的决策行为。狭义的定义，是站在技术工程师的角度——大数据，是通过获取、存储、分析，从大容量数据中挖掘价值的一种全新的技术架构。

获取数据、存储数据、分析数据这一系列的行为，都不算新奇。例如，每月的月初考勤管理员会获取每个员工上个月的考勤信息，录入Excel表格并存在电脑里，统计分析员工的迟到、缺勤情况，然后进行处罚。但是，同样的行为，放在大数据身上，就行不通了。但是，当数据量变得巨大到传统个人电脑、传统常规软件无力应对时，这种级别的数据就称作“大数据”。

……

本书是大数据分析与应用领域的入门教材，全书共11章，内容主要涵盖大数据分析与挖掘过程中用到的基本算法，目的是通过算法原理的介绍，使学生能更高效地将它们运用于数据分祈与挖掘的实践中。第1章主要介绍大数据分析概述，以及大数据分析模型建立方法。第2章主要讲数据仓库模型和大数据可视化，详细介绍了什么是数据仓库、数据仓库建模，以及大数据可视化。第3章详细介绍大数据分析的数据预处理，介绍了数据抽样和过滤、数据规范化与标准化、数据清洗、数据清洗方法对比分析。第4章详细介绍数据回归分析模型，详细介绍了一元回归、多元回归、Logistics回归以及梯度。第5章详细介绍了关联分析模型与算法。第6章主要涵盖着分类分析模型与算法。包括决策树、支持向量机、KIN、朴素贝叶斯、随机森林、神经网络、分类性能评价。第七章介绍了聚类分析与模型，包括K-means算法、EM算法、DBSCAN算法、层次聚类、高斯混合聚类、SOM智能聚类算法、聚类算法评价指标。第8章介绍了预测分析与模型，主要包括了灰色预测、马尔科夫预测、预测分析的准确度评价及影响因素。第9章介绍了异常点分析与模型，主要包括异常点分析概述、基于统计的异常点分析、基于距离的异常点分析、基于聚类的异常点检测、其他异常点检测。第10章介绍了文本分析模型，主要包括了文本分析概述、文本分析流程、文本分析常用技术、文本分析的应用。