大数据分析导论

本书主要介绍了大数据的相关背景、大数据基础知识、大数据下的相关编程语言、相关工具框架以及大数据下的其他相关技术等，另外，还对机器学习、神经网络和深度学习等内容进行了介绍，并且对常用的大数据可视化工具进行了阐述。由于大数据、云计算、人工智能有着密不可分的关系，本书既包含了大数据的基础知识，同时也涵盖了大数据下的人工智能以及可视化工具等相关内容，方便读者通过本书了解到大数据以及相关技术的基础知识。本书可以作为本科院校、高等职业院校各专业学生学习大数据基础知识的教材，也可以满足对大数据分析感兴趣的广大读者的学习需求。

魏苗，爱尔兰国立梅努斯大学研究型硕士学位，IBM Watson Health认知方案部门软件工程师、数据科学家，曾任机器学习客座讲师，在数据结构和算法、软件测试等多门课程任教，主要研究领域包括自然语言处理，机器学习和深度学习。

目 录 

1.1 大数据的产生 ............................................................................1 

1.1.1.天文学——信息爆炸的起源 ...................................... 3 

1.1.2.大数据产生的背景......................................................4 

1.2 大数据与可视化 .......................................................................9 

1.2.1.数据可视化的概念和意义 .......................................... 9 

▲
1.2.2.打造好的可视化效果 ............................................ 11 

1.2.3.数据可视化的运用.................................................... 12 

1.3 人工智能和大数据的关系 ......................................................13 

1.4 大数据的相关技术 ..................................................................22 

1.4.1.数据挖掘 ................................................................... 22 

1.4.2.机器学习 ................................................................... 26 

▲
1.4.3.神经网络 ................................................................... 29 

第 2章大数据概述 ...................................................... 37 

2.1 数据处理与大数据 ..................................................................37 

2.1.1.古典数据处理案例.................................................... 38 

2.1.2.现代数据处理案例.................................................... 39 

2.2 什么是大数据 ..........................................................................40 

2.3 大数据工作流程 ......................................................................41 

▲

2.3.1.数据收集 ................................................................... 42 

2.3.2.数据处理 ................................................................... 43 

2.3.3.知识生成 ................................................................... 45 

2.3.4.数据存储 ................................................................... 46 

2.4 大数据来源 ..............................................................................47 

2.4.1.互联网以及线上金融数据 ........................................ 48 

2.4.2.社交平台数据............................................................ 49 

2.4.3.传感器数据................................................................ 51 

2.4.4.企业管理数据............................................................ 52 

2.5 大数据特征 ..............................................................................52 

2.5.1.大数据的基本特征：3V............................................ 53 

2.5.2.大数据新增特征：4V ............................................... 55 

2.5.3.IBM对于大数据的解读：5V ................................... 56 

2.6 大数据基本架构设计原理 ......................................................58 

第 3章大数据相关开发语言........................................63 

3.1 Python语言 .............................................................................64 

3.1.1.Python的历史 ........................................................... 64 

3.1.2.Python的特点 ........................................................... 65 

3.1.3.Python的版本与区别................................................ 66 

3.1.4.Python的安装步骤 ................................................... 68 

3.1.5.Python的基本用法 ................................................... 70 

3.1.6.Python的常用库 ....................................................... 74 

3.1.7.Python实际运用案例 ............................................... 76 

3.1.8.Python金融数据分析实例........................................ 81

▲

3.2 R语言 ......................................................................................84 

3.2.1.R语言简介 ............................................................... 84 

3.2.2.R语言的特性 ........................................................... 85 

3.2.3.R语言的安装 ........................................................... 86 

3.2.4.R语言工具库的加载................................................ 87 

3.2.5.R语言实际运用案例................................................ 88 

3.3 分布式计算框架 ......................................................................91 

3.3.1.大数据所带来的挑战 ................................................ 92 

3.3.2.Hadoop概述.............................................................. 92 

3.3.3.Hadoop的发展历史 .................................................. 93 

3.3.4.Hadoop框架组件...................................................... 95 

第 4章大数据的相关技术 ........................................... 99 

4.1 云计算 ......................................................................................99 

4.1.1.什么是云计算............................................................ 99 

4.1.2.云计算的服务层面.................................................. 100 

4.2 人工智能 ................................................................................101 

4.3 机器学习 ................................................................................104 

4.3.1.机器学习的原因...................................................... 105 

4.3.2.机器学习的定义...................................................... 106 

4.3.3.机器学习算法的分类 .............................................. 107 

4.3.4.机器学习问题领域.................................................. 109 

4.3.5.机器学习的一般步骤 .............................................. 110 

4.3.6.模型评价指标.......................................................... 113 

4.3.7.现实中的分类问题以及 KNN算法........................ 116

4.3.8.机器学习实例.......................................................... 118 

4.4 神经网络和深度学习 ............................................................124 

4.4.1.神经网络 ................................................................. 124 

4.4.2.深度学习 ................................................................. 128 

4.5 大数据可视化工具 ................................................................133 

4.5.1.Matplotlib................................................................. 134 

4.5.2.Excel......................................................................... 136 

4.5.3.百度 ECharts............................................................ 148 

4.5.4.Tableau..................................................................... 149 

第 5章大数据分析应用案例：通过社交媒体对市场进行分析........................................................ 151 
5.1 社交媒体非结构化大数据的背景 ........................................152 

5.2 社交媒体大数据情绪分析 ....................................................156 

5.2.1.情绪分析的概念...................................................... 156 

5.2.2.情绪分析的步骤...................................................... 157 

▲▲
5.2.3.情绪分析实际案例.................................................. 158 

5.3 使用社交媒体大数据对市场结构进行分析 ........................160 

5.3.1.市场结构及分析...................................................... 160 

5.3.2.品牌联想网络.......................................................... 163 

5.3.3.文本挖掘技术.......................................................... 165 

5.3.4.市场结构分析步骤.................................................. 166 

参考文献....................................................................... 171

本书主要介绍了大数据的相关背景、大数据基础知识、大数据下的相关编程语言、相关工具框架以及大数据下的其他相关技术等，另外，还对机器学习、神经网络和深度学习等内容进行了介绍，并且对常用的大数据可视化工具进行了阐述。由于大数据、云计算、人工智能有着密不可分的关系，本书既包含了大数据的基础知识，同时也涵盖了大数据下的人工智能以及可视化工具等相关内容，方便读者通过本书了解到大数据以及相关技术的基础知识。本书可以作为本科院校、高等职业院校各专业学生学习大数据基础知识的教材，也可以满足对大数据分析感兴趣的广大读者的学习需求。

魏苗，爱尔兰国立梅努斯大学研究型硕士学位，IBM Watson Health认知方案部门软件工程师、数据科学家，曾任机器学习客座讲师，在数据结构和算法、软件测试等多门课程任教，主要研究领域包括自然语言处理，机器学习和深度学习。