Python数据分析与挖掘

基础篇

项目1 数据分析与挖掘基础知识

学习目标

1-1 数据挖掘技术的产生与发展

1-2 数据挖掘研究的理论基础

1-3 数据分析与挖掘应用行业

1-4 数据分析与挖掘工具

学习评价

项目2 数据分析与挖掘技术

学习目标

2-1 数据挖掘工作流程

2-2 数据采样

2-3 数据探索及分析

2-4 数据预处理

2-5 模型及模型训练

2-6 模型评估及参数调优

2-7 模型应用

学习评价

实战篇

项目3 基于分类的垃圾邮件筛选

学习目标

项目背景

工作流程

3-1 数据分析及预处理

3-2 模型构建

3-3 模型应用

学习评价

项目4 基于回归的区域房屋出租价格

评估

学习目标

项目背景

工作流程

4-1 数据分析及预处理

4-2 模型构建

4-3 模型应用

学习评价

项目5 基于聚类的供电站供电特征

识别

学习目标

项目背景

工作流程

5-1 数据分析及预处理

5-2 模型构建

5-3 模型应用

学习评价

项目6 基于关联规则的数码产品关联性

分析

学习目标

项目背景

工作流程

6-1 数据分析及预处理

6-2 关联规则挖掘

6-3 关联规则解读、评估及应用

学习评价

项目7 基于时间序列的生鲜农产品销量

预测

学习目标

项目背景

工作流程

7-1 数据分析及预处理

7-2 模型构建

7-3 预测及评估

学习评价

提高篇

项目8 基于Text-CNN的电影推荐

系统

学习目标

项目背景

工作流程

8-1 数据分析及预处理

8-2 模型构建及训练

8-3 模型应用

学习评价

项目9 基于ResNet的垃圾分类

学习目标

项目背景

工作流程

9-1 数据分析及预处理

9-2 模型构建及训练

9-3 模型测试

学习评价

参考文献

1-1数据挖掘技术的产生与发展

[任务要求]

了解数据分析与挖掘技术的产生及发展过程。

[任务实施]

1.数据挖掘技术的产生

任何技术的产生总是有其背景的。数据挖掘技术的提出和被普遍接受是由于计算机及其相关技术的发展为其提供了研究和应用的技术基础。归纳数据挖掘产生的技术背景，以下一些相关技术的发展起到了决定性的作用。

数据库、数据仓库和Internet等信息技术的发展。

计算机性能的提高和先进的体系结构的发展。

统计学和人工智能等在数据分析中的应用。

数据库技术在20世纪80年代已经得到广泛普及和应用。在关系数据库的研究和产品提升过程中，人们一直在探索组织大型数据和快速访问的相关技术。高性能关系数据库引擎以及相关的分布式查询、并发控制等技术的使用，已经提升了数据库的应用能力，在数据的快速访问、集成与抽取等问题的解决方面积累了经验。数据仓库作为一种新型的数据存储和处理手段，被数据库厂商普遍接受并且相关辅助建模和管理工具快速推向市场，成为多数据源集成的一种有效的技术支撑环境。另外，Internet的普及也为人们提供了丰富的数据源。Internet 技术本身的发展已经不只是简单的信息浏览，以Web计算为核心的信息处理技术可以处理Internet环境下的多种信息源。因此，人们已经具备利用多种方式存储海量数据的能力。只有这样，数据挖掘技术才能有它的用武之地。这些丰富多彩的数据存储、管理以及访问技术的发展，使计算机的处理和存储能力日益提高。根据摩尔定律，计算机硬件的关键指标大约以每18个月翻一番的速度在增长，而且现在看来仍有日益加速增长的趋势。随之而来的是硬盘、CPU等关键部件的价格大幅度下降，使得人们收集、存储和处理数据的能力和需求不断提高。经过几十年的发展，计算机的体系结构，特别是并行处理技术已经逐渐成执并获得普遍应用，而且成为支持大型数据处理应用的基础。计算机性能的提高和先进的体系结构的发展使数据挖掘技术的研究和应用成为可能。

……