数据分析基础

公需科目的课程内容每年会有一定的调整。目前已经开发的公需科目教材有《知识产权基础》《创新知识基础》《项目管理基础》《人工智能应用》。其中，前三本由上海社会科学院出版社出版，《人工智能应用》2019年5月由我社出版，至2020年9月销量已达三四万册。今年，上海继续工程教育协会拟开发课程“数据分析基础”，为理工科类专业技术人员新增公需科目培训课程，并开发《数据分析基础》教材。开发专业技术人员公需科目继续教育图书，一能为框架协议相关工作的开展起个好头，落实三服务方针，二能为上海分社增加新的图书产品线，三能助力上海地区以及其他地区的专业技术人员继续教育工作，丰富专业技术人员的知识面，四能使集团出版图书紧跟时代热点。

章 数据分析概述
1.1数据分析的定义
1.2数据分析的意义
1.3数据分析的常见类型及作用
1.3.1数据分析的常见类型
1.3.2数据分析的作用
1.4数据分析的一般步骤
1.4.1明确分析目的和思路
1.4.2数据收集
1.4.3数据处理
1.4.4数据分析实施
1.4.5数据展现
1.4.6报告撰写

第二章 数据分析的常用工具
2.1数据处理工具：Excel
2.1.1 Excel简介
2.1.2 Excel实践环境
2.1.3 Excel数据处理与分析
2.2数据库：MySQL
2.2.1 MySQL简介
2.2.2 MySQL实践环境
2.2.3 MySQL基本操作
2.3数据可视化：Power BI
2.3.1 Power BI简介
2.3.2 Power BI实践环境
2.3.3 Power BI数据分析及可视化
2.3.4 Excel用户使用Power BI
2.4大数据分析工具
2.4.1 SPSS可视化统计分析工具
2.4.2 Python程序设计语言
2.4.3 Hive数据仓库工具

第三章 数据收集与存储
3.1数据库与数据仓库
3.1.1数据库
3.1.2数据仓库
3.1.3数据库与数据仓库的区别
3.2 数据
3.2.1 数据与大数据
3.2.2 数据的类型
3.2.3数据的呈现形式
3.3 数据的来源
3.3.1第二手数据
3.3.2手数据
3.4数据的存储
3.4.1大数据给存储带来的挑战
3.4.2数据存储的分类
3.4.3网络存储技术
3.4.3虚拟存储

第四章 数据预处理
4.1数据清洗
4.1.1数据标准化处理
4.1.2缺失数据的处理
4.1.3离群值及重复数据的处理
4.2数据变换
4.2.1小-规范化
4.2.2零-均值规范化
4.2.3小数定标规范化
4.2.4不一致数据的处理
4.3数据规约
4.3.1属性规约
4.3.2数值规约

第五章 常用的数据分析方法
5.1 描述性统计分析
5.1.1均值分析
5.1.2频数分析
5.1.3百分比分析
5.1.4众数和中位数
5.1.5交叉分析
5.1.6同比分析
5.1.7环比分析
5.1.8其他
5.2 探索性数据分析
5.2.1相关分析
5.2.2回归分析
5.2.3方差分析
5.2.4显著性检验分析
5.2.5聚类分析
5.2.6主成分分析与因子分析
5.2.7对应分析

第六章 数据建模
6.1模型的形式化描述
6.2建模的基本过程
6.3建模的特征工程
6.3.1特征提取
6.3.2特征选择
6.3.3降维
6.4建模的常用算法与选择
6.4.1监督学习
6.4.2无监督学习
6.5模型的验证与评估
6.5.1评估指标概述
6.5.2模型状态评估

第七章 数据可视化呈现
7.1选择合适的数据呈现方式
7.2数据如何演变为图表
7.3常见图表的制作与呈现
7.3.1如何创建一个完整的图表
7.3.2Excel中的基本图表创建
7.3.3柱形图
7.3.4条形图
7.3.5折线图
7.3.6饼图
7.3.7散点图
7.3.8矩阵图
7.3.9气泡图
7.3.10雷达图
7.3.11 箱型图
7.3.12地图热力图

第八章 数据分析报告的撰写
8.1分析报告的写作原则
8.1.1主题要突出
8.1.2结构要严谨
8.1.3观点和材料要统一
8.1.4语言力求准确、简洁、通俗易懂
8.2基于数据分析的推导过程
8.2.1步——感知问题
8.2.2第二步——提出假说
8.2.3第三步——选择表征
8.2.4第四步——收集数据
8.2.5第五步——分析验证
8.3结论逻辑可读性
8.4报告图表化
8.5数据分析报告范例
8.5.1引言
8.5.2背景及意义
8.5.3数据分析方法
8.5.4总结