Python与数据分析及可视化（微课视频版）

经过三十多年的发展，Python已经形成了良好的“技术生态圈”。随着大数据、人工智能技术的发展，Python数据分析技术已经成为各行各业的技能之一。

目前有关Python数据分析的教学资源(教材、教程、代码、第三方库)非常多，也非常杂，许多教学案例与技术解决方案已经有更好的替代方案。例如网络爬虫设计，国内大部分教材是使用request、Beautiful Soup教学方案，
近年来涌现的RequestsHTML模块可以更为简捷地实现网络爬虫； 又如数据可视化相关教学，国内大部分教材采用Matplotlib模块教学方案，而近几年出现的Seaborn模块比Matplotlib更适合快速数据可视化。针对Python与数据分析及可视化相关教学，编者总结了多年的教学经验，在“厚基础、重实践”的指导原则下，针对Python语言基础、数据分析和数据可视化等内容，尝试使用比较新的技术与模块来编排教学内容，以适应Python的普及教学。
本书特色如下。
 厚基础，概念清晰。从零编程基础介绍Python，基础知识比较翔实，并系统地
总结基础知识点、绘制相关图表，方便读者学习。

  重实践，内容实用。注重Python风格化编程，将教学与示例代码做到至简，如教材设计的网络爬虫案例，只有寥寥几行代码，就能实现上海市地铁线路数据的爬取； 所有案例都使用实用、简捷的技术方案作为授课内容(如
RequestsHTML、Seaborn、wordcloud等)。读者掌握这些内容后，能立刻完成相关数据分析与可视化操作。

本书由李鲁群教授负责统稿并主编，李晓丰负责
相关教学案例代码的编写，张波负责习题设计。另外，研究生许崇海、张慎文、陶霜霜和胡天乐负责各个章节的文字校对、代码优化、习题答案的编写以及相关教学视频的录制； 具体为许崇海负责第1~4章，张慎文负责第5~7章，陶霜霜负责第8~10章，胡天乐负责第11、12章。

本书有配套微课视频，读者可先扫一扫封底刮刮卡内二维码，获得观看权限，再扫一扫正文章节旁二维码，即可观看教学视频。本书还有配套教学课件、教学大纲、代码等资源，读者可扫一扫下方二维码下载。

教学资源

编者2021年8月

本书主要介绍Python语言基础、数据分析和数据可视化等内容。全书共12章，分别为绪论、Python开发环境与工具、Python的基本概念、基本数据类型与运算符、程序流控制与异常处理、函数及其高级应用、文件与输入输出、网站数据的获取、文本数据的处理、NumPy与数学运算、Pandas数据分析和数据可视化。本书注重介绍核心概念与应用，相关内容通过图表形式呈现给读者，并配有多个示例，便于读者学习与总结。 本书可以作为高校相关课程的教材或Python程序开发学习者的自学参考书，也非常适合作为机器学习实践的先导课程的参考书。

李鲁群，博士，上海师范大学教授，硕士点学科带头人。近年来，获得上海市教学成果二等奖1项，上海师范大学教学成果1等2等奖各一项，主持完成上海市*重点课程建设项目4项、*产学合作协同育人项目8项，先后完成了《Python与TensorFlow机器学习实践》、《Python与数据分析》、《Python与机器学习实践》等教学项目。并指导学生参加相关比赛获奖30人次以上。

第1章绪论

1.1Python语言简介

1.2Python的“生态圈”

1.3Python语言的特色

1.3.1Python之“禅(Zen)”

1.3.2Python语言的特点

1.4Python语言的应用

1.5Python开发人才需求

1.6Python的学习建议

1.7本书的知识体系结构

1.8本章小结

1.9习题

第2章Python开发环境与工具

2.1Python的版本介绍

2.2Python系统的安装

2.3Python帮助系统

2.3.1Python帮助文档

2.3.2REPL下的help()函数

2.3.3基于HTTP服务的帮助系统

2.3.4Python案例代码搜索引擎

2.4Python虚拟开发环境

2.4.1虚拟环境的创建

2.4.2虚拟环境的使用

2.5Python包管理工具pip

2.5.1显示已安装的模块： pip list

2.5.2显示特定模块信息： pip show

2.5.3安装第三方模块： pip install

2.5.4卸载模块： pip uninstall

2.5.5模块信息收集： pip freeze

2.6Anaconda Python集成安装工具

2.7Python集成开发环境

2.7.1Spyder 

2.7.2Jupyter Notebook 

2.7.3Jupyter Lab 

2.7.4PyCharm 

2.8本章小结

2.9习题

第3章Python的基本概念

3.1Python相关的文件

3.1.1Python的几种文件类型

3.1.2Python源程序示例

3.1.3Python源程序编码格式

3.1.4Python源程序的注释与文档字符串

3.1.5Python语言的代码块

3.2Python语言的关键字

3.3Python的标识符

3.4Python的内置常量

3.5Python的内置函数

3.6Python的名字空间

3.7Python的模块

3.8Python的包

3.9本章小结

3.10习题

第4章基本数据类型与运算符

4.1Python基本数据类型

4.2数字类型

4.2.1int、float 类型

4.2.2相关运算符

4.2.3bool类型

4.2.4逻辑运算符

4.2.5数学模块math

4.2.6随机模块random

4.2.7数字类型的扩充

4.3序列类型

4.3.1序列相关共性

4.3.2list 

4.3.3range

4.3.4tuple 

4.4文本序列类型 str

4.4.1字符与编码

4.4.2字符串及相关函数

4.5二进制序列类型

4.5.1bytes类型

4.5.2bytearray类型

4.5.3memoryview类型

4.6集合类型

4.7映射类型

4.7.1字典的创建

4.7.2字典常见的函数

4.7.3zip()函数

4.8collections模块

4.8.1namedtuple

4.8.2deque

4.8.3Counter

4.9itertools模块

4.10本章小结

4.11习题

第5章程序流控制与异常处理

5.1Python程序控制流

5.2if条件语句

5.3Python循环语句

5.3.1while循环语句

5.3.2for…in循环语句

5.3.3break、continue、pass语句

5.4异常

5.4.1异常的处理

5.4.2异常的抛出

5.5断言的用法

5.6with语句

5.7综合案例

5.8本章小结

5.9习题

第6章函数及其高级应用

6.1函数

6.1.1函数的定义

6.1.2函数的docString

6.1.3函数的参数传递

6.1.4函数形参的默认参数值

6.1.5函数的关键字参数

6.1.6函数的可变参数

6.2变量的作用域

6.2.1局部变量

6.2.2全局变量

6.2.3nonlocal变量

6.3lambda表达式

6.4行函数

6.5序列相关函数

6.5.1filter()函数

6.5.2map()函数

6.5.3reduce()函数

6.6函数的高级应用

6.6.1函数的装饰器

6.6.2函数的闭包

6.6.3迭代器

6.6.4生成器

6.7eval()函数

6.8exec()函数

6.9本章小结

6.10习题

第7章文件与输入输出

7.1Python的输入输出

7.2Python文件的操作

7.2.1文件的打开与关闭

7.2.2文件操作异常捕获与处理

7.2.3文件操作函数

7.2.4文件操作案例

7.3shelve对象数据的存取

7.4pickle对象数据的存取

7.4.1pickle.dumps()

7.4.2pickle.loads()

7.4.3pickle.dump()

7.4.4pickle.load()

7.5JSON对象数据的存取

7.5.1json.dumps()

7.5.2json.loads()

7.5.3json.dump()

7.5.4json.load()

7.6操作系统相关文件操作

7.7本章小结

7.8习题

第8章网站数据的获取

8.1RequestsHTML简介

8.1.1网页的获取

8.1.2网页的解析与元素查找

8.2网页爬虫案例

8.2.1爬取网页特定内容

8.2.2爬取百度热搜榜

8.2.3爬取有规律的系列数据

8.3本章小结

8.4习题

第9章文本数据的处理

9.1正则表达式简介

9.2正则表达式的组成

9.3Python正则表达式

9.3.1Pattern对象相关函数

9.3.2Match对象相关函数

9.3.3re模块相关函数

9.4文本数据处理

9.4.1中文文本分词

9.4.2词云

9.5中文情感分析

9.6本章小结

9.7习题

第10章NumPy与数学运算

10.1为什么要用NumPy

10.2NumPy简介

10.3NumPy的核心内容

10.4ndarray对象

10.4.1ndarray对象中的元素数据类型

10.4.2ndarray对象的创建

10.4.3特殊ndarray对象的创建

10.5ndarray、array的区别与联系

10.6ndarray对象的输入输出

10.6.1ndarray对象以*.npy或*.npz 格式存储与读取 

10.6.2ndarray对象以文本方式存储与读取

10.7ndarray对象的属性

10.8ndarray对象的结构变形

10.9ndarray对象元素的操作

10.9.1ndarray对象元素的切片和索引

10.9.2ndarray元素的遍历

10.10ndarray对象的运算

10.11ndarray对象相关通用函数

10.12本章小结

10.13习题

第11章Pandas数据分析

11.1为什么需要学习Pandas

11.2Pandas介绍

11.3Series

11.3.1Series对象的创建

11.3.2Series的属性

11.3.3Series对象的输入输出

11.3.4Series内的遍历

11.3.5Series数据清洗

11.3.6Series数据统计分析

11.3.7Series数据的定位与选取

11.3.8Series的数据处理

11.3.9Series索引的操作

11.3.10Series数据可视化

11.4DataFrame

11.4.1DataFrame对象的创建

11.4.2DataFrame的属性

11.4.3DataFrame数据的定位与切片

11.4.4DataFrame数据的遍历

11.4.5DataFrame数据的修改

11.4.6数据的向量垂直化计算

11.4.7DataFrame索引相关操作

11.4.8DataFrame数据统计与分析

11.4.9数据采样

11.4.10数据整合

11.4.11DataFrame的数据可视化

11.5本章小结

11.6习题

第12章数据可视化

12.1为什么要数据可视化

12.2数据可视化揭示的几类数据特征关系

12.3Seaborn简介

12.4绘图准备工作

12.5数据准备工作

12.6一维数据的分布可视化

12.6.1distplot()

12.6.2kdeplot()

12.6.3rugplot()

12.7二维数据的分布可视化

12.7.1jointplot()

12.7.2pairplot()

12.8数据关系可视化

12.8.1散点图scatterplot()

12.8.2折线图replot()

12.9用分类对比数据可视化

12.9.1分类散点图

12.9.2分类分布图

12.9.3类别内的观测分布

12.10回归模型可视化

12.10.1regplot()

12.10.2lmplot()

12.10.3regplot()与lmplot()的区别

12.11本章小结

12.12习题

参考资料及课外阅读

本书主要介绍Python语言基础、数据分析和数据可视化等内容。全书共12章，分别为绪论、Python开发环境与工具、Python的基本概念、基本数据类型与运算符、程序流控制与异常处理、函数及其高级应用、文件与输入输出、网站数据的获取、文本数据的处理、NumPy与数学运算、Pandas数据分析和数据可视化。本书注重介绍核心概念与应用，相关内容通过图表形式呈现给读者，并配有多个示例，便于读者学习与总结。 本书可以作为高校相关课程的教材或Python程序开发学习者的自学参考书，也非常适合作为机器学习实践的先导课程的参考书。

李鲁群，博士，上海师范大学教授，硕士点学科带头人。近年来，获得上海市教学成果二等奖1项，上海师范大学教学成果1等2等奖各一项，主持完成上海市*重点课程建设项目4项、*产学合作协同育人项目8项，先后完成了《Python与TensorFlow机器学习实践》、《Python与数据分析》、《Python与机器学习实践》等教学项目。并指导学生参加相关比赛获奖30人次以上。