数据采集与处理：基于Python（新编21世纪数据科学与大数据技术系列教材）

本书的主旨是介绍如何结合Python3语言进行各类结构化和非结构化数据的采集、预处理和存储，涉及统计概率、数据格式与编码、网页开发、自然语言处理、数据科学等不同领域的内容。全书共分为11章，包括数据科学概述、Python基础、统计与概率基础、文件读写与操作、数据可视化、网络数据爬取等多个主题。内容覆盖本地文件、网页数据、大数据访问等编程中的主要知识和技术，在重视理论基础的前提下，从实用性和丰富度出发，结合实例演示了数据采集、处理与存储的核心流程。本书适合高等院校计算机、数据科学与大数据技术、软件工程、统计等相关专业的师生以及Python语言初学者、网络爬虫技术爱好者、数据分析从业人士阅读。

付东普，首都经济贸易大学管理工程学院副教授，中国人民大学管理学博士，北京交通大学应用经济学博士后，高级系统架构设计师。研究领域包括电子商务、消费者行为和互联网金融，讲授课程包括数据分析理论与实践、数据采集与存储、互联网金融、管理信息系统、现代软件工程等。在《管理科学学报》《经济管理》《经济与管理研究》、Electronic Commerce Research等国内外学术期刊及国际会议发表论文20余篇，出版专著2部。有十多年软件开发、设计和管理经验，成功完成了多个数据分析项目。

第一章 概 述
第一节 数据科学概述
第二节 数据采集概述
第三节 数据存储概述
第四节 Python相关数据科学工具
思考与练习
延伸阅读材料
第二章 Python基础
第一节 Python简介
第二节 Python基本语法与命令
第三节 运算符、表达式与内置对象
第四节 函数
第五节 异常及其处理
思考与练习
延伸阅读材料
第三章 numpy与pandas基础
第一节 numpy基础
第二节 pandas基础
思考与练习
延伸阅读材料
第四章 数据可视化
第一节 数据可视化概述
第二节 matplotlib绘图工具
第三节 其他数据可视化工具
思考与练习
延伸阅读材料
第五章 文件读写与操作
第一节 文件读写基本操作
第二节 CSV文件读写
第三节 XML文件读写
第四节 JSON文件读写
第五节 HDF文件读写
第六节 Office文件读写
第七节 PDF文件读写
第八节 图像文件读写
思考与练习
延伸阅读材料
第六章 统计与概率基础
第一节 统计基础
第二节 概率与分布
思考与练习
延伸阅读材料
第七章 数据清洗与预处理
第一节 数据清洗
第二节 数据整合
第三节 数据变换
第四节 聚合与分组统计
第五节 数据归约
思考与练习
延伸阅读材料
第八章 网络数据采集
第一节 爬虫的相关概念与知识
第二节 HTML与JavaScript基础
第三节 静态网页内容爬取与解析
第四节 动态网页内容爬取
第五节 爬虫框架Scrapy与应用
思考与练习
延伸阅读材料
第九章 关系型数据库连接与访问
第一节 关系型数据库概述
第二节 SQLite数据库连接与访问
第三节 MySQL数据库连接与访问
思考与练习
延伸阅读材料
第十章 大数据存储与访问技术
第一节 大数据技术
第二节 非关系型数据库简介
第三节 MongoDB数据库连接与访问
思考与练习
延伸阅读材料
第十一章 数据集成与ETL技术
第一节 数据集成
第二节 ETL相关技术与工具
思考与练习
延伸阅读材料
参考文献

本书的主旨是介绍如何结合Python3语言进行各类结构化和非结构化数据的采集、预处理和存储，涉及统计概率、数据格式与编码、网页开发、自然语言处理、数据科学等不同领域的内容。全书共分为11章，包括数据科学概述、Python基础、统计与概率基础、文件读写与操作、数据可视化、网络数据爬取等多个主题。内容覆盖本地文件、网页数据、大数据访问等编程中的主要知识和技术，在重视理论基础的前提下，从实用性和丰富度出发，结合实例演示了数据采集、处理与存储的核心流程。本书适合高等院校计算机、数据科学与大数据技术、软件工程、统计等相关专业的师生以及Python语言初学者、网络爬虫技术爱好者、数据分析从业人士阅读。

付东普，首都经济贸易大学管理工程学院副教授，中国人民大学管理学博士，北京交通大学应用经济学博士后，高级系统架构设计师。研究领域包括电子商务、消费者行为和互联网金融，讲授课程包括数据分析理论与实践、数据采集与存储、互联网金融、管理信息系统、现代软件工程等。在《管理科学学报》《经济管理》《经济与管理研究》、Electronic Commerce Research等国内外学术期刊及国际会议发表论文20余篇，出版专著2部。有十多年软件开发、设计和管理经验，成功完成了多个数据分析项目。

数据可视化是艺术与技术的结合。它将各种数据用图形化的方式呈现出来，为用户展示已知数据之间的规律、趋势和相关关系，帮助用户认识数据，发现这些数据反映的实质。因此，数据可视化是数据探索性分析的重要组成部分，有助于用户发现数据之间的分布特征、相互关系和总体趋势，为进一步的数据处理和分析提供直观参考。
比如，使用pyecharts可以让开发者轻松地实现大数据的可视化。例如，用pyecharts的v 1.x版本绘制四个商家衬衫、羊毛衫、雪纺衫、裤子、高跟鞋、袜子的销量的柱状图，相关代码及结果如下：
import random
import pyecharts.options as opts
from pyecharts.charts import Bar
x_vals = ['衬衫', '羊毛衫', '雪纺衫', '裤子', '高跟鞋', '袜子']
bar = (
Bar()
.add_xaxis(x_vals)
.add_yaxis('商家A', [random.randint(10, 100) for_in range(6)])
.add_yaxis('商家B', [random.randint(10, 100) for_in range(6)])
.add_yaxis('商家C', [random.randint(10, 100) for_in range(6)])
.add_yaxis('商家D', [random.randint(10, 100) for_in range(6)])
.set_series_opts(label_opts=opts.LabelOpts(is_show=True, font_size=14), markline_opts=opts. MarkLineOpts(data=[opts.MarkLineItem(y=40, name="达标线=40")]))
.set_global_opts(title_opts=opts.TitleOpts(title='柱状图示例-销量', subtitle='四个商家'), xaxis_opts=opts.AxisOpts(name='商品'),yaxis_opts=opts.AxisOpts(name='单位:件')))
bar.render('柱状图.html')