Python数据预处理技术

第1章 Python的标准库与扩展库

1.1 本章介绍

1.2 数据处理中的常用标准库

1.3 数据处理中的常用扩展库

1.4 PyCharm IDE的下载与安装

1.4.1 Python扩展库的下载

1.4.2 PyCharm IDE的下载与安装配置

1.4.3 PyCharm IDE中安装Python扩展库

1.4.4 更换国内安装源

1.5 pip工具安装Python扩展库

1.5.1 pip工具在线更新

1.5.2 在线安装扩展库

1.5.3 离线安装扩展库下载包

1.6 PyCharm的快捷键

第2章 CSV库及json库的数据类型转换

2.1 本章介绍

2.2 csv库的读/写方法

2.3 读取CSV文件并输出为列表类型

2.4 读取CSV文件并输出为字典类型

2.5 以字符串数据类型输出读取的CSV文件

2.6 读取本地JSON格式文件

2.7 自定义分隔符写入CSV文件

第3章 jieba库中文切词统计

3.1 本章介绍

3.2 jieba库概述

3.3 iieba库语法

3.3.1 精确模式

3.3.2 全模式

3.3.3 搜索引擎模式

3.4 jieba库统计词频实例

3.4.1 实例任务要求

3.4.2 选择精确模式进行中文切词

3.4.3 删除单字词汇

3.4.4 选择适当数据类型构建词汇与词频的对应关系

3.4.5 数据类型转换并排序

3.4.6 删除非人物名称的相关词汇

3.4.7 合并同一人物的不同称谓

3.4.8 按任务要求调整输出的数据结构

3.4.9 统计词频程序的完整代码

第4章 NumPy结合openCV库进行图像数据处理

4.1 本章介绍

4.2 NumPy库简介

4.2.1 NumPy库概述

4.2.2 NumPy库的特点

4.2.3 NumPy库的导入

4.3 array()创建多维数组

4.3.1 多维数组概念

4.3.2 多维数组对象

4.3.3 数组对象属性

4.4 OpenCV库的简单图像处理

4.4.1 OpencV库导人、显示及保存图像的方法

4.4.2 NumPy库多维数组对象属性与OpenCV库图像处理的对应关系

4.5 创建数组

4.5.1 创建数组的常用函数

4.5.2 随机生成函数random()创建数组

4.5.3 NumPy图像处理：创建数组绘制三维图像

4.6 定位数组元素

4.6.1 索引与切片

4.6.2 NumPy图像处理：切片数组修改指定的图像区域

4.6.3 NumPy图像处理：切片处理图像的翻转、缩小与交换颜色通道

4.7 简单数组运算

4.7.1 多维数组与常量的运算

4.7.2 相同形状数组之间的运算

4.7.3 NumPy图像处理：彩色图像转换为灰度图

4.8 数组运算的广播机制

4.8.1 广播机制的原理

4.8.2 广播机制的一般规则

4.8.3 理解广播的机制

4.9 修改数组形状

4.9.1 np.reshape()函数

4.9.2 np.resize()函数

4.9.3 np.transpose()函数与ndarray.T属性

4.9.4 np.broadcast_to()函数

4.9.5 NumPy图像处理：图像形状自动转换为正方形

4.10 数组的切分、拼接与堆叠

4.10.1 数组切分：np.split()、np.hsplit()、np.vsplit()与np.dsplit()

4.10.2 NumPy图像处理：切分图像

4.10.3 拼接数组：np.concatenate()函数

4.10.4 NumPy图像处理：拼接不同颜色通道图像

4.10.5 堆叠数组：np.stack()、np.hstack()、np.vstack()与np.dstack()

4.10.6 NumPy图像处理：切分、堆叠、交换颜色通道与图像二值化处理

4.11 数组的复制与轴变换

4.11.1 复制数组：np.tile()与np.repeat()

4.11.2 NumPy图像处理：复制数组绘制渐变色背景的圆形

4.11.3 数组轴变换：np.rollaxis()与np.Swapaxes()

4.11.4 NumPy图像处理：轴变换旋转图像

4.12 数组的统计与运算函数

4.12.1 数组的统计函数

4.12.2 图像处理中的均值与标准差

4.12.3 NumPy图像处理：利用统计函数绘制正态分布图像

4.13 修改数组维度

4.13.1 扩展维度：expand-dims()

4.13.2 维度展平：ndarray.flat、ndarray.flatten()与np.ravel()

4.13.3 删除维度：np.squeeze()

4.13.4 NumPy图像处理：降低图像维度

4.14 图像数组的预处理：去均值与归一化

4.14.1 图像去均值

4.14.2 像素归一化

4.14.3 NumPy图像处理：归一化与去均值后的图像对比分析

4.14.4 NumPy图像处理：图像增加高斯噪点与高斯模糊

4.15 数组元素的增删改等操作

4.15.1 末尾追加元素np.append()

4.15.2 指定位置插入元素np.insert()

4.15.3 删除指定元素np.delete()

4.15.4 去除重复元素np.unique()

4.15.5 强制截取并赋值元素np.clip()

第5章 Pandas库进行结构化数据统计分析

5.1 本章介绍

5.2 Pandas库概述

5.2.1 Pandas库简介

5.2.2 Pandas库特点

5.2.3 Pandas库导入

5.3 创建序列pd.Series()

5.3.1 Series简介

5.3.2 创建序列pd.Seties()

5.4 创建数据表pd.DataFrame()

……

第6章Pyecharts库实现在线数据可视化

参考文献

第1章Python的标准库与扩展库

1.1本章介绍

Python语言之所以发展如此迅速，原因之一就是其开源免费的扩展库数量非常多、品类非常丰富，目前少有其他编程软件能够匹敌。而各类扩展库的应用又反推着Python软件的不断革新和完善。Python扩展库几乎涵盖了工业及商业领域的各类应用场景。为了便于Python各类扩展库的安装、使用及管理，企业通常使用集成开发环境PyCharm IDE(integrated development environment)进行项目软件开发。

本项目学习情境即是基于数据处理与分析的角度，了解常见的Python标准库、扩展库种类及其所实现的功能,并通过PyCharm的安装与配置、相关扩展库的安装过程,让用户掌握集成开发环境PyCharm IDE 中配置 Python程序及安装、管理扩展库的方法。

1.2数据处理中的常用标准库

Python种类各异的标准库及功能强大的扩展库是Python语言发展至今的强大力量源泉。Python的扩展库官网PyPI内所发布的第三方扩展库迄今为止达到了48万种之多，且还在不断更新中。

Python内建了各类用途的标准库(有些书籍也称为内置库)。这些标准库无须下载，可以直接通过import语句导人Python当前环境中使用。读者可通过Python官网获取更详细的标准库信息,Python标准库简介如图1-1所示。

……

本书共包含了7个Python数据预处理库(CSV、JSON、jieba、NumPy、OpenCV、Pandas、Pyecharts)的应用及实例讲解，适用于人工智能、数据处理及大数据分析领域中相关Python学习的中级及高级用户，其中数百个库函数的使用说明也可以作为该领域专业用户的使用参考。本书共分为6章，第1章介绍数据处理中的常见的Python标准库与扩展库以及企业环境中常使用的PyCharmIDE的安装与使用方法。第2章介绍典型的表格数据格式CSV与网页数据格式JSON读取与写入的类型转换方法。第3章介绍自然语言处理中的中文切词工具jieba库的使用技巧。第4章结合图像处理OpenCV库的基础读取图像功能。第5章从数据处理与分析过程的角度对Pandas库的各类数据处理与分析函数进行详细介绍。第6章介绍网页数据格式的可视化库Pyecharts的图形绘制方法。本书配有教案、教学课件、习题题库等。