数据采集及预处理基础与应用

第1章Scrapy电影评论数据采集任务1.1数据采集

1.1.1数据采集概述

1.1.2数据采集方法

1.1.3数据采集应用

任务1.2网络爬虫

1.2.1网络爬虫概述

1.2.2常用网络爬虫方法

1.2.3常用网络爬虫工具

任务1.3网络爬虫实战

1.3.1获取网页

1.3.2解析网页

1.3.3应对反爬机制本章习题

第2章数据预处理环境安装

任务2.1数据预处理出现的背景及其目的2.1.1数据预处理出现的背景

2.1.2数据预处理的目的

任务2.2数据预处理的流程

2.2.1数据清洗

2.2.2数据集成

2.2.3数据归约

2.2.4数据变换与数据离散化

2.2.5数据预处理的注意事项

任务2.3数据预处理的工具

2.3.1 Python预处理环境安装

2.3.2 Kettle的下载安装与 Spoon的启动本章习题

第3章Kettle的初步使用

任务3.1 Kettle的特点

任务3.2 Kettle的使用

3.2.1转换的基本概念

3.2.2第一个转换案例

本章习题

第4章基于Kettle的客户信息数据预处理

任务4.1客户信息数据抽取

4.1.1从文本文件读入性别参照数据

4.1.2从Excel文件读入客户信息数据

4.1.3从MySQL数据库读取城市区号参照数据任务4.2客户信息数据清洗

4.2.1数据排序

4.2.2去除重复数据

4.2.3处理缺失值

4.2.4字段清洗

4.2.5字符串清洗

4.2.6处理异常数据

任务4.3将客户信息数据加载至MySQL数据库本章习题

第5章基于pandas的学生信息预处理

任务5.1 pandas详解

5.1.1 pandas的数据结构及基本功能

5.1.2数据加载与存储

任务5.2学生信息预处理

5.2.1数据读取及查看

5.2.2索引对象

……

8.1.3数据仓库与数据库的区别

任务8.2数据仓库模型.

8.2.1事实表和维度表

8.2.2数据模型的分类

8.2.3建模阶段划分

8.2.4常用建模方法

8.2.5星形模型和雪花模型

任务8.3数据仓库案例

8.3.1案例目的

8.3.2案例背景

8.3.3案例原理

8.3.4案例环境

8.3.5案例步骤

8.3.6案例总结

本章习题

第9章Python数据分析师岗位分析

的5任务9.1了解项目背景与目标

任务9.2读取与清洗数据分析师岗位数据

9.2.1数据收集

9.2.2数据预处理

任务9.3数据分析与可视化

9.3.1数据分析师岗位的需求趋势

9.3.2数据分析师岗位的热门城市 Top10

9.3.3不同城市数据分析师岗位的薪资水平

9.3.4数据分析师岗位的学历要求

任务9.4总结

本章习题

全书共9章, 内容涉及数据采集、环境部署、Kettle安装及应用、pandas应用以及Python应用案例, 由浅入深地介绍了数据可视化的基础内容。