大数据技术原理与实践

序。
第1章重点阐述了大数据驱动的商业模式、技术生态体系，大数据的类型、特点、获取技术。第2章概要介绍了大数据的软硬件架构，包括大数据技术基础与软硬件设施、大数据存储与管理技术、大数据的分布式处理技术平台等，包括MapReduce编程框架原理、Spark结构与原理、基于Storm的大规模数据流的分布式处理技术等。第3章介绍了Python编程基础，包括基本数据类型、基本控制流程、Numpy、Scipy、Pandas等。第4章介绍了大数据分析技术，包括基于MapReduce基础编程、文本大数据分析与处理技术、大数据关联分析、相似项的发现、基于大数据的系统、基于大数据的图与网络分析、大数据聚类分析、时空大数据分析、非结构化大数据分析与处理、基于Storm的流数据分析技术等。第5章介绍了基于SparkMLlib/Mahout的大数据机器学习，包括机器学习基础、典型机器学习问题、机器学习评价方法、并行机器学习算法，并进行了利用MLlib解决大数据并行分类问题、利用Mahout解决大数据优化问题实践。第6章介绍了基于大数据的深度学习技术，包括深度学习基本原理、深度学习典型应用、Keras 基础入门及应用案例。第7章介绍了材料大数据材料热导率预测、旅游大数据分析、交通大数据分析、工业大数据分析、产品创新大数据分析等带代码、数据的案例。
本书内容深入浅出，具有很强的理论与实践指导作用，可作为数据科学与技术、人工智能、计算机科学、制造科学、机械工程等学科相关专业的本科生、研究生的教材或课程教学参考书，也是对工程技术人员、科研人员而言非常实用的工具书。

本书将围绕大数据技术的基本原理与实践,介绍了大数据获取、存储、分析、数据挖掘和机器学习。内容涵盖以下主题：Hadoop、Mapreduce、关联规则、大规模监督机器学习、数据流、集群、NoSQL系统（Pig、Hive），以及包括系统、Web和安全性的应用程序。
第1章重点阐述了大数据驱动的商业模式、技术生态体系，大数据的类型、特点、获取技术。第2章概要介绍了大数据的软硬件架构，包括大数据技术基础与软硬件设施、大数据存储与管理技术、大数据的分布式处理技术平台等，包括MapReduce编程框架原理、Spark结构与原理、基于Storm的大规模数据流的分布式处理技术等。第3章介绍了Python编程基础，包括基本数据类型、基本控制流程、Numpy、Scipy、Pandas等。第4章介绍了大数据分析技术，包括基于MapReduce基础编程、文本大数据分析与处理技术、大数据关联分析、相似项的发现、基于大数据的系统、基于大数据的图与网络分析、大数据聚类分析、时空大数据分析、非结构化大数据分析与处理、基于Storm的流数据分析技术等。第5章介绍了基于SparkMLlib/Mahout的大数据机器学习，包括机器学习基础、典型机器学习问题、机器学习评价方法、并行机器学习算法，并进行了利用MLlib解决大数据并行分类问题、利用Mahout解决大数据优化问题实践。第6章介绍了基于大数据的深度学习技术，包括深度学习基本原理、深度学习典型应用、Keras 基础入门及应用案例。第7章介绍了材料大数据材料热导率预测、旅游大数据分析、交通大数据分析、工业大数据分析、产品创新大数据分析等带代码、数据的案例。
本书内容深入浅出，具有很强的理论与实践指导作用，可作为数据科学与技术、人工智能、计算机科学、制造科学、机械工程等学科相关专业的本科生、研究生的教材或课程教学参考书，也是对工程技术人员、科研人员而言非常实用的工具书。

贵州大学机械工程学院院长，博士生导师，教授，2005年入选“西部之光”优秀人才，2008年入选贵州省优秀青年科技人才，2009年入选新世纪优秀人才、贵州省省管专家、享受政府特殊津贴专家，2014年评聘为三级教授，入选贵州省首批高层次创新型人才（百层次）。是贵州大学学术学科带头人，机械制造及其自动化、机械电子工程专业博士生导师，中国科学院大学兼职博士生导师。是“十二五”贵州省制造业信息化专家组组长，中国图学学会理事，贵州省装备行业协会常务理事，贵阳军民结合（装备制造）产业技术创新战略联盟副秘书长，贵州省智能电网产业技术创新战略联盟副理事长，贵州省计算机学会常务副理事长，《计算机集成制造系统—CIMS》理事会理事，《中国制造业信息化》、《机械设计与制造工程》理事会常务理事，贵州省服务决策专家智库专家，贵州省青年科技工作者协会常务理事、信息科学与机电工程专业委员会主任委员，贵阳市网络信息安全协会副会长，《计算机集成系统-CIMS》、《四川大学学报(工程科学版)》、《计算机应用》等期刊的审稿人等。已发表论文130余篇，SCI/EI/ISTP收录60余篇次，出版专著2部，译著1部，软件著作权登记8项、专利7件（其中发明3件）。被鉴定为国际先进、国内领先的成果8项。主持国家自然科学基金、国家863计划重点项目、国家科技支撑计划等科研项目30余项。获省部级科技进步二等奖2次、三等奖2次，贵阳市科技进步特等奖1次、二等奖2次、三等奖1次。

第1章大数据技术概览（1）
1.1大数据驱动的世界（1）
1.2数据的类型（7）
1.3大数据的特点（8）
1.4大数据的获取技术（9）
1.5大数据实战：网络爬虫抓取*商品评论大数据（10）
本章小结（12）
习题（13）
第2章大数据的软硬件架构（14）
2.1大数据技术基础与软硬件设施概述（14）
2.2大数据存储与管理技术（17）
2.3大数据的分布式处理技术平台（24）
本章小结（38）
习题（39）
第3章Python编程基础（40）
3.1基本数据类型（40）
3.2基本控制流程（50）
3.3Numpy、Scipy和Pandas（54）
3.4Matplotlib软件包（63）
本章小结（67）
习题（67）
第4章大数据分析技术（68）
4.1MapReduce 基础编程（68）
4.2文本大数据分析与处理技术（78）
4.3大数据关联分析（81）
4.4相似项的发现（83）
4.5基于大数据的系统（87）
4.6基于大数据的图与网络分析（91）
4.7大数据聚类分析（98）
4.8时空大数据分析（106）
4.9非结构化大数据分析与处理（112）
4.10基于Storm的流数据分析技术（117）
习题（126）
第5章基于Spark MLlib/Mahout的大数据机器学习（128）
5.1机器学习基础（128）
5.2典型机器学习问题（129）
5.3机器学习评价方法（136）
5.4并行机器学习算法（139）
5.5利用MLlib解决大数据并行分类问题实践（141）
5.6利用Mahout解决大数据优化问题实践（144）
本章小结（147）
习题（147）
第6章基于大数据的深度学习技术与应用（149）
6.1深度学习基本原理（149）
6.2深度学习典型应用（151）
6.3Keras基础入门（156）
6.4应用案例（158）
本章小结（165）
习题（165）
第7章带代码、数据的案例研究（167）
7.1材料大数据材料热导率预测（167）
7.2旅游大数据分析（177）
7.3交通大数据分析（186）
7.4工业大数据分析（191）
7.5产品创新大数据分析（215）
习题（222）
参考文献（223）