大数据与人工智能

　　目前，大数据和人工智能已经成为信息技术研究的新热点，并显示出日益增长的生命力和吸引力。大数据与人工智能技术发展方兴未艾，成为人们关注的热点，相应的书籍也如雨后春笋般涌现。但目前市场上大部分书籍侧重于对理论知识的讲解，缺少本领域通俗易懂且适用于各专业的书籍。由于该领域的理论知识过于复杂且涉及大量的公式及算法推导，对于零基础或初学者来说学习难度较大。为改变这种现状，本书将大数据与人工智能中的理论知识转变成简单通俗的内容，且并不过多地侧重于公式推导及算法的详细讲解，适用于各专业本科生学习研究。
　　本书不仅涉及大数据与人工智能的关键技术和动向，而且还重视应用实例，既具有前沿性与先进性，又具有很好的实用性。全书共分为3篇，内容包括大数据技术原理与应用、人工智能基础与应用、大数据与人工智能的综合应用。本书的独到之处有以下三点。
　　一是适用性强。本书没有设置过多的公式推导及复杂的算法模型，而是对知识点的原理和应用前景做生动形象的讲解，从而更加适合各专业本科生作为选修课教材。
　　二是前沿性强。本书列举了相关知识点在当下的应用，包括对大数据及人工智能相应科技热点的介绍，顺应科技潮流，生动有趣。
　　三是实用性强。本书对重要知识点设置了相应的实践思考，使得学生能够零距离地接触大数据与人工智能，而不仅仅是停留在理论学习。
　　
　　作  者
　　2021年1月

《大数据与人工智能》系统介绍了大数据和人工智能的相关概念和技术，主要涉及大数据工程、人工智能原理、人工智能算法在大数据平台上的实现及相关原理的前沿应用。 　　全书共分为3篇，第1篇是大数据技术原理与应用，第2篇是人工智能基础与应用，第3篇是大数据与人工智能的综合应用。第1篇讲述了大数据的来源与发展，大数据技术的重要概念和大数据处理框架，重点介绍了分布式存储系统、MapReduce的概念和应用，以及分布式数据库的概念及其与传统数据库的区别和优势，并以示例的方式讲述了大数据技术在生活中的应用。第2篇讲述了人工智能的来源、发展、相关算法和应用，主要讲述了特征提取和自然语言的处理方法，并以案例的形式讲述了人工智能在人脸识别和视频检测中的应用，介绍了人工神经网络的结构、神经网络在图像识别中的应用。第3篇主要结合案例讲解大数据与人工智能的关系，并列出了一系列的实例，生动详细地讲解了大数据与人工智能如何改变生活。 　　《大数据与人工智能》讲解的内容浅显易懂，讲解方式生动，讲解过程结合案例，具有普适性。《大数据与人工智能》适合各个层面的读者，甚至从未接触过人工智能和大数据的读者也可通过阅读本书扩大眼界。《大数据与人工智能》适合高等院校各专业学生，包括那些对大数据和人工智能感兴趣却没有相关基础的同学选作教材。

郏东耀，博士生导师，北京交通大学教授，大数据与智慧测控联合研究中心主任。主要科研方向为新型检测技术及数据处理、智能视觉检测技术、无线传感网络新理论及其应用，发表学术论文70余篇。曾主持或参与国家863计划重大项目、国家自然科学基金重大项目、国家科技支撑计划项目等。

第1篇　大数据技术原理与应用
第1章  大数据的来源、采集与基本概念 2
　　1.1  大数据的来源与发展 2
　　1.2  何为大数据 4
　　1.3  大数据的特点 9
　　1.4  大数据的分类和采集方法 12
　　1.5  大数据的基本概念 14
第2章  大数据处理构架Hadoop 19
　　2.1  Hadoop概述 19
　　2.2  数据仓库工具Hive 22
　　2.3  大数据仓库HBase 26
　　2.4  编程语言Pig 31
　　2.5  协管员ZooKeeper 34
　　2.6  Hadoop资源管理与调度 39
第3章  Hadoop分布式文件系统HDFS 43
　　3.1  HDFS的由来 43
　　3.2  HDFS的设计思想 45
　　3.3  HDFS的主要特性 47
　　3.4  HDFS的架构 49
　　3.5  HDFS的主要流程 53
　　3.6  HDFS异构存储 58
　　3.7  HDFS擦除码技术 59
第4章  MapReduce与Spark 62
　　4.1  MapReduce的设计思想 62
　　4.2  MapReduce的组成 65
　　4.3  MapReduce的工作流程 67
　　4.4  MapReduce的计算过程详解 73
　　4.5  MapReduce的使用案例 77
　　4.6  任务网络的通信开销 79
　　4.7  Spark概述 80
　　4.8  RDD概述 84
第5章  NoSQL数据库、分布式数据库HBase、云数据库 88
　　5.1  数据库 88
　　5.2  非关系型数据库（NoSQL） 89
　　5.3  NoSQL数据库的体系框架 92
　　5.4  NoSQL数据库的分类 93
　　5.5  分布式数据库HBase 97
　　5.6  HBase具体介绍 100
　　5.7  云数据库及其产品 103
第6章  大数据的应用与展望 109
　　6.1  大数据的应用方向 109
　　6.2  大数据的成功应用 110
　　6.3  大数据分析技术的应用 114
　　6.4  大数据挖掘技术的应用实例 115
　　6.5  大数据的展望 117
第2篇　人工智能基础与应用
第7章  人工智能的基本概念 120
　　7.1  什么是人工智能 120
　　7.2  人工智能的历史 123
　　7.3  图灵测试 125
　　7.4  中文屋理论 126
　　7.5  人工智能的未来 128
第8章  特征提取 134
　　8.1  特征提取基础 134
　　8.2  数学方法入门 137
　　8.3  特征选择方法的开放性问题 141
　　8.4  图像特征 145
第9章  机器学习 165
　　9.1  机器学习的基本概念 165
　　9.2  强化学习 170
　　9.3  推荐系统 171
　　9.4  神经网络 172
　　9.5  深度学习 175
第10章  自然语言理解 186
　　10.1  概述 186
　　10.2  语言认知模型 188
　　10.3  自然语言理解模型 190
　　10.4  语言及汉语的特点 191
　　10.5  思维及思维规律的特点 193
　　10.6  什么是自然语言理解 199
　　10.7  计算机识字和理解 202
第11章  人工智能方法在目标检测中的应用 209
　　11.1  智能视频监控系统 209
　　11.2  人脸识别系统 223
第3篇　大数据与人工智能的综合应用
第12章  云计算、大数据与人工智能 239
　　12.1  云计算的概念 239
　　12.2  云计算、物联网、大数据与人工智能的融合 240
第13章  基于大数据的人工智能应用 242
　　13.1  自动编码器 242
　　13.2  如何从全国天气推测局部地区天气 243
　　13.3  手写文字中的“信息量” 244
　　13.4  多层架构深层挖掘 245
　　13.5  Google的猫脸识别 247
　　13.6  飞速发展的关键——鲁棒性 248
　　13.7  有趣的对抗生成网络 250
　　13.8  大数据与人工智能的融合带给生活的改变 252
　　13.9  发展趋势 254
第14章  基于大数据的智能交通系统 256
　　14.1  智能交通系统的概念及发展历程 256
　　14.2  大数据与交通系统的结合 257
　　14.3  大数据技术在智能交通中的科学使用 257
第15章  大数据背景下机器学习算法实验 259
　　15.1  距离的度量方法 259
　　15.2  机器学习算法之聚类、回归、分类 260
　　15.3  机器学习算法之决策树 274
　　15.4  实践AI和机器学习示例 278
参考文献 282

《大数据与人工智能》系统介绍了大数据和人工智能的相关概念和技术，主要涉及大数据工程、人工智能原理、人工智能算法在大数据平台上的实现及相关原理的前沿应用。 　　全书共分为3篇，第1篇是大数据技术原理与应用，第2篇是人工智能基础与应用，第3篇是大数据与人工智能的综合应用。第1篇讲述了大数据的来源与发展，大数据技术的重要概念和大数据处理框架，重点介绍了分布式存储系统、MapReduce的概念和应用，以及分布式数据库的概念及其与传统数据库的区别和优势，并以示例的方式讲述了大数据技术在生活中的应用。第2篇讲述了人工智能的来源、发展、相关算法和应用，主要讲述了特征提取和自然语言的处理方法，并以案例的形式讲述了人工智能在人脸识别和视频检测中的应用，介绍了人工神经网络的结构、神经网络在图像识别中的应用。第3篇主要结合案例讲解大数据与人工智能的关系，并列出了一系列的实例，生动详细地讲解了大数据与人工智能如何改变生活。 　　《大数据与人工智能》讲解的内容浅显易懂，讲解方式生动，讲解过程结合案例，具有普适性。《大数据与人工智能》适合各个层面的读者，甚至从未接触过人工智能和大数据的读者也可通过阅读本书扩大眼界。《大数据与人工智能》适合高等院校各专业学生，包括那些对大数据和人工智能感兴趣却没有相关基础的同学选作教材。

郏东耀，博士生导师，北京交通大学教授，大数据与智慧测控联合研究中心主任。主要科研方向为新型检测技术及数据处理、智能视觉检测技术、无线传感网络新理论及其应用，发表学术论文70余篇。曾主持或参与国家863计划重大项目、国家自然科学基金重大项目、国家科技支撑计划项目等。