Python机器学习及实践

　　前言

　　致广大读者朋友：

　　欢迎各位购买和阅读《Python机器学习实践》！

　　该书的编写旨在帮助大量对机器学习和数据挖掘应用感兴趣的读者朋友，整合并实践时下最流行的基于Python语言的程序库：如Scikit-learn、NLTK、gensim、XGBoost、TensorFlow等；而且针对现实中的科研问题，甚至是Kaggle竞赛（当前世界最流行的机器学习竞赛平台）中的分析任务，快速搭建有效的机器学习系统。

　　朋友们在阅读了几个章节之后，就会发现这本书的特别之处。笔者力求减少读者对编程技能和数学知识的过分依赖，进而降低理解本书与实践机器学习模型的门槛；并试图让更多的兴趣爱好者体会到使用经典模型，乃至更加高效的方法解决实际问题的乐趣。同时，笔者对书中每一处的关键术语都提供了标准的英文表述，也方便读者朋友更加快速查阅和理解相关的英文文献。

　　由于本书不涉及对大量数学模型和复杂编程知识的讲解，因此受众非常广泛。这其中就包括：在互联网、IT相关领域从事机器学习和数据挖掘相关任务的研发人员；于高校就读的博士、硕士研究生，甚至是对计算机编程有初步了解的高年级本科生；以及对机器学习与数据挖掘竞赛感兴趣的计算机业余爱好者等等。

　　最后，衷心地希望各位读者朋友能够从本书获益，同时这也是对我最大的鼓励和支持。全书代码下载地址为：http://pan.baidu.com/s/1bGp15G。对于任何出现在书中的错误，欢迎大家批评指正，并发送至电邮：fanmiao.cslt.thu@gmail.com，我们会在本书的勘误网站https://coding.net/u/fanmiao_thu/p/Python_ML_and_Kaggle/topic 上记录下您的重要贡献。

　　写于美国纽约中央公园

　　2015年12月25日

　　后记

　　2015年12月的一天夜里，我在纽约的家中收到清华大学李超老师的一则微信。她说她本人非常欣赏我在网络上发表的数个有关如何使用Python快速搭建机器学习系统并在Kaggle竞赛平台上实战的帖子，并且希望我整理出一本书出版。

　　开始我还很诧异，因为我在网上发表的所有帖子都是日常学习工作的经验之谈，随性之作；没有太多的逻辑可言，更别说出版书籍了。当时发表那些帖子的初衷，只是不希望很多机器学习爱好者重蹈我在实践中的错误，也希望可以帮助更多的同学快速上手并且体验实战中乐趣。

　　但是，当我接下整理这部书稿的任务之后，忽然感觉自己身上的担子重了很多。特别是在得知这本书很有可能被选为通用教材之后，立刻发现之前所有我发布在互联网上的帖子几乎都不可用。原因是，作为一部教材就更要设身处地为读者着想，尤其是这本教材的目标受众不仅仅是计算机专业人士，更有非计算机专业的爱好者和初入此道的本科生。所以，我几乎重新编制了整部书的提纲，参考网上的帖子重写了第二和第三章节，并且考虑到不同层次读者的需求，增加了第一章节的Python编程基础和第四章Kaggle竞赛实战等相关内容。

　　尽管时间仓促，笔者也力求全书可以条理清晰、深入浅出地为广大读者朋友服务；但也有因能力所限、力所不逮之处，还望各位朋友批评指正，及时勘误。

　　最后，再次感谢您购阅《Python机器学习及实践》，并借由笔者本人时常所引用斯蒂夫·乔布斯的一句名言，作为本书的收尾：求知若饥、虚心若愚（Stay Hungry, Stay Foolish），希望在今后的人生道路上能与读者朋友们共勉。

　　写于中国北京清华园

　　2016年5月1日

　　范淼，清华大学计算机系人工智能研究所博士，研究方向涉及机器学习与自然语言处理技术。2015年3月受国家留学基金委公派至美国纽约大学计算机系联合培养。攻读博士期间，于所在研究领域内多个重要国际会议与期刊上发表论文近20篇。先后在Hulu、MSRA（微软亚洲研究院）、百度自然语言处理部、Bosch（博世）北美硅谷研究院等多个公司的研发部门实习，并承担机器学习与自然语言处理相关的研究任务。

　　李超， 工学博士，清华大学副研究员，信息技术研究院Web 与软件技术研究中心副主任。中国计算机学会信息存储技术专委会委员、中国计算机学会高级会员、全国文献影像技术标准化技术委员会（SAC/TC86/SC6）委员、IEEE 会员。研究领域包括海量数据存储、组织与管理、分析，及其在数字图书馆/档案馆/教育/医疗/金融等领域的应用。主持及参与多项国家973、863、科技支撑、自然基金等纵向项目及横向合作项目。已发表学术论文50 余篇、获得授权发明专利10 余项。

第1章 简介篇..............................................................1
1.1 机器学习综述..............................................................1
1.1.1 任务....................................................................3
1.1.2 经验....................................................................5
1.1.3 性能....................................................................5
1.2 Python编程库..............................................................8
1.2.1 为什么使用Python........................................................8
1.2.2 Python机器学习的优势....................................................9
1.2.3 NumPy & SciPy..........................................................10
1.2.4 Matplotlib.............................................................11
1.2.5 Scikit-learn..........................................................11
1.2.6 Pandas.................................................................11
1.2.7 Anaconda...............................................................12
1.3 Python环境配置...........................................................12
1.3.1 Windows系统环境........................................................12
1.3.2 Mac OS 系统环境........................................................17
1.4 Python编程基础...........................................................18
1.4.1 Python基本语法.........................................................19
1.4.2 Python 数据类型........................................................20
1.4.3 Python 数据运算........................................................22
1.4.4 Python 流程控制........................................................26
1.4.5 Python 函数（模块）设计................................................28
1.4.6 Python 编程库（包）的导入..............................................29
1.4.7 Python 基础综合实践....................................................30
1.5章末小结..............................................................33

第2章 基础篇..............................................................34
2.1监督学习经典模型.........................................................34
2.1.1分类学习...............................................................35
2.1.1.1 线性分类器
2.1.1.2 支持向量机（分类）
2.1.1.3 朴素贝叶斯
2.1.1.4 K近邻（分类）
2.1.1.5 决策树
2.1.1.6 集成模型（分类）
2.1.2回归预测...............................................................64
2.1.2.1 线性回归器
2.1.2.2 支持向量机（回归）
2.1.2.3 K近邻（回归）
2.1.2.4 回归树
2.1.2.5 集成模型（回归）
2.2 无监督学习经典模型.......................................................81
2.2.1数据聚类......................................................81
2.2.1.1 K均值算法
2.2.2特征降维...............................................................91
2.2.2.1 主成分分析
2.3 章末小结.................................................................97

第3章 进阶篇...............................................................98
3.1 模型实用技巧.............................................................98? 
3.1.1 特征提升...............................................................99
3.1.2 模型正则化............................................................111
3.1.3 模型检验..............................................................121
3.1.4 超参数搜索............................................................122
3.2 流行库/模型实践.........................................................129
3.2.1自然语言处理包（NLTK）................................................131
3.2.2 词向量（Word2Vec）技术................................................133
3.2.3 XGBoost模型...........................................................138
3.2.4 Tensorflow框架........................................................140
3.3 章末小结................................................................152

第4章 实战篇..............................................................153
4.1 Kaggle平台简介..........................................................153
4.2 Titanic罹难乘客预测.....................................................157
4.3 IMDB影评得分估计........................................................165
4.4 MNIST手写体数字图片识别.................................................174
4.5 章末小结................................................................180

后记.....................................................................181

参考文献.................................................................182

　　《Python机器学习及实践：从零开始通往Kaggle竞赛之路》面向所有对机器学习与数据挖掘的实践及竞赛感兴趣的读者，从零开始，以Python编程语言为基础，在不涉及大量数学模型与复杂编程知识的前提下，逐步带领读者熟悉并且掌握当下流行的机器学习、数据挖掘与自然语言处理工具，如Scikit-learn、NLTK、Pandas、gensim、XGBoost、Google Tensorflow等。

　　《Python机器学习及实践：从零开始通往Kaggle竞赛之路》共分4章。第1章简介篇，介绍机器学习概念与Python编程知识；第2章基础篇，讲述如何使用Scikit-learn作为基础机器学习工具；第3章进阶篇，涉及怎样借助高级技术或者模型进一步提升既有机器学习系统的性能；第4章竞赛篇，以Kaggle平台为对象，帮助读者一步步使用本书介绍过的模型和技巧，完成三项具有代表性的竞赛任务。

 《Python机器学习及实践：从零开始通往Kaggle竞赛之路》帮助对机器学习、数据挖掘感兴趣的读者整合时下流行的基于Python语言的程序库。如Scikit-learn，Pandas NLTK，Gensim XGBoost，TensorFlow等，并且针对现实中遇到的数据，甚至是Kaggle竞赛中的分析任务，快速搭建有效的机器学习系统。

　　同时，作者尽力减少读者为了理解本书，而对编程技能、数学背景的过分依赖，进而降低机器学习模型的实践门槛，让更多的兴趣爱好者体会到使用经典模型以及新的高效方法解决实际问题的乐趣。