New Internet

　　序一
　　读毕谭磊（Raymond）贤弟的《New Internet——大数据挖掘》原稿后，意犹未尽，又继续再读一遍，皆因内容实在太充实，笨拙的吾一次阅览未能完全消化。
　　自从懵懵懂懂进入广告传播这个行业后，便与数据这位“性感”魔鬼形影不离，每次执行项目如果没有数据便如同得了爱情单思病，茶饭不思、坐立不安、辗转难眠。
　　本书内容安排得井井有条，艰深的理论下笔深入简出，令吾不知不觉坠入黄金屋，整个周末“狠狠”地消化完Raymond的杰作。
　　数据不单只是性感，数据更是神圣的，神圣的数据能够提供充分的信息给各行各业，使这些企业能有所依据地及时优化其产品、服务、渠道、传播、研发等。
　　数据不是深不可测的，可以这样来简单理解——如同我们日常使用信用卡的数据，当我们将一个时段的数据归纳后，便可以了解自己的消费规律。将各式不同规律的消费者数据归纳后，企业便能洞察自己的产品、服务，以及用户的年龄、性别、国籍、地理位置等的规律。如何发现和运用这些性感数据的规律，便是各门各派的夺宝妙方。
　　这本书做了大量的资料研究，参考过丰富的素材，选纳众多案例并加以仔细分析，令吾读来得心应手，实乃学习或研究大数据的优秀参考资料，感谢Raymond的贡献！
　　邓广梼
　　互动通控股集团总裁
　　北京大学客座教授

　 序二
　　首悉数据之说，还是1997年在星传时。领导说，要注意收集数据，包括消费者接触的目的、习惯、联想等。现在想来，显示这些数据的采集来源更值得推敲，有些可能不符合数据来源的真实性。
　　1999年在电通，为了数据，启用市调公司，做调查，看报告。之后想来，当时设计的大多问题已经提供了供选择的答案，而答案的指向又是我们的主观认识，所以获取的数据可能不符合客观事实性要求。
　　之后在奥美，强调活动时的数据收集。于是用Word制作了大量的数据收集卡，现场填或发礼品换，在多个地方用了多种方法。现在想来，可能不符合数据的全面性。
　　再之后在宝洁，基础数据自然很多，要用数个只有几兆容量的U盘储存。但有时多了也很苦恼。因为，有需要索引时，怎么分析呢？有时免不了一个个地查，搜索关键字。现在想来，自己真的没学到一个好的数据检索方法。
　　2005年去了一家网游公司。作为当时国内最大的几个游戏公司之一，数据已经多到要用几个移动硬盘储存了。网游公司又历来强调数据的挖录，比如登录、消费频次、道具购买力、喜好度，等等。但总觉得挖掘得不够深。现在想来是因为数据在收集开始时，就已经是被填写后的才被收集，跟踪也是滞后的，所以缺乏主动性。
　　以后，因为投资了家互联网广告公司，所以知道数据该如何收集，如何分析，如何跟踪……但似乎还缺乏些什么。问自己，到底是什么，窃以为是缺乏对数据的甄选方法，白白浪费了很多与眼前无关，但实则有用的数据。这个算是缺乏数据收集的全面性吧。
　　此次有幸看了谭磊兄的《NewInternet：大数据挖掘》一书，此书非纯理论之书，且立意颇高，并有许多案例，更是见解独到。
　　想真正了解何为数据，如何对其进行采集、分析、挖掘与应用，请看此书。
　　火山Volcano
　　天使投资人
　 序三
　　认识作者Raymond已经很多年了。与Raymond认识、熟悉，再深入的交流，他给我的印象是思维敏锐，执行力强。自在微软工作开始，与Raymond便有很多交流。之后我们先后离开了微软回国创业。
　　自在微软时，我们就经常讨论国内互联网的发展方向，其实当初我们对于国内互联网企业的核心竞争力的意见并不一致，但有一点我们是达成共识的，就是未来互联网企业的竞争力不仅是“争夺”用户的能力，而且是“挖掘”用户价值的能力。我们都认为，挖掘用户价值的实质就是以大数据挖掘为核心的技术和运用。在这点上，中国互联网公司需要更加注重手里的数据资源，深挖出更大的信息价值，才能进一步提升用户价值或者是单用户的平均产出值（ARPU值）。
　　BigData作为业界在2012年讨论得最多的话题，受到的重视程度很高，也因而有了不少相关的文章和书籍。在此之前，讲述大数据和数据挖掘的书虽然很多，但是大多比较偏理论，给实际应用者的帮助并不大。而Raymond的这本《NewInternet：大数据挖掘》则从一个全新的角度讲述了在数据挖掘领域的大数据，给予数据挖掘和运营人员很好的实战指导。
　　大数据挖掘这个课题涉及的学科很多，要写好关于数据挖掘的书既要有丰富的实践经验做基础，还需要有扎实的理论知识。我很高兴地看到，Raymond在这本新书中把他之前的实践和理论知识有机地结合起来了。
　　陶闯Vincent Tao
　　PPTV CEO，Ph.D.

 谭磊，复旦大学计算机学士，美国杜克大学计算机硕士，在美国微软服务时间超过13年，曾经担任多家公司多个层级技术管理岗位，在搜索、互联网广告、数据挖掘、电子商务等方面有丰富的经验，是互联网技术领域资深专家。

第1章 绪论——从淘金客到矿山主
1.1 大数据时代的“四V”
1.2 什么是大数据挖掘
1.2.1 从数据分析到数据挖掘
1.2.2 Web挖掘
1.2.3 大数据挖掘之“大”
1.3 大数据挖掘的国内外发展
1.3.1 数据挖掘的应用发展
1.3.2 数据挖掘研究发展
1.4 本书内容

第2章 一小时了解数据挖掘
2.1 数据挖掘是如何解决问题的
2.1.1 尿不湿和啤酒
2.1.2 Target和怀孕预测指数
2.1.3 电子商务网站流量分析
2.2 分类：从人脸识别系统说起
2.2.1 分类算法的应用
2.2.2 数据挖掘分类技术
2.2.3 分类算法的评估
2.3 一切为了商业
2.3.1 什么是商业智能（Business Intelligence）
2.3.2 数据挖掘的九大定律
2.4 数据挖掘很纠结
2.5 数据挖掘的基本流程
2.5.1 数据挖掘的一般步骤
2.5.2 几个数据挖掘中常用的概念
2.5.3 CRISP-DM
2.5.4 数据挖掘的评估
2.5.5 数据挖掘结果的知识表示
2.6 本章相关资源

第3章 数据仓库——数据挖掘的基石
3.1 存放数据的仓库
3.1.1 数据仓库的定义
3.1.2 数据仓库和数据库
3.2 传统的数据仓库介绍
3.3 数据仓库基本结构
3.4 OLAP联机分析处理
3.5 云存储上的数据仓库
3.5.1 Google公司的云架构
3.5.2 开源的分布式系统Hadoop
3.5.3 Facebook的数据仓库
3.5.4 NoSQL
3.6 本章相关资源

第4章 数据挖掘算法及原理
4.1 数据挖掘中的算法
4.2 数据挖掘十大经典算法
4.3 分类算法（Classification）
4.4 聚类算法（Clustering）
4.5 关联算法
4.5.1 关联算法中的概念
4.5.2 关联规则数据挖掘过程
4.5.3 关联规则的分类
4.5.4 Apriori算法的执行实例
4.5.5 关联规则挖掘算法的研究与优化
4.6 序列挖掘（Sequence Mining）
4.7 数据挖掘建模语言PMML
4.8 本章相关资源

第5章 在进行数据挖掘之前
5.1 数据集成
5.2 为何要做数据预处理
5.3 数据预处理
5.3.1 数据清理
5.3.2 数据转换
5.3.3 数据规约
5.4 本章相关资源

第6章 R语言和其他数据挖掘工具
6.1 R语言的历史
6.1.1 R语言的特点
6.1.2 R语言和数据挖掘
6.2 其他数据挖掘工具
6.2.1 MATLAB
6.2.2 其他商用数据挖掘工具
6.2.3 开源数据挖掘工具Weka
6.3 数据挖掘和云
6.4 本章相关资源

第7章 互联网上的日志分析
7.1 网站日志简介
7.2 网站日志处理
7.2.1 Web日志预处理
7.2.2 Web日志分析和数据挖掘
7.3 邮件日志
7.4 本章相关资源

第8章 数据挖掘和电子邮件
8.1 邮件营销与垃圾邮件过滤
8.2 数据挖掘和邮件营销
8.2.1 如何有效地进行邮件营销
8.2.2 邮件营销案例分享之一
8.2.3 邮件营销案例分享之二
8.2.4 运用数据挖掘RFM模型提高邮件营销效果
8.3 数据挖掘和垃圾邮件过滤
8.3.1 垃圾邮件
8.3.2 垃圾邮件过滤技术
8.3.3 垃圾邮件过滤案例
8.4 本章相关资源

第9章 数据挖掘和互联网广告
9.1 互联网广告
9.2 广告作弊行为
9.3 网站联盟广告
9.4 网站联盟广告上的数据挖掘
9.4.1 数据助力网盟广告
9.4.2 如何应对网盟广告作弊
9.5 本章相关资源

第10章 数据挖掘和电子商务
10.1 中国电子商务现状
10.2 在互联网上卖米
10.3 用数据来掌握客户
10.3.1 客户何时来、从哪来
10.3.2 客户最喜欢哪种商品
10.3.3 竞争与反竞争分析
10.3.4 客户还会买什么
10.3.5 哪些客户是我们需要的
10.4 电子商务案例
10.4.1 电子商务企业案例一
10.4.2 电子商务企业案例二
10.5 本章相关资源

第11章 数据挖掘和Web挖掘
11.1 互联网上的个性化-Like
11.1.1 Like=像
11.1.2 Like=喜欢
11.2 Web挖掘和SNS
11.2.1 SNS上的数据价值
11.2.2 SNS上的数据关联关系
11.2.3 SNS上的用户关系
11.3 数据挖掘和隐私
11.4 本章相关资源

第12章 数据挖掘和移动互联网
12.1 移动互联网的特殊性
12.1.1 锁定用户的数据价值
12.1.2 移动互联网上数据的形式
12.1.3 移动互联网地理位置信息的价值
12.2 数据挖掘和LBS
12.2.1 用PU学习算法做文本挖掘
12.2.2 用相似匹配算法做地点挖掘
12.3 移动互联网数据面临的问题
12.4 本章相关资源

附录1 技术词汇表
附录2 英语参考文献表
附录3 中文参考文献表
附录4 微博
附录5 博客和其他网址

　　《New Internet：大数据挖掘》全面地介绍了如何使用数据挖掘技术从各种结构的（数据库）或非结构（Web）的海量数据中提取和产生业务知识。作者梳理了各种数据挖掘常用算法和信息采集技术，系统地描述了实际应用时如何在互联网日志分析、电子邮件营销、互联网广告和电子商务上进行数据挖掘，着重介绍了数据挖掘的原理和算法在互联网海量数据挖掘中的应用。
　　《New Internet：大数据挖掘》主要特点：全面介绍了数据挖掘和大数据的基本概念和技术；大量采用了实际案例，实用性强；详细介绍了大数据挖掘领域的商业应用。

 《New Internet:大数据挖掘》全面介绍了数据挖掘和大数据的基本概念和技术；大量采用了实际案例，实用性强；详细介绍了大数据挖掘领域新的商业应用。《New Internet:大数据挖掘》是从事数据挖掘研究和开发，或者是互联网相关行业从事数据运营的专业人员理想的参考书，同时也可作为了解数据挖掘应用的入门指南。