用户画像：方法论与工程化解决方案

这是一本从技术、产品和运营3个角度讲解如何从0到1构建用户画像系统的著作，同时它还为如何利用用户画像系统驱动企业的营收增长给出了解决方案。作者有多年的大数据研发和数据化运营经验，曾参与和负责多个亿级规模的用户画像系统的搭建，在用户画像系统的设计、开发和落地解决方案等方面有丰富的经验。

全书一共9章：

第1~6章主要讲解了搭建用户画像系统需要掌握的概念、技术、流程、方法论等，包括用户画像的基础知识、数据指标体系、标签数据存储、标签数据开发、开发性能调优、作业流程调度等；

第7章讲解了如何对用户画像进行产品化，为工程实践提供解决方案；

第8章详细讲解了用户画像在经营分析、精准营销和个性化推荐3个经典领域的应用；

第9章通过8个常见的场景讲解了8个用户画像系统的落地案例，帮助读者掌握如何利用用户画像系统来驱动企业的营收增长。

赵宏田——资深大数据技术专家，先后在中国地质大学（武汉）和武汉大学获得工学和经济学双学士学位。在大数据、数据分析和数据化运营领域有多年的实践经验，擅长Hadoop、Spark等大数据技术，以及业务数据分析、数据仓库开发、爬虫、用户画像系统搭建等。开源项目的贡献者，知乎专栏作者，撰写了大量专业文章，广受好评。著有畅销书《数据化运营：系统方法与实践案例》。

前言

第1章　用户画像基础1

1.1　用户画像是什么1

1.1.1　画像简介1

1.1.2　标签类型3

1.2　数据架构4

1.3　主要覆盖模块5

1.4　开发阶段流程7

1.4.1　开发上线流程7

1.4.2　各阶段关键产出9

1.5　画像应用的落地10

1.6　某用户画像案例11

1.6.1　案例背景介绍11

1.6.2　相关元数据12

1.6.3　画像表结构设计16

1.7　定性类画像21

1.8　本章小结22

第2章　数据指标体系23

2.1　用户属性维度23

2.1.1　常见用户属性23

2.1.2　用户性别26

2.2　用户行为维度27

2.3　用户消费维度27

2.4　风险控制维度29

2.5　社交属性维度30

2.6　其他常见标签划分方式31

2.7　标签命名方式33

2.8　本章小结34

第3章　标签数据存储35

3.1　Hive存储35

3.1.1　Hive数据仓库35

3.1.2　分区存储37

3.1.3　标签汇聚39

3.1.4　ID-MAP41

3.2　MySQL存储45

3.2.1　元数据管理45

3.2.2　监控预警数据47

3.2.3　结果集存储47

3.3　HBase存储50

3.3.1　HBase简介50

3.3.2　应用场景52

3.3.3　工程化案例52

3.4　Elasticsearch存储59

3.4.1　Elasticsearch简介59

3.4.2　应用场景60

3.4.3　工程化案例64

3.5　本章小结67

第4章　标签数据开发69

4.1　统计类标签开发69

4.1.1　近30日购买行为标签案例70

4.1.2　近来访标签案例73

4.2　规则类标签开发74

4.2.1　用户价值类标签案例75

4.2.2　用户活跃度标签案例79

4.3　挖掘类标签开发84

4.3.1　案例背景84

4.3.2　特征选取及开发85

4.3.3　文本分词处理86

4.3.4　数据结构处理89

4.3.5　文本TF-IDF权重90

4.3.6　朴素贝叶斯分类92

4.4　流式计算标签开发95

4.4.1　流式标签建模框架95

4.4.2　Kafka简介96

4.4.3　Spark Streaming集成Kafka97

4.4.4　标签开发及工程化99

4.5　用户特征库开发104

4.5.1　特征库规划105

4.5.2　数据开发107

4.5.3　其他特征库规划111

4.6　标签权重计算112

4.6.1　TF-IDF词空间向量112

4.6.2　时间衰减系数114

4.6.3　标签权重配置115

4.7　标签相似度计算116

4.7.1　案例场景116

4.7.2　数据开发118

4.8　组合标签计算122

4.8.1　应用场景122

4.8.2　数据计算123

4.9　数据服务层开发124

4.9.1　推送至营销系统125

4.9.2　接口调用服务127

4.10　GraphX图计算用户129

4.10.1　图计算理论及应用场景129

4.10.2　数据开发案例132

4.11　本章小结135

第5章　开发性能调优137

5.1　数据倾斜调优137

5.2　合并小文件141

5.3　缓存中间数据143

5.4　开发中间表144

5.5　本章小结145

第6章　作业流程调度146

6.1　crontab命令调度146

6.2　Airflow工作平台148

6.2.1　基础概念149

6.2.2　Airflow服务构成150

6.2.3　Airflow安装151

6.2.4　主要模块功能151

6.2.5　工作流调度155

6.2.6　脚本实例155

6.2.7　常用命令行158

6.2.8　工程化调度方案158

6.3　数据监控预警161

6.3.1　标签监控预警161

6.3.2　服务层预警162

6.4　ETL异常排查164

6.5　本章小结166

第7章　用户画像产品化167

7.1　即时查询167

7.2　标签视图与标签查询169

7.3　元数据管理171

7.4　用户分群功能173

7.5　人群分析功能175

7.6　本章小结177

第8章　用户画像应用178

8.1　经营分析178

8.1.1　商品分析178

8.1.2　用户分析179

8.1.3　渠道分析180

8.1.4　漏斗分析185

8.1.5　客服话术186

8.1.6　人群特征分析186

8.2　精准营销187

8.2.1　短信/邮件营销187

8.2.2　效果分析188

8.3　个性化推荐与服务189

8.4　本章小结190

第9章　实践案例详解191

9.1　风控反欺诈预警191

9.1.1　应用背景191

9.1.2　用户画像切入点192

9.2　A/B人群效果测试193

9.2.1　案例背景194

9.2.2　用户画像切入点194

9.2.3　效果分析195

9.3　用户生命周期划分与营销195

9.3.1　生命周期划分196

9.3.2　不同阶段的用户触达策略201

9.3.3　画像在生命周期中的应用204

9.3.4　应用案例206

9.4　高价值用户实时营销209

9.4.1　项目应用背景209

9.4.2　用户画像切入点209

9.4.3　HBase应用场景小结209

9.5　短信营销用户211

9.5.1　案例背景211

9.5.2　画像切入及其应用效果211

9.6　Session行为分析应用213

9.6.1　关于用户行为分析213

9.6.2　案例背景218

9.6.3　特征构建219

9.6.4　分析方法与结论221

9.7　人群效果监测报表搭建228

9.7.1　案例背景228

9.7.2　逻辑梳理228

9.7.3　自动报表邮件237

9.8　基于用户特征库筛选目标人群239

9.8.1　案例背景239

9.8.2　应用方式及效果240

9.9　本章小结241

附录　某产品用户画像项目规划文档242

这是一本从技术、产品和运营3个角度讲解如何从0到1构建用户画像系统的著作，同时它还为如何利用用户画像系统驱动企业的营收增长给出了解决方案。作者有多年的大数据研发和数据化运营经验，曾参与和负责多个亿级规模的用户画像系统的搭建，在用户画像系统的设计、开发和落地解决方案等方面有丰富的经验。

全书一共9章：

第1~6章主要讲解了搭建用户画像系统需要掌握的概念、技术、流程、方法论等，包括用户画像的基础知识、数据指标体系、标签数据存储、标签数据开发、开发性能调优、作业流程调度等；

第7章讲解了如何对用户画像进行产品化，为工程实践提供解决方案；

第8章详细讲解了用户画像在经营分析、精准营销和个性化推荐3个经典领域的应用；

第9章通过8个常见的场景讲解了8个用户画像系统的落地案例，帮助读者掌握如何利用用户画像系统来驱动企业的营收增长。

赵宏田——资深大数据技术专家，先后在中国地质大学（武汉）和武汉大学获得工学和经济学双学士学位。在大数据、数据分析和数据化运营领域有多年的实践经验，擅长Hadoop、Spark等大数据技术，以及业务数据分析、数据仓库开发、爬虫、用户画像系统搭建等。开源项目的贡献者，知乎专栏作者，撰写了大量专业文章，广受好评。著有畅销书《数据化运营：系统方法与实践案例》。

在众多数据分析方法中，用户画像几乎是后期数据工作的“标配”，适用于应用层的个性化推荐、精准营销、客群管理和运营等各个场景。宏田的这本书涵盖画像基础、指标体系搭建、数据存储、数据开发、性能调优、流程调度、产品化案例和实践应用等内容，完整、详实且落地性强，假以时日，会成为有关用户画像的里程碑式的经典书籍。

—— 宋天龙（TonySong） 触脉咨询合伙人兼副总裁/《Python数据分析与数据化运营》作者

本书围绕用户画像主题进行了深度剖析，从实战角度结合多业务场景对用户画像相关技术进行详细讲解。通过本书的学习可以系统地掌握如何搭建一套完整的用户画像系统，掌握所需要的理论知识和技能。宏田对用户画像理解透彻，实战经验丰富，推荐读者品读。

——肖冠宇 小象科技合伙人

用户画像对于企业战略决策和战术实施极为关键，其体系建设是一个非常复杂的工程。本书从方法论和工程化两个层面给出了实际解决方案，对于企业的用户画像体系构建与实践具有极高的参考意义，同时也是数据从业人员难得的参考书籍，强烈推荐。

—— 黄小伟 有赞数据分析团队负责人

用户画像是数据分析和算法工程都无法绕过的话题，书中手把手教授工程实现、模型搭建、应用场景等内容，对于做分层策略的运营人员、追求用户体验的产品经理、寻找解决方案的数据分析师、搭建底层特征的算法工程师来说，是不可多得的案头工具书！　

——李宁 阿里本地生活数据分析专家