客户留存数据分析与预测

对于每家提供在线产品或服务的公司来说，客户流失和客户互动(也称为客户契合)都是生死攸关的问题。随着数据科学和分析技术的广泛应用，现在的标准做法是聘请数据专家来帮助企业减少客户流失。但是“客户流失”有许多其他数据应用程序中没有的挑战和陷阱，而且直到现在，还没有一本书可以帮助数据专家(或学生)入门这一领域。
在过去的6年里，我为几十种产品和服务做过客户流失分析工作，并在一家名为Zuora的公司担任首席数据科学家。Zuora为客户提供了一个平台来管理它们的产品、运营和财务，你将在整本书的案例研究中看到一些Zuora的客户。在此期间，我尝试用不同的方法分析流失率，并将结果反馈给那些与流失率做斗争的公司员工。我在之前的工作中犯了很多错误，也走了不少弯路，于是萌生了写《客户留存数据分析与预测》的想法，希望其他人避免重蹈我的覆辙。
本书是从数据处理人员的角度来写的：任何人都希望获得原始数据，并提出有建设性的见解，从而减少客户流失。数据处理人员可能是数据科学家、数据分析师或机器学习工程师。或者，他们可能是对数据和代码略知一二的人，被临时要求填补这些职缺。本书主要使用Python和SQL，所以我假设本书的读者是程序员。尽管我提倡使用电子表格来表示和共享数据(我在书中详细介绍了如何实现这一想法)，但不建议尝试在电子表格中执行主要的分析工作，因为许多任务必须按顺序执行，其中一些任务非常重要。此外，可能还需要多次对数据进行清洗和转换。这种工作流程非常适合使用简短的程序，但在电子表格和图形工具中往往难以实现。
因为本书是为数据人员编写的，所以没有详细介绍通过产品和服务来减少客户流失的措施，也就不包含有关如何执行电子邮件和电话营销活动、创建客户流失率手册以及设计定价和包装等操作的详细信息。但本书具有战略意义，它讲授了通过数据驱动的方法来制订客户流失作战计划：选择要开展哪些减少客户流失的活动，针对哪些客户，以及期望得到怎样的结果。也就是说，我将在较高层次上介绍各种减少客户流失的策略，因为这对理解使用数据的背景十分重要。

前    言

这是一本非常难得的优秀图书，尽管它主要面向熟悉编程和数据处理的技术人员，但十分清晰、引人注目，甚至很有趣。特别是第1章，它是所有对成功运营订阅业务感兴趣的人的内容，所以赶紧再买一本送给你的老板吧。
想到所有不同领域的公司都将从这些清晰的分析中获益，着实让人兴奋。从流媒体服务到工业制造商，服务于全球经济各个领域的数据专家都将密切关注Carl的书。今天，整个世界都以“服务”的方式运行，包括交通、教育、媒体、医疗、软件、零售、制造业及其他所有行业。
所有这些新兴数字服务正在生成大量的数据，由此产生了从信号到噪声的巨大挑战，这就是为什么本书如此重要。我的工作主要就是研究这个主题，据我所知，没有人写过这样一本实用和权威的指南。本书将告诉你如何有效地筛选信息，从而减少客户流失，并让订阅者感到满意。在运营订阅业务时，流失率是一个生死攸关的问题。
Carl Gold的工作已经为成千上万的企业家所熟知。他是研究项目“Subscription Economy Index”的负责人，这是一项一年两次的基准研究，反映了分布在各个行业的数百家订阅公司的增长指标。作为Zuora的首席数据科学家，Carl负责处理和准备及时、准确的金融数据集。Zuora不仅是一家成功的软件公司，也是业界公认的思想领袖，而Carl正是这一切实现的重要因素。
如果你正在阅读本书，你将很快可以为你公司的成功做出直接和实质性的贡献。但正如Carl在书中经常讨论的那样，仅仅进行分析是不够的，还需要能够将你的成果传达给整个企业。
所以，你可以通过本书学习如何进行恰当的分析，也可以用它来学习如何分享、实施，以及如何在工作中脱颖而出。本书包含大量的例子、案例研究和建议。我们是如此幸运，在订阅经济的初期，就可以通过这本里程碑式的优秀书籍了解从事这项工作所需要的所有知识。

——Tien Tzuo，Zuora创始人及首席执行官

对于任何依赖经常性收入和重复销售的企业来说，让客户保持活跃并持续购买是必不可少的。客户流失(或“流失”)，这种代价高昂且令人沮丧的事情是可以预防的。通过使用本书中介绍的技术，你可以识别客户流失的预警信号，并学会在客户离开之前识别并挽留他们。 《客户留存数据分析与预测》向开发人员和数据科学家传授经过实践证明的技术与方法，可以在客户流失发生之前阻止其发生。本书包含很多来自现实中的示例，介绍如何将原始数据转换为可衡量的行为指标、计算客户生命周期价值，并使用人口统计数据改进客户流失预测。通过遵循 Zuora 首席数据科学家 Carl Gold 的方法，你将获得高客户留存率带来的优势。 主要内容 ● 计算流失指标 ● 通过客户行为预测客户流失 ● 使用客户细分策略减少客户流失 ● 将客户流失分析技术应用于其他业务领域 ● 使用人工智能技术进行准确的客户流失预测

Carl Gold是Zuora,Inc.的首席数据科学家。Zuora是一个综合订阅管理平台和新上市的硅谷独角兽公司，在全球拥有1000多家客户。Zuora的客户来自众多行业，包括软件(软件即服务，SaaS)、媒体、旅游服务、消费包装商品、云服务、物联网(Internet of Things，IoT)和电信运营商。Zuora在订阅和经常性收入方面是公认的领导者。Carl于2015年加入Zuora，担任首席数据科学家，并为Zuora的客户分析产品Zuora Insights开发了预测分析系统。

第Ⅰ部分  构建自己的“装备库”
第1章  客户流失 3
1.1  为什么阅读本书 4
1.1.1  典型的客户流失场景 5
1.1.2  本书主要内容 6
1.2  对抗客户流失 6
1.2.1  减少客户流失的干预措施 7
1.2.2  为什么客户流失难以对抗 8
1.2.3  有效的客户指标：防止客户
流失的利器 11
1.3  本书为何与众不同 13
1.3.1  实用且透彻 13
1.3.2  模拟案例研究 14
1.4  具有重复用户交互性的产品 15
1.4.1  支付消费品的费用 16
1.4.2  B2B服务 16
1.4.3  客户流失与媒体广告 17
1.4.4  消费者订阅 17
1.4.5  免费增值商业模式 18
1.4.6  App内购买模式 18
1.5  非订阅服务的客户流失场景 18
1.5.1  将“不活跃”看作“流失” 18
1.5.2  免费试用转换 19
1.5.3  upsell和down sell 19
1.5.4  其他“是/否”客户预测 19
1.5.5  用户行为预测 20
1.5.6  其他与客户流失不同的用例 20
1.6  消费者行为数据 20
1.6.1  常见客户事件 20
1.6.2  重要的事件 23
1.7  对抗客户流失的案例分享 24
1.7.1  Klipfolio 24
1.7.2  Broadly 25
1.7.3  Versature 26
1.7.4  社交网络模拟 27
1.8  使用客户指标进行
案例研究 27
1.8.1  利用率 28
1.8.2  成功率 30
1.8.3  单位成本 31
1.9  本章小结 34
第2章　测量流失率 35
2.1  定义流失率 38
2.1.1  计算流失率和留存率 39
2.1.2  流失率和留存率的关系 40
2.2  订阅数据库 40
2.3  基本的客户流失计算：
净留存率 42
2.3.1  净留存率计算 42
2.3.2  使用SQL计算净留存率 44
2.3.3  解释净留存率 47
2.4  标准流失率计算：基于客户
数量的流失 49
2.4.1  标准流失率定义 49
2.4.2  用于计算流失率的外连接 50
2.4.3  使用SQL计算标准流失率 51
2.4.4  何时使用标准流失率 53
2.5  基于事件的非订阅产品
流失率 53
2.5.1  通过事件确定活跃客户和
流失客户 54
2.5.2  使用SQL计算基于客户活跃度
的流失率 54
2.6  高阶流失率：MRR流失率 56
2.6.1  MRR流失率的定义和计算 57
2.6.2  使用SQL计算MRR流失率 58
2.6.3  MRR流失率、客户数流失率与
净流失率 60
2.7  流失率测量转换 61
2.7.1  幸存者分析(高级) 61
2.7.2  流失率转换 63
2.7.3  通过SQL对任意时间窗口内的
流失率进行转换 64
2.7.4  选择流失率测量窗口 65
2.7.5  季节性和流失率 66
2.8  本章小结 67
第3章　客户指标计量 69
3.1  从事件到指标 71
3.2  事件数据仓库模式 72
3.3  统计某个时间段内的事件 74
3.4  指标周期定义的详细信息 76
3.4.1  行为周期 76
3.4.2  用于指标测量的时间戳 77
3.5  在不同时间点测量 78
3.5.1  重叠测量窗口 78
3.5.2  时序指标测量 81
3.5.3  保存测量指标 81
3.5.4  保存模拟示例的指标 83
3.6  测量事件属性的总数和
平均值 84
3.7  指标质量保证 85
3.7.1  测量指标如何随时间变化 85
3.7.2  QA案例研究 88
3.7.3  检查指标覆盖率 90
3.8  事件QA 92
3.8.1  检查事件如何随时间变化 92
3.8.2  检查每个账户的事件 95
3.9  选择行为测量的测量周期 97
3.10  测量账户使用期 99
3.10.1  账户使用期定义 99
3.10.2  账户使用期的递归CTE 101
3.10.3  账户使用期SQL程序 103
3.11  测量MRR和其他订阅
指标 106
3.11.1  计算MRR并作为指标 106
3.11.2  特定数量的订阅 108
3.11.3  计算订阅单元数量并作为
指标 109
3.11.4  计算计费周期并作为
指标 110
3.12  本章小结 112
第4章　观察续订与流失 115
4.1  数据集介绍 116
4.2　如何观察客户 117
4.2.1  提前进行观察 117
4.2.2  观察续订和流失的顺序 119
4.2.3  创建订阅数据集 120
4.3  从订阅中识别活跃期 121
4.3.1  活跃期 121
4.3.2  用于存储活跃期的模式 122
4.3.3  寻找正在进行的活跃期 123
4.3.4  找到以客户流失为结束的
活跃期 124
4.4  识别非订阅产品的活跃期 128
4.4.1  活跃期定义 128
4.4.2  从事件生成数据集的过程 129
4.4.3  用于计算活跃周的SQL 130
4.5  选择观察日期 132
4.5.1  平衡流失和非流失观察 132
4.5.2  选择观察日期的算法 133
4.5.3  计算观察日期的SQL程序 134
4.6  探索客户流失数据集 137
4.7  导出当前客户进行细分 141
4.7.1  选择活跃账户和指标 141
4.7.2  通过指标来细分客户 143
4.8  本章小结 143
第Ⅱ部分　动手实践
第5章　通过指标理解客户流失和
客户行为 147
5.1  指标队列分析 149
5.1.1  队列分析背后的思想 150
5.1.2  使用Python进行队列分析 152
5.1.3  产品使用队列 155
5.1.4  账户使用期队列 157
5.1.5  计费周期的队列分析 159
5.1.6  小队列规模 160
5.1.7  显著和不显著的队列差异 161
5.1.8  具有大量零客户指标的指标
队列 162
5.1.9  因果关系：指标是否会导致
客户流失 163
5.2  总结客户行为 164
5.2.1  了解指标的分布 164
5.2.2  用Python计算数据集汇总统计
信息 166
5.2.3  筛选罕见指标 168
5.2.4  邀请业务人员共同保证数据
质量 168
5.3  指标分数 169
5.3.1  指标分数背后的想法 169
5.3.2  指标分数算法 170
5.3.3  使用Python计算指标分数 171
5.3.4  使用评分指标进行队列
分析 173
5.3.5  MRR的队列分析 175
5.4  删除无效的观察 176
5.4.1  从流失分析中删除非付费
客户 177
5.4.2  在Python中根据指标阈值
删除观察 178
5.4.3  从罕见指标分析中删除零
测量值 179

5.4.4  脱离行为：与流失率增加相关
的指标 180
5.5  使用队列分析细分客户 182
5.5.1  细分过程 182
5.5.2  选择细分标准 182
5.6  本章小结 183
第6章　客户行为之间的关系 185
6.1  行为之间的相关性 186
6.1.1  “指标对”之间的相关性 186
6.1.2  使用Python计算相关性 190
6.1.3  使用相关性矩阵了解指标集
之间的相关性 191
6.1.4  案例研究的相关性矩阵 193
6.1.5  在Python中计算相关性矩阵 194
6.2  对行为指标组计算平均值 196
6.2.1  为什么要计算相关性指标分数
的平均值 196
6.2.2  使用载荷矩阵(权重矩阵)
计算平均分数 197
6.2.3  载荷矩阵的案例研究 198
6.2.4  在Python中应用载荷矩阵 200
6.2.5  基于指标组平均分数的流失
队列分析 202
6.3  发现相关性指标组 204
6.3.1  通过聚类对指标进行相关性
分组 204
6.3.2  在Python中计算聚类相关性 206
6.3.3  将分数的平均值作为分数载荷
矩阵的权重 211
6.3.4  运行指标分组及分组队列分析
列表 212
6.3.5  为聚类选择相关性阈值 213
6.4  向业务人员解释相关性
指标组 215
6.5  本章小结 217

第7章　使用高级指标对客户
进行细分 219
7.1  比率指标 221
7.1.1  何时以及为什么使用比率
指标 221
7.1.2  如何计算比率指标 224
7.1.3  比率指标案例研究 229
7.1.4  模拟社交网络的其他比率指标 231
7.2  指标占比 232
7.2.1  计算指标占比 232
7.2.2  案例研究：带有两个指标的
总指标百分比 235
7.2.3  带有多个指标的总指标百分比
案例研究 237
7.3  衡量变化的指标 238
7.3.1  衡量活跃水平的变化 238
7.3.2  具有异常值(肥尾)的
指标分数 242
7.3.3  测量自上次活跃事件发生
以来的时间 246
7.4  缩放指标时间段 249
7.4.1  将较长周期的指标转换为
较短的引用周期指标 250
7.4.2  估算新账户的指标 253
7.5  用户指标 258
7.5.1  测量活跃用户 258
7.5.2  活跃用户指标 260
7.6  比率选择 262
7.6.1  为什么使用比率，还有什么
选择 262
7.6.2  使用哪些比率 263
7.7  本章小结 264
第Ⅲ部分　特殊技巧与方法
第8章　预测客户流失 269
8.1  通过模型预测流失 270
8.1.1  用模型进行概率预测 270
8.1.2  客户参与和留存率 271
8.1.3  参与度和客户行为 272
8.1.4  偏移量将观察到的流失率与
S曲线相匹配 274
8.1.5  逻辑回归概率计算 275
8.2  审查数据准备 276
8.3  拟合客户流失模型 279
8.3.1  逻辑回归的结果 279
8.3.2  逻辑回归代码 281
8.3.3  解释逻辑回归结果 284
8.3.4  逻辑回归案例分析 286
8.3.5  模型校准和历史流失概率 288
8.4  预测客户流失概率 289
8.4.1  准备当前客户数据集以
进行预测 289
8.4.2  准备当前客户数据用于
客户细分 294
8.4.3  使用保存的模型进行预测 294
8.4.4  案例学习：预测 297
8.4.5  预测校准和预测漂移 298
8.5  流失预测的陷阱 300
8.5.1  相关性指标 300
8.5.2  异常值 302
8.6  客户生命周期价值 306
8.6.1  CLV的含义 306
8.6.2  从客户流失到预期客户
生命周期 308
8.6.3  CLV公式 309
8.7  本章小结 310
第9章　预测准确性和机器学习 313
9.1  衡量客户流失预测的
准确性 314
9.1.1  为什么不使用标准准确度
测量来衡量流失率 314
9.1.2  使用AUC衡量客户流失预测
的准确性 317
9.1.3  使用提升测量客户流失预测
的准确性 319
9.2  历史准确性模拟：回测 323
9.2.1  什么是回测以及为什么
进行回测 324
9.2.2 &nbs