【假一罚四】AB实验刘玉凤著

为什么要写这本书
AB实验作为利用数据驱动增长的重要手段，可以在推断因果效应的同时量化策略效果，在产品创新、优化和改进中发挥着越来越重要的作用。AB实验是一项复杂的系统工程。如果没有坚实的理论基础、强大的平台能力、丰富的实践经验作为支撑，那么很容易得出错误的AB实验结论，进而让组织做出错误的决策，错失发展机会。
从我的亲身经历和对大量企业的调研了解来看，当前有相当多的从业者，甚至大型互联网企业的技术人员，对AB实验的理解还处于比较粗浅的阶段，甚至存在很多误解。许多企业的AB实验实践停留在初级阶段，对于如何高效开展AB实验、构建基于数据和实验的企业文化，还没有形成成熟的方法论，导致实验过程反复和低效。同时，在市面上，系统阐述AB实验原理、平台建设、实践、文化建设等方面的图书非常少，大量希望学习AB实验的读者找不到有效的渠道来获得专业知识。
我曾参与过多种类型业务场景下AB实验的设计与分析，也负责过大型AB实验平台的建设。通过学习国内外公司先进的经验，并在实践中不断尝试，我积累了丰富的AB实验经验。本着分享、交流、学习的心态和初衷，我撰写了本书。AB实验是一个系统性的工程，涉及的知识非常广泛。本书以AB实验相关的知识为重点，扩展了与AB实验紧密相关的内容，比如指标体系建设、AB实验之外的因果分析方法、用户调查方法等。
希望本书能对广大正在践行AB实验的读者有所启发，加深行业对于AB实验的理解，提升AB实验实践的科学性，促进AB实验文化的发展。希望读者能借助AB实验这个有力的工具，成功实现产品增长。
读者对象
本书适合所有对AB实验有需求的企业管理者、相关从业者，以及对于数据驱动增长、数据科学等领域感兴趣的读者。目前大部分AB实验集中在互联网行业，因为其天生具有进行在线AB实验的优势和强烈需求。我们以典型的互联网公司中主要角色的视角来看本书对不同的角色的主要价值。
企业管理者和决策者：对于企业管理者来说，如果企业当前还没有AB实验，他们需要确定企业当前阶段是否需要引入AB实验，以及以什么样的方式引入（自建或采购）。因为涉及企业当前的财务、人力状况以及产品未来的规划，所以只能由他们做出决策。对于已经在进行AB实验的企业，管理者和决策者需要了解AB实验的原理以及AB实验是如何运行、如何分析的，充分了解后他们在阅读AB实验报告的时候才不会被数据戏法所欺骗。本书介绍的很多案例中，针对同一个实验，实验报告如果采用不同的口径或者指标，得出的结果是完全不一样的，决策者必须学会自己看数据和实验报告。
产品经理和运营人员：对于有增长需求且适合进行AB实验的产品来说，产品经理和运营人员就是AB实验的主要发起者。他们需要对自己策划的产品功能、策略、运营活动、方案进行测试，以保证产品的优化和迭代按照组织期望的方向进行。只有具备了系统的AB实验知识，才能设计出合理的AB实验方案，并能够准确判断实验是否正常运行，实验收集数据是否可用且满足实验评估的要求。如果没有扎实的实验知识，得出的实验结果很难保证是科学的、可信的。
数据分析师、数据科学家等数据工作者：AB实验分析是数据分析中一个非常重要的方向，很多公司AB实验的结果是由数据分析师统一输出的，以保证客观性和准确性。在互联网领域，数据分析工作中AB实验分析的比重甚至可能超过30%。不懂AB实验分析的数据分析师在就业竞争中会处于明显的劣势。对于数据科学方向的从业人员来说，有两个区别于传统数据分析的关键点，一个是模型构建能力，另一个就是实验设计和解析能力。在许多大型公司中，数据科学部门肩负着构建实验团队和实验平台以及进行实验评估和实验文化推进的任务。可以说掌握AB实验相关的知识是数据科学家必备的。
前后端、算法等技术开发人员：AB实验的实现涉及整个产品研发链的很多环节，比如前端涉及UI和交互逻辑的下发，后端涉及分流逻辑、触发时机的实现，算法研发更是要频繁使用实验平台进行AB实验。如果这些技术实现者系统地掌握了AB实验的相关知识，那么他们不仅能更好地设计和规划技术架构，而且在代码出现问题的时候，也能通过原理的分析快速定位和修复问题。同时，开发人员也可以用AB实验来测试不同的架构、代码方案的性能等。
本书特色
本书有以下几个主要特色。
内容全面系统、主次分明。本书以AB实验为中心，包含AB实验方方面面的知识，不仅有AB实验相关的理论基础知识、平台建设、文化建设，还涵盖指标体系建设、增长实践、AB实验的局限性以及因果推断、用户研究等内容，内容全面且系统。同时，本书将重点放在对AB实验关键环节的深入理解、关键问题的解决上，力争把问题从原理和实践角度剖析到位，而不是面面俱到地泛泛而谈。
案例丰富，算例清晰，理论扎实又容易读懂。书中重要的知识点都配有翔实的行业实践案例，帮助读者更深入地理解应用场景。我还给出了生动易懂的例子以及严密公式的推导，以深入浅出的方式阐述AB实验涉及的复杂数理知识。比如，统计学中假设检验中的P值、显著性水平等问题，AB实验为什么能进行因果推断，以及需要具备什么条件等。
视野广阔，内容与时俱进，具有先进性。在写作本书时，我对国际前沿热点、新近实践经验、研究成果、最新行业动态进行了持续的跟踪和解析，同时调研了国内多家大型互联网公司的AB实验实践情况，力求让本书具有全球视角下与时俱进的指导意义。
本书主要内容
本书分为6个部分，共21章。
第一部分　了解AB实验（第1章），主要从AB实验的原理、行业案例出发，帮助读者建立对AB实验的基本认知，并从应用视角阐述AB实验的优势、价值，让读者了解学习AB实验的原因。
第二部分　深入AB实验（第2～9章），对于AB实验中的关键问题和挑战、实践中容易出现的问题、较难理解的环节进行深入细致的解析，包括统计学相关、实验分流、实验灵敏度和长期影响评估等方面。
第三部分　AB实验评估指标体系（第10、11章），主要对产品的指标体系和实验评估指标体系进行系统的阐述，介绍了从指标设计、评估、进化，到如何选择好的实验评估指标体系和合并OEC指标。指标体系既是数据体系的基础，也是数据驱动的抓手。没有好的指标体系，就无法计算和度量，数据就无法体现真正的价值。
第四部分　AB实验的基础建设（第12～14章），主要讨论了如何构建AB实验体系，包括实验平台建设相关的工作，以及实验组织和文化应该如何建设，总结了AB实验解决方案框架，以及如何适配不同的行业、产品和业务场景。
第五部分　基于AB实验的增长实践（第15～18章），以增长为目标，围绕AB实验，通过构建想法、验证想法、沉淀想法介绍了AB实验如何在实践中落地。
第六部分　AB实验的局限与补充（第19～21章），重点介绍了AB实验的局限性，以及在不能进行AB实验的时候，还有哪些方法可以进行归因分析和用户调查。
分角色重点导读
分角色重点导读的目的是帮助那些时间有限或者已经有一定基础的读者进行重点学习、快速了解。建议对AB实验了解还比较粗浅或者时间充裕的读者按照顺序学习。
篇章章名决策者产品经理和运营人员数据工作者研发
人员
第一部分第1章AB实验的基本原理和应用√√√√
第二部分第2章AB实验的关键问题√√√√
第3章AB实验的统计学知识√
第4章AB实验参与单元√√
第5章AB实验的随机分流√√√
第6章AB实验的SRM问题√
第7章AA实验√
第8章AB实验的灵敏度√√√
第9章AB实验的长期影响√√√
第三部分第10章产品指标体系√√√√
第11章实验评估指标体系√√√√
第四部分第12章开展AB实验的基础条件√√√
第13章AB实验平台的建设√√√√
第14章实验组织和文化建设√√√
第五部分第15章构建想法：形成产品假设√√√
第16章验证想法：AB实验实践√√
第17章沉淀想法：实验记忆√√√
第18章基于AB实验的增长实践解决方案√√√√
第六部分第19章AB实验的局限性√√√√
第20章AB实验之外的因果分析方法√√
第21章常用的用户调查分析方法√√

资源和勘误
由于本人水平有限，书中难免会有一些不当之处，恳请批评指正。读者可以通过微信公众号“AB实验与产品增长”中的“交流”板块与我联系，真挚期待得到你的反馈。由于篇幅有限，一些内容无法放入书中，比如图片、论文、案例等相关学习资料。读者可以在微信公众号“AB实验与产品增长”中下载这些内容。
致谢
感谢我的家人、朋友的支持和理解！这本书完全是我利用业余时间编写的，牺牲了大量陪伴家人和朋友的时间。在写书期间，你们不仅为我创造了良好的环境让我安心写作，还帮助我进行校对和审阅！没有你们的支持，完成这20多万字的撰写会更加困难。
我将本书献给AB实验践行者、数据科学从业者、产品增长实践者，以及所有致力于数据驱动业务的朋友。正是你们的不懈努力和实践，才使我们对数据科学、AB实验的理解不断深入！

刘玉凤
2022年5月

本书是AB实验领域的标准化著作，它将带领你快速理解AB实验原理、掌握AB实验方法、搭建AB实验平台、塑造基于数据和实验的企业文化，高效开展AB实验、实现用AB实验驱动增长。
作者是某BAT大厂的数据科学家，在数据产品、AB实验等数据科学领域有10余年经验，亲自主导了该厂AB实验平台的搭建和AB实验产品的设计与分析，积累了丰富的经验。
学习本书，你将收获以下知识和技能：
· AB实验的基础知识、关键问题及其挑战；
· AB实验的统计学知识、参与单元、随机分流；
· AB实验的SRM问题、灵敏度、长期影响；
· AB实验的产品指标体系、评估指标体系；
· AB实验的平台建设、组织和文化建设；
· AB实验的增长实践和解决方案；
· AB实验的难点和局限性；
· 因果分析方法和用户调查分析方法
本书内容具有以下3个特点：
（1）全面系统、主次分明：如上所述，本书涵盖AB实验理论、实践的方方面面，重点放在对AB实验关键环节的深入理解、关键问题的解决方案上，力争把关键问题剖析到位，而不是面面俱到地泛泛而谈；
（2）案例丰富、算例清晰：重要知识点都配有翔实的行业案例，帮助读者通过应用场景理解AB实验；以深入浅出的方式阐述了AB实验涉及的复杂数理知识；
（3）全球视野、与时具进：不仅总结了国内外优秀企业的AB实验案例，而且将全球AB实验领域先进的研究成果和案例融入了书中。
通过本书的深入学习，你将成为为一个实验领域的专家，完全可以处理常规的AB实验中的大部分问题，帮助你更好地迭代产品，实现产品的优化和业务的增长。

刘玉凤
毕业于清华大学，获机器学习和数据挖掘专业硕士学位，某互联网大厂高级数据专家和数据科学家，有多年策略产品和数据产品经验。曾负责该厂AB实验平台的搭建和运营，在AB实验领域积累了丰富的经验。
专注数据领域，实践过丰富的业务类型，包括智能硬件、O2O、信息流、出行服务等，在多个业务中担任过数据负责人，不但拥有丰富的2C数据驱动增长的成功经验，还拥有多个2B数据赋能业务的落地经验。
多次受邀在MUSP、产品经理大会等行业大会上演讲，是领域内难得的兼具深度和广度，理论和实践都很扎实的专家。
擅长的技术领域如下。
◆ 全链路数据建设：数据埋点、数据治理、BI建设、指标体系。 
◆ 数据分析与用户洞察：相关性分析、因果性分析、统计学、用户研究等。
◆ 策略和模型：用户增长策略、机器学习和深度学习模型等在业务中的应用。
◆ AB实验：核心原理、平台建设、实验分析。

“快速试错”是互联网公司在增量时代的制胜法宝，PMF、MVP、敏捷开发、灰度发布、内部赛马，都是为了把“快”做到极致。但存量时代到来之后，“试错”的机会成本越来越高，“快”的边际效益递减，法宝开始不灵了。通过科学的因果推断做出正确决策，降低“试错”的机会成本，成了新的方法论红利，而AB实验是目前最广泛适用的因果推断方法。本书深入介绍了相关的统计学原理、应用流程、工具平台和组织文化，以及隐藏其中的问题和陷阱，分享了宝贵的踩坑经验，能够帮助实践中的读者少走很多弯路。 
——　曾炜　　数据科学家/增长专家 

这本书详细记录了作者在大型互联网公司参与实验平台建设、业务运营的丰富经验，并且总结了很多成型的实验方法和归因分析，相信对相关行业的参与者会有比较好的参考意义，是一本值得一看的实战指南。
——　郎兵　　亚马逊前产品总监

本书作者结合实践经验，介绍了AB实验的理论和方法，给从业者在科学数据决策方面实现业务增长带来了很多启发。
——　张华　　百度搜索前项目负责人 

本书深入浅出地介绍了进行AB实验的基本知识，并总结了在实验实操过程中可能遇到的大量问题与解法，可以作为AB实验从业者的入门书。 
——　朱思宇　　腾讯新闻前数据开发负责人