A/B测试:创新始于试验
①一般下午5点前订单,当日发货,开发票联系客服②教材,学习,考试类书默认有笔记(或做过)③其他类书一般无笔记,提前与客服沟通好再下单,否则本店不承担责任)④部分图书籍采用标准图片,可能存在不同印次不同封面,内容一致⑤出版时间过长的书都可能有自然发黄现象。
¥
52.43
7.5折
¥
69.9
九品
仅1件
作者王晔
出版社机械工业出版社
ISBN9787111617761
出版时间2019-02
装帧精装
开本32开
定价69.9元
货号1207378241917665287
上书时间2024-11-13
商品详情
- 品相描述:九品
- 商品描述
-
前言
前言 试验不息 创新不止
1. 从一个故事说起
2013年的一天早上,我在谷歌(Google)总部广告质量部门的办公室里盯着显示器上的图表,站在我身旁的是穿着正式的广告产品经理。“看现在的试验数据,我们申请把流量推上20%吧?”“先看看美国地区的细分结果。” 类似这样的严肃讨论几乎天天都在发生,在我的办公室发生,也在几乎每一个其他小团队的办公室发生。
你可能想问,这个对话到底在讨论什么?当时我们团队正在做一个试验,用A/B测试的方法来实施的线上试验。我们需要每天(有时候每小时)观察试验数据,做出项目的下一步决策,如果这个决策的可能影响比较重大,比如会影响到谷歌20%的用户,那么我们需要向上级汇报以得到领导的支持。
我们做的试验是个大胆的想法,这个想法来自搜索部门的产品经理。搜索产品想试试看把谷歌搜索结果(包括广告)里的URL换成结构化的域名,比如把http://www.appadhoc.com/lpo"换成"AppAdhoc.com > LPO"。这么做会不会提升用户浏览搜索结果的效率从而提升用户的广告点击率呢?这样的事情从来没有人做过,包括谷歌的竞争对手们也没有做过。这样的改动用户会喜爱吗?这样做会不会让用户更容易找到想要的搜索结果?有可能,但也不一定,答案似乎见仁见智。没有人能预测这个项目会不会有收益,更没法预测具体会对广告营收带来1%的影响还是10%,0.1%,或者没有任何影响。
如果按照“传统”的企业决策流程,产品经理可以围绕这个想法做一些用户调研,然后将项目汇报给领导,如果领导觉得值得一试(很多情况下领导会劝产品经理放弃),会组织会议进行讨论,因为会议上有人喜欢这个想法有人不喜欢,最终的会议决议可能会放弃这个想法。
谷歌的做法不一样,产品经理将想法口述给领导,领导同意跑一个“2%流量”的试验。技术团队花了几天完成了研发和测试,试验很快就上线了。2%的搜索流量被采样进入试验,其中1%的用户作为对照组会看到URL(比如"http://www.appadhoc.com/lpo"),另外1%的用户作为试验组会看到域名(比如“AppAdhoc.com > LPO")。这两组用户的广告点击率被准确的采样统计,然后对比分析,得出了实时的试验结果。试验结果不是很显著,但是似乎试验版本的样本均值略好一点(比如 +1% [-2%,+4%]),也就是说从采样样本来看试验版本的广告平均点击率高于对照组,但是从统计意义来看还不能确定两者谁更好。通常情况下,试验结果不显著是因为样本量不足,所以我们希望做更多的分析,然后向上司建议将试验推送给更多的用户(20%),获得更多的试验样本,以期待有可能得到更明确的试验结果。
这样的试验项目在谷歌很常见。具体的说,谷歌每个月都会运行1000个以上的试验。每个试验项目的参与者来自这个大公司的各个部门:产品经理,工程师,销售,客服,法务,质检,策略研究者,市场人员,等等。项目的负责人通常是产品经理,她会管理工作进度,协调公司资源。项目的其他参与者会向各自部门领导汇报,保证项目决策得到相关部门的支持。
从谷歌的实践来看,这种跨部门组建的试验项目小团队很有战斗力,谷歌内部几乎所有成功的项目都是这么落地的。我觉得这种成功来自于试验项目的管理得当,目标明确,路线清晰,以及特别重要的——我们可以利用强大的A/B测试。
2. A/B测试带来了很多好处
像“URL改成域名”这样的项目几乎都是通过A/B测试试验系统来实施的。由于这个原因,在谷歌内部,“项目”这个词几乎已经被“试验”所完全替代。广泛使用A/B测试为谷歌带来了长久的巨大的好处:
? 确定可预测的业务提升:每个试验项目的收益在完全上线之前就可以精确衡量,甚至精确到0.01%(注意,考虑到谷歌的业务体量,营收增加0.01%相当于每年多赚或者少赚数百万美元)。如果一个试验会带来负增长,这个项目很可能就不会上线;只有带来正增长的试验项目,才会加大投入并最终推广给全量用户。通过A/B测试精确预测每个项目的商业回报,然后有选择的上线项目,谷歌可以确保每年广告收入增长约20%(约100亿美元规模),从而保证了利润和股价持续10多年的攀升。
? 低风险高效率的试错:试验项目必须经过小流量的灰度发布阶段(例如1%的流量),只有确定达到了业务预期,并且没有故障,没有过负载,没有用户投诉,没有误违政策监管,没有其他风险,才会推广给更多用户。这样做大幅度降低了决策风险,把可能的损失降到最低。同时,A/B测试排除了试验之间的互相干扰,小流量试验可以大量并行进行,大幅度提高了试错效率,把互联网迭代优化的速度推到了极致。谷歌常常有上千个试验并行运行。
? 创新的企业文化:谷歌是一个巨型企业,在全球各地有好几万优秀的员工,公司有复杂的组织架构。这样的公司很容易滋生“大公司病”,每一个决策都可能因为影响的部门太多而遭遇重重阻碍。A/B测试的低风险,高效率,以及过往的成功实践,持续鼓励公司的新老员工开拓思路和大胆创新,避免了故步自封的大公司病问题。创新的企业文化,是企业长久生命力的源泉。小团队创新的工作方法,使阿米巴企业管理方法可以成功落地。
当然,有些项目并不能通过A/B测试来做,比如谷歌的电视棒项目(Chromecast),一个典型的从0到1的创新项目。对于这种没有用户基础的新产品,我们虽然不能用精确方便的A/B测试,但是可以用其他的试验方法,比如最小化可用产品的市场测试(MVP)。
3. 如何复制这个成功
试验尤其是A/B测试的价值很高,在硅谷巨头,华尔街,和各种创新企业都取得了巨大的成功,但是在目前的中国市场还不太成熟。在很多行业,美国企业的试验能力和试验效果都比我们领先很多。对比巨头公司,Google每年的试验数量是携程的10倍;对比A/B测试服务商,Optimizely上的试验数量比吆喝科技AppAdhoc上的试验数量要多10倍。
其实无论是中国美国还是其他市场,还有很多企业没能建立试验创新的文化。要实现试验驱动的增长,需要正确的在企业内建立A/B测试的文化,建设完善的基础设施,采取正确的工作方法。通过我们多年的工作和观察,在尝试走试验驱动路线的企业内,发现了一些常见的问题,大致可以分为三类:
(1) 决策者缺乏试验的思想,项目决策谨慎但是实施坚决。这种“传统”方法经常遇到的问题是投入3个月研发产品大改版,最后没有业务上的回报,甚至用户反馈还不如以前。正确的做法应该是反其道而行之,大胆假设,小心求证。不做试验的企业虽然还为数不少,但是已经大量转变。激烈的市场竞争下,企业越来越结果导向,对领导者和业务骨干的要求也越来越高,大企业的各个层级的领导们越来越重视试错和迭代。
(2) 决策者具有试验的思想,但是缺少A/B测试的正确实施方法。虽然领导希望做A/B测试来验证决策,但是实施起来需要投入大量人力和时间成本,容易出错,试验设计、试验配置、试验结论也常常饱受争议,并没有提高企业效率,甚至事倍功半,形式大于内容。这样的组织可能处在学习互联网思维的实践阶段,随着互联网产业的蓬勃发展和强大影响力,他们正在快速改进,走上正轨。
已经在正确的运用A/B测试,但是效率低频率低。很多业务线一年尝试的试验不到10个,这样的试错速度并没有比传统方法提高多少,只是保证了错误的决策不上线,并没有真正利用好互联网的强大力量。对这些组织来说,目标应该是将试验数量提高10倍,方法是人才培养和文化建设,以及采用更好的A/B测试基础设施,鼓励高频高效的创新项目,增加单位员工的试验产出。
4. 为什么写这本书
意识到这些企业普遍面临的问题后,我觉得A/B测试的系统性知识和经验会对各行各业的业务负责人很有帮助,特别是对互联网线上业务的从业者来说是必备能力,这促成了本书的写作。
A/B测试在各行各业的很多场景都已经有成熟的应用和不可替代的价值,特别是在互联网产业,科学研究,基础农业,医疗,金融,公共政策,市场营销都非常成功。在互联网行业,一个特别热门的A/B测试应用场景就是产品运营的增长黑客。增长黑客借助互联网和A/B测试的力量让业务增长的速度远超传统行业,这套方法容易落地,投入产出比高,无数成功的独角兽互联网企业就是利用增长黑客创新创业创造了财富。本书的内容里,会将重点放在互联网产品运营特别是增长黑客的A/B测试上。
本书的定位是A/B测试的工具书。我们从实践角度出发,介绍了A/B测试的理论原理,标杆企业的最佳实践,进而详细介绍A/B测试的实际应用场景,落地实施流程,和业务产出预期。无论你是决策者还是业务骨干,产品负责人还是软件工程师,内容运营还是市场经理,希望本书的思想和内容可以帮助到你。
在本书的写作中,很多行业专家,特别是吆喝科技的专家们给我提供了丰富的案例素材和专业建议。如果没有他们,这本书无法完成。在此,我要特别感谢刘泽军,李淼,沈国阳,柏利锋,张毅飞,刘飞,李想,蒋守战,李翔宇,陈聪等等。
王晔(Sando Wang)
2018年12月
作者简介
王晔(Sando Wang),吆喝科技公司创始人,清华大学电子工程系硕士、耶鲁大学计算机科学博士学位,中国互联网试验创新领域布道师,“中国创新创业大赛”与“千人计划创业大赛”双料冠军获得者。先后就职于NEC、微软、谷歌等国际知名公司,任职期间负责 P2P 流媒体优化、P4P/ALTO、Google Adwords 质量与移动广告新产品等前沿项目的设计、开发及优化工作,积累了大量试验创新的理论和实战经验。历任IEEE移动计算、GLOBECOM互联网协议与车辆技术评论专家、ACM外部审核专家、2009年对等网络国际研讨会、超现代化的通讯和控制系统2010、2011年国际会议TPC成员。
王晔于2014年回国创立吆喝科技公司,率先将硅谷先进的 A/B 测试理论、方法与技术引入中国,与国内外优秀企业一同探索中国特色的试验创新之路。目前,吆喝科技公司已经帮助数千家企业用户成功运行数万组试验,并荣获2018年人工智能及大数据产业“具投资价值的公司”的称号、2018年盛景创新大奖全球20强等奖项。
目录
赞誉
前言
第1章数据驱动是试验本质
1.1生活处处有试验
1.1.1“鸟”生浮沉启示录:达尔文鸟的自然进化试验
1.1.2林德试验:没有A/B测试,就没有现代医学
1.1.3洁面霜卖点效应:现代广告史就是试验发展史
1.2数据分析与试验
1.2.1数据不只是数字堆叠
1.2.2后验数据分析的局限:数据的“漂亮”与“丑陋”
1.2.3试验:数据驱动业务增长的唯一力量
1.3试验的思维
1.3.1快速试错的互联网思维
1.3.2试验驱动创新,创业依赖于试验
1.3.3依赖试验的增长黑客
1.4试验驱动业务增长
1.4.1试验让低成本探索成为可能
1.4.2试验驱动增长,A/B测试无处不在
1.4.3试验的频度决定发展的速度
1.4.4精益发展,试验正当时
第2章A/B测试的本质是试验
2.1互联网时代下的A/B测试
2.1.1谷歌带领的A/B测试
2.1.2微软、亚马逊、脸书的经验
2.1.3新生代Airbnb的融会贯通
2.1.4A/B测试是优秀企业的标配
2.2A/B测试深入解析
2.2.1A/B测试的定义
2.2.2A/B测试的特性
2.2.3A/B测试的试验类型
2.2.4“伪”A/B测试
2.2.5A/B测试的统计学原理
第3章A/B测试的作战计划
3.1试验的战略制定
3.1.1明确战略目标
3.1.2制定战略路线图
3.1.3管理试验项目2
3.1.4搭建试验的基础设施
3.2试验的战术执行
3.2.1探索、验证闭环:试验驱动业务优化的流程
3.2.2试验方案设计
3.2.3试验的优先级排序
3.2.4高频试验管理
3.3快速上手一个试验
3.3.1收集数据,发现问题
3.3.2建立试验目标
3.3.3提出试验假设
3.3.4运行试验,验证假设
3.3.5分析试验数据,做出决策
3.3.6积跬步至千里,持续优化是关键
3.4实战:从零开始一次A/B测试
第4章A/B测试的完整解决方案
4.1行业:A/B测试在各行业的应用
4.1.1电商经典案例
4.1.2金融经典案例
4.1.3教育经典案例
4.1.4旅游经典案例
4.1.5消费品牌经典案例
4.1.6其他行业(UGC、PGC、媒体网站、SaaS)
4.2场景:A/B测试在各种业务场景中的应用
4.2.1着陆页优化
4.2.2App优化
4.2.3网站体验优化
4.2.4技术优化
4.2.5算法优化
4.2.6基于A/B测试的高效科学运营系统
4.3人群:A/B测试是创新人才的必备技能
4.3.1决策
4.3.2产品
4.3.3运营
4.3.4市场
4.3.5技术
第5章试验星火,终会燎原
5.1人工智能
5.2新零售
5.3AR/VR/新硬件
5.4区块链
5.5智慧城市
附录
附录AA/B测试词典
附录BA/B测试需求分析模板
附录C试验档案表格
附录D快速上手一个试验模板
内容摘要
我们如今看到的各种互联网产品的改版以及创新,其背后都离不开许多上市之前的试验工作,其中被互联网、移动互联网行业广泛应用的试验方法是A/B测试。A/B测试的本质是试验,作为一种新兴的网页优化方法,通过对比试验增加转化率和注册率,带来产品和运营的创新,以实现各项指标的增长,如今它更是增长黑客所必备的核心思维方式和工作方法。在流量日渐昂贵、精细化运营的大环境下,互联网产品、运营和市场营销人员需要具有A/B测试思维,以测试结果为依据做决策,优化页面,提高转化率,迭代产品。
本书作者因在谷歌总部工作时发现了A/B测试的巨大作用而回国创业,并将自己对试验的理解和多年的经验进行梳理,在书中介绍了试验的本质、A/B测试的概念和价值、A/B测试的方法论和实战步骤,以及电商、金融、教育、旅游、快消品、UGC、PGC、媒体网站、SaaS等行业的应用案例,着陆页、App、网站、服务器端和推荐算法等不同场景的优化案例,还有针对决策者、产品经理、互联网运营、市场营销和工程师的测试案例。
主编推荐
适读人群 :互联网从业者,主要是数字营销人员、增长黑客、产品经理、互联网运营人员,在线业务负责人。
无论是数据驱动、精细化运营还是增长黑客,这些都并非真正推动业务的自驱动力,真正具有普适价值、能够赋能每个组织、每个人的思维与技术是——试验,是——A/B测试。这不仅是一次次的技术探索,还是由决策探索、运营探索、产品探索、营销探索、设计探索构成的创新增长巨轮。
前谷歌广告业务的设计、开发和优化参与者、耶鲁大学计算机科学毕业、“中国创新创业大赛”与“千人计划创业大赛”双料冠军获得者——王晔博士,首次深入浅出地讲解A/B测试的理论和实践,特别介绍试验和新兴热点相结合的展望。李丰、宋星、曲卉、范冰、蒋涛等17位公司高管、KOL推荐!
— 没有更多了 —
以下为对购买帮助不大的评价