阿里巴巴B2B电商算法实战

互联网创业潮
互联网是20世纪伟大的技术发明之一。在20世纪60年代至80年代，各种互联网核心技术突飞猛进。从20世纪90年代开始，基于互联网的商业创新层出不穷，伴随技术变革而产生的创新商业模式已经完全改变了人们的衣、食、住、行、社交、消费等生活方式，在技术的驱动下，商业在不断为人们创造美好的生活。中国互联网的商业化始于1994年，20世纪90年代后5年创建的互联网公司奠定了后续20年中国互联网的商业格局，其中不乏成长为商业巨头的公司，如阿里巴巴和腾讯。互联网商业化在中国演进的近30年历史中，经历了3次大的浪潮。
次浪潮：PC互联网（1995—2000）
20世纪90年代后的5年，以网易、搜狐、新浪为代表的门户网站纷纷成立，并在后续5年改变了人们获取信息的方式。同时，阿里巴巴（电商）、腾讯（社交）、百度（搜索）、携程（出行）也先后于这段时期创立。延续次浪潮的余波，2005年，Web 2.0开始在中国绽放，天涯社区、人人网、QQ空间等与传统门户网站不同的新的内容生产和消费形式陆续出现，网民从信息接收者和消费者变为内容生产者，为后续自媒体和移动化社交的进一步发展埋下伏笔。
第二次浪潮：移动互联网（2009—2015）
随着4G网络和智能手机的普及，2012年手机网民数量达到4.2亿，超过PC网民数量。移动互联网的爆发，激发了新的商业模式和生活方式，成就了手机淘宝、微信等超级App。延续移动互联网浪潮，移动出行、共享单车、团购、外卖又引爆了一波创业浪潮，滴滴与快的、摩拜与ofo、美团与大众点评，商战交锋，跌宕起伏。
第三次浪潮：产业互联网（2015年至今）
2015年，“互联网 ”的概念首次被提出，产业互联网已逐渐成为行业聚焦点，移动互联网、云计算、大数据与工业制作结合，促进了现代制造企业的转型升级。消费互联网以在线个性化的方式将商品推送给消费者；产业互联网则从更上游切入，聚焦基于下游需求洞察的柔性生产制造供应链升级。其中，典型的案例是电商界的“黑马”拼多多。拼多多聚焦下沉市场，撼动了整个电商格局。拼多多当下正致力于C2M转型和品牌升级，推出了“新品牌”计划。当然，阿里巴巴和作为电商行业的领跑者也不会静观其变，分别推出了“厂销通”和“厂直优品”计划。优质供给产业链的竞争又必将是一场腥风血雨。
互联网江湖的故事，远不止这些。像阿里巴巴和腾讯这样的互联网巨头，一方面会借助沉淀的平台能力和规模效应在已知领域碾压竞争对手，一方面也会时刻对未知的领域保持警惕，避免踏空。继往开来，5G、IoT、AI和区块链等新技术逐渐进入商业场景，这必将成就一批新的创业公司。让我们拭目以待！
电商生态
互联网中丰富的资源是流量，而流量变现直接的方式是电商，所以放眼当前各个主流App，诸如今日头条、快手、微信等，都在尝试直播带货和社交分销的运营模式。当然，以电商为核心商业模式的平台App，也都在以各种形式构建自己独特的营销玩法和商业壁垒。正如本书书名所表明的，本书内容强调阿里巴巴B2B商业模式背后的算法技术支撑力和驱动力。在正文开始之前，我们先简要介绍主流的电商业态以及相应的核心算法和技术能力，以便读者迅速了解全貌。
平台模式是当下主流电商形态，即便是以社交电商自居的拼多多也绕不开平台模式，笔者认为其背后的关键是基于平台中心化流量的强抓手和强管控特性，设计商业化变现机制，从而实现商业营收、资本回报。整体而言，打造有竞争力的平台，核心切入点是实现供需两端的匹配。在供给端，寻找优质供给商家和工厂，通过算法技术提供商品数字化、线上化的工具，并且通过平台流量分发机制给予增量买家扶持。在需求端，洞察消费者需求，通过算法技术提供搜索和推荐触达方式，提供更精准、优质的服务。对于匹配机制，结合商家能力、商品特性、买家身份和行为偏好，构建以点击率和转化率为变量因子的匹配模型。当然，深耕平台价值，还需要关注外围电商基础设施的建设，包括商家和商品的质量认证体系、交易担保体系、供应链履约体系等。以阿里巴巴为例，集团内部有“平台质量”一级部门来把控整体质量风险。2004年，支付宝的出现，简化了交易流程；2014年，菜鸟物流的出现，标志着完备的智能物流体系已构建好。
电商业态主要分为B2B（Business to Business）、B2C（Business to Customer）和C2C（Customer to Customer）3种模式。
B2B平台的参与方通常都是商家，平台的核心价值是工具化赋能供需两端，其商业化变现方法是收取会员费和增值服务费。典型代表公司是阿里巴巴CBU事业部、慧聪网、敦煌网。
B2C平台将商家生产的具有品牌价值的商品传递给消费者，平台的核心价值体现为降本提效，其商业变现方法是佣金提成。典型代表公司是和天猫，这两家公司在整个B2C市场中的份额超过80%。
C2C平台的领导者是淘宝，2019年“双十一”大促期间，整个淘宝系电商平台的GMV（成交总额）达到了2684亿元。除了在算法技术层面对搜索和推荐功能持续深度优化外，淘宝也在强化内容带货的价值，主流玩法包括淘宝直播和哇哦视频。
除了上述3种典型模式，同时串联起B2B、B2C、C2C模式的C2M模式也逐渐成为当下各主流电商平台的争夺点，平台基于大数据智能洞察和挖掘市场机会，并通过集单议价牵引供给，为买家提供极具性价比的供给，为工厂卖家提供货品销售的更多机会，同时也为中小工厂开店、选品、营销提供全方位的技术支持。
毫不夸张地说，阿里巴巴的发家史就是中国电商的演进史，阿里人始终直面“战争”，通过商战赢得胜利，同时也助推经济发展和产业升级。阿里CBU和淘宝分别成为当下B2B和C2C市场的梯队领跑者，它们近20年的核心技术发展历程如下图所示，并且两者在2019年形成合力，互通供需两个主赛道。

阿里电商核心技术发展历程
本书内容
回顾近30年的互联网创业潮，其内在驱动力都可以归因于科技进步。从技术角度看，互联网的变迁可分为以下阶段。
阶段：门户时代，核心技术是分类索引。
第二阶段：搜索时代，核心技术是搜索引擎。
第三阶段：SNS时代，核心技术是关系图谱。
第四阶段：信息时代，核心技术是推荐算法。
阿里巴巴CBU事业部（1688.com）深耕中国内贸B2B平台商业模式，在战略形态上经历了信息平台、交易平台和营销平台的升级迭代。
在信息和交易平台阶段，平台的客户价值主要体现在深度挖掘工具价值，以赋能商家深度链接老用户，强依赖工程系统，弱依赖算法模型。
在营销平台阶段，平台的客户价值主要体现在帮助买家获得优质供给，帮助卖家获得开源买家，切入点是构建更多新买卖关系，技术上实现全域实时个性化分发，弱依赖工程系统，强依赖算法模型。
因此，本书聚焦营销平台商业形态背后的算法技术，试图从技术和商业相互驱动的视角阐述如何用技术赋能业务，并且结合阿里巴巴集团在基础设施领域和算法创新上的沉淀，打造智能B2B商业操作系统。
本书将回顾近两年来阿里巴巴CBU算法团队开展的实践工作，分享落实技术创造业务增量价值的经验。
第1章主要介绍电商四位一体的人、货、场、商核心要素。
第2章重点讲解算法落地依赖的系统工程，包括搜索工程、推荐工程和实时数据工程。
第3章聚焦搜索算法，这里主要介绍两种：基于Query理解的导航和搜索排序算法。
第4章重点剖析推荐算法，从召回和排序两个环节展开。
第5章介绍任何商业平台都离不开的营销算法。
第6章从电商平台发展趋势的角度，分享当前各个电商平台的新兴模式，包括直播、短视频、端智能等。
第7章以知识图谱为开篇，重点讲述我们在电商结构化信息挖掘和场景应用等方面的相关工作。
第8章从流量效率化的角度阐述全域中控技术框架和核心算法。
致谢
本书成稿离不开很多人的帮助，在此表示感谢。
感谢阿里巴巴新零售技术事业群总裁吴泽明、CBU事业部总裁汪海的支持，感谢CBU技术部算法团队所有同学以及家人的理解和付出，感谢阿里巴巴同事周荣茂、金高平、金群群、熊岚曦的全程协助，感谢阿里巴巴同事叶舒亚以及数据委员会同学对初稿的审阅和建议。
后，感谢机械工业出版社华章公司编辑杨福川和罗词亮帮助本书顺利出版。

这是一本可帮助读者深度理解并全面掌握ClickHouse运行原理并进行实践开发的工具书，涵盖了ClickHouse的时代背景、发展历程、核心概念、基础功能、运行原理、实践指导等多个维度的内容，尤其是在ClickHouse*核心的部分——MergeTree表引擎与分布式方面，书中对其实现原理和应用技巧进行了详细解读。

 本书采用浅显易懂的语言 大量演示案例 大量示意图例的形式呈现，以求让读者在*短的时间内，以*舒服的方式，获得*核心的知识。本书的理论观点来自作者在OLAP领域10余年的工作思考与总结；功能与实操的素材来自作者在工作中对ClickHouse的深度应用与实践；原理解析部分的素材来自对大量专业文献的钻研与源码级的调试与解读。

 本书在逻辑上分为三大部分：

 第1~2章从宏观的角度出发，描述了时代背景、ClickHouse的发展历程及其核心特点。其中，对MOLAP、ROLAP和HORAP三种架构形态的优缺点进行了详细解读，对ClickHouse的发展历程和架构形态进行了深度剖析，目的是帮助读者从根本上了解ClickHouse为什么具有这么高的性能。

 第3~5章从实践应用的角度出发，详细介绍了ClickHouse基础功能的使用方法和技巧，其中包括对数据库、数据表、视图、数据字典等重点功能的剖析和演示。

 第6~11章从原理的角度出发，解析了ClickHouse核心功能的运行机理。重点介绍了六大类数十种表引擎的主要特点与使用方法。其中对MergeTree的原理进行了深度解析，对它的基础数据结构、分区索引、一级索引、二级索引、压缩数据块、数据标记等重要概念进行了解读；对副本与分片的运行原理也进行了详细剖析；对它的基础数据结构、分布式DDL、分布式协同的核心操作过程等进行了解读。

阿里巴巴CBU技术部（1688.com)

全球率先超过1亿用户的B类电商平台，自2003年诞生之初，就承载了“让天下没有难做的生意”的重要使命。在阿里巴巴“五新战略”下，作为阿里集团新制造和新零售的重要技术生力军，CBU技术团队15年来一直以技术之力赋能千万中小企业，沉淀了一系列极具B类特色的交易、支付、营销、采购、分销技术产品，促进B类全链路商业效率优化。

在商业全球化的大形势下，CBU技术以大数据为原力、以算法为引擎，在企业采购与服务、企业分销通路建设、柔性供应链建设、数字营销、心智导购等领域不断进行横向联动、纵深探索，结合云计算、IOT智能技术、图形算法、深度网络、在线学习、运筹优化等尖端技术，助推中小企业向数字经济转型。

任卫军，阿里巴巴研究员，2006年4月入职淘宝技术部，拥有10年ToC电商研发和管理经验。2017年开始负责阿里CBU&C2M技术部，聚焦B类业务技术体系建设。

霍承富，霍承富，阿里巴巴资深算法专家，2012年毕业于中国科学技术大学，博士学位，毕业后加入阿里巴巴，从事搜索、推荐、广告、营销、用户增长等相关的算法工作。

翁晨玮，翁晨玮，阿里巴巴算法专家，2012年毕业于浙江大学，硕士学位，毕业后在百度、腾讯等公司从事搜索推荐算法相关工作，于2017年加入阿里巴巴。

?
卢小康，阿里巴巴技术专家，2010年毕业于杭州电子科技大学，硕士学位，毕业后加入阿里巴巴，从事搜索引擎工程和算法工程相关工作。
  
董宇，阿里巴巴高级算法专家，毕业于北京航空航天大学，硕士学位，2014年入职阿里巴巴。

赵玉姣，阿里巴巴算法专家，2015年毕业于天津大学，硕士学位，毕业后加入阿里巴巴，从事搜索、用户增长等相关的算法工作。
????
贺星星，阿里巴巴高级算法工程师，2010年毕业于大连理工大学，硕士学位，毕业后先后在中兴通讯、三星电子、亚信数据分别从事3G/4G通信、智能终端、智能图像算法相关工作，2018年加入阿里巴巴，从事搜索、用户增长等相关的算法工作。

陈曦，阿里巴巴高级算法工程师，2014年毕业于浙江大学，硕士学位，2018年加入阿里巴巴，从事C2M产地供应链相关算法工作。

??林瀚驰，阿里巴巴高级算法工程师，2016年毕业于北京大学，硕士学位，毕业后加入深信服，从事webshell查杀，网页篡改检测等安全相关算法工作，2018年加入阿里巴巴，从事搜索相关算法工作。

茹江涛，阿里巴巴高级算法工程师，2017年毕业于南京航空航天大学，硕士学位，毕业后加入腾讯，从事游戏安全相关的算法工作，2019年加入阿里巴巴，从事搜索相关的算法工作

张吉豪，阿里巴巴技术专家，从事网络游戏研发近9年，作为服务端负责人研发了《勇者大冒险》《寻仙手游》两款作品。2018年加入阿里巴巴，从事搜索、推荐、实时计算相关的数据及工程工作，提交发明专利3篇。

谷伟，阿里巴巴高级开发工程师，2016年毕业于东南大学，硕士学位，毕业后加入趋势科技从事邮件服务器安全防护工作，2018年加入阿里巴巴从事搜索和推荐相关的算法工程工作，提交发明专利3篇。?

杨帅，阿里巴巴技术专家，2011年毕业于武汉工程大学，获学士学位，毕业后入职网易网络从事云网络安全DDOS防御等相关工作，2019年加入阿里巴巴从事搜索和推荐算法工程相关工作，目前负责搜索引擎相关工作。

张波，阿里巴巴高级开发工程师，2013年毕业于哈尔滨工业大学，硕士学位。毕业后主要在前程无忧公司从事搜索引擎相关工作，2018年加入阿里巴巴从事搜索和推荐相关的算法工程工作。

张贺，阿里巴巴高级开发工程师，2016年毕业于深圳大学，硕士学位，毕业后加入腾讯从事主机反入侵方面的工作，2018年加入阿里巴巴从事搜索和推荐等相关的算法工程工作，提交发明专利3篇。

王修充，毕业于北京航空航天大学，硕士学位，先后在推荐算法团队、阿里CBU技术部承担推荐算法的工作，目前主要的工作方向为直播、短视频电商内容推荐，研究兴趣为多目标学习、图网络在推荐算法中的应用。

???何珂，毕业于北京邮电大学，硕士学位，2018年入职阿里，任高级算法工程师。

娄琦，毕业于杭州电子科技大学，硕士学位，2018年入职阿里，任高级算法工程师。

吕泽，毕业于西安电子科技大学，硕士学位，2017年入职阿里，1688猜你喜欢算法负责人，曾在AAAI等学术会议和期刊上发表论文。

?徐传宇，毕业于厦门大学数学科学学院，理学硕士学位。2019年7月入职阿里巴巴，任推荐算法工程师。

叶梦贤，毕业于荷兰伊拉斯姆斯大学，硕士学位，2019年入职阿里，任高级算法工程师。

顾海倩，毕业于北京邮电大学，硕士学位，2019年入职阿里，任推荐算法工程师。
???
韩乔，2017年毕业于新加坡国立大学，硕士学位，2019年入职阿里，任高级算法工程师。

?林源远，毕业于中南大学，硕士学位，2018年入职阿里，负责推荐算法相关的工作。

陈起进，毕业于浙江大学，硕士学位，2019年入职阿里，任职高级算法专家，研究方向包括NLP/NLG/知识图谱，目前主要负责电商知识图谱建设、内容理解、可解释模型及智能助理。

??王姿雯，毕业于北京邮电大学，硕士学位，2019年入职阿里巴巴，任算法工程师职位。

任伟龙，毕业于中国人民解放军火箭军工程大学，博士学位，2019年入职阿里巴巴，高级算法工程师职位，主要技术方向为运筹优化算法，在流量分配、智能定价等领域应用优化算法提升效率和营收，同时小化运营成本。

张进，毕业于英国布里斯托大学，硕士学位，2017年入职阿里巴巴，算法专家职位。

张涛，毕业于北京邮电大学，硕士学位，18年入职阿里，高级算法工程师职位，研究方向包括NLP，NLG，GAN，ML等。在学术会议和SCI期刊中发表过多篇学术文章，目前主要从事B类知识图谱建设和商品企划链路升级。

宁振，毕业于南昌大学，硕士学位，2019年入职阿里，高级算法工程师职位，主要从事NLP相关技术如文本理解、知识图谱的研究和应用。?

孙刘诚，阿里巴巴高级算法工程师，2019年毕业于同济大学，博士学位，毕业后加入阿里巴巴，从事用户增长等相关的算法工作，同时是浙江大学-阿里巴巴联合培养博士后，发表学术论文近十篇。

刘祥宇，毕业于中国科学技术大学，硕士学位，2015年入职阿里，现任技术专家职位，主要方向是研究电商导购领域的相关工程研发工作。

作者介绍
前　言
第1章　电商四位一体 1
1.1　人—买家 1
1.1.1　开源引流2
1.1.2　客群画像17
1.2　货—货源 22
1.2.1　价格力22
1.2.2　趋势力28
1.3　场—内容 36
1.3.1　智能文案37
1.3.2　文案标签化46
1.3.3　模型工程优化49
1.3.4　展望规划49
1.4　商—企划 50
1.4.1　品类规划定义51
1.4.2　波士顿矩阵53
1.4.3　CBU品类规划53
1.4.4　技术架构59
1.4.5　展望规划61
第2章　系统工程 63
2.1　搜索工程 63
2.1.1　统一入口SP服务64
2.1.2　策略平台OpenSE72
2.1.3　意图分析QP74
2.1.4　在线引擎HA377
2.1.5　离线系统Dump81
2.2　推荐工程 85
2.2.1　召回引擎BE85
2.2.2　算分服务RTP89
2.3　实时数据工程 95
2.3.1　概述 96
2.3.2　数据采集96
2.3.3　数据分层98
2.3.4　数据服务99
2.3.5　数据应用100
第3章　搜索算法 101
3.1　Query查询词理解 101
3.1.1　Query类目预测102
3.1.2　Query改写106
3.1.3　Query推荐111
3.2　搜索排序 122
3.2.1　召回124
3.2.2　粗排135
3.2.3　精排142
3.2.4　搜索底部推荐161
第4章　推荐算法 163
4.1　召回 164
4.1.1　协同过滤165
4.1.2　Embedding I2I168
4.1.3　DeepMatch170
4.2　排序 176
4.2.1　Wide&Deep模型176
4.2.2　DIN180
4.2.3　DIEN183
4.2.4　DMR186
4.2.5　ESMM190
第5章　营销算法 197
5.1　红包 197
5.1.1　用户敏感度建模198
5.1.2　离线红包分配200
5.1.3　在线红包分配202
5.2　营销优惠券 208
第6章　多模态内容场景与端智能 212
6.1　直播推荐算法 212
6.1.1　多目标学习213
6.1.2　用户异构行为214
6.1.3　直播排序模型214
6.2　短视频推荐算法 219
6.2.1　短视频推荐概述219
6.2.2　基于异构网络图的推荐方案220
6.3　榜单算法 229
6.3.1　榜单生成229
6.3.2　榜单召回推荐232
6.3.3　榜单内商品排序232
6.3.4　榜单个性化文案233
6.4　多形态内容混排 235
6.5　App端智能 239
6.6　首图个性化 244
6.6.1　全局视角联合打散244
6.6.2　跨域召回（从淘宝到1688） 247
第7章　认知推理 250
7.1　电商知识图谱 250
7.1.1　知识工程与专家系统250
7.1.2　语义网络与知识图谱252
7.1.3　知识图谱构建254
7.1.4　知识表示265
7.2　知识图谱主题会场 268
7.3　知识蒸馏 271
7.3.1　知识蒸馏的起源272
7.3.2　多种传递形式的知识蒸馏274
7.3.3　知识蒸馏应用于自然语言生成277
7.3.4　BERT模型蒸馏280
7.4　组货推荐 281
7.4.1　同款匹配281
7.4.2　组货搭配284
7.4.3　服饰搭配286
第8章　全域中控 290
8.1　流量中控 290
8.2　在线动态广告分配 297
8.3　目标动态规划 307

这是一本可帮助读者深度理解并全面掌握ClickHouse运行原理并进行实践开发的工具书，涵盖了ClickHouse的时代背景、发展历程、核心概念、基础功能、运行原理、实践指导等多个维度的内容，尤其是在ClickHouse*核心的部分——MergeTree表引擎与分布式方面，书中对其实现原理和应用技巧进行了详细解读。

 本书采用浅显易懂的语言 大量演示案例 大量示意图例的形式呈现，以求让读者在*短的时间内，以*舒服的方式，获得*核心的知识。本书的理论观点来自作者在OLAP领域10余年的工作思考与总