现代推荐算法

本书深入全面地讲解了现代推荐算法，同时兼顾深度和广度，介绍了当下较前沿、先进的各类算法及其实践。本书从总览篇开始，介绍推荐系统的基本概念及工作环节。在模型篇中，除了梳理推荐系统的发展史，本书还重点讲解面向工业实践的选择及改进，为读者打下推荐系统的算法基础；进而带着读者进阶到前沿篇、难点篇，面对推荐系统中的各式问题，给出解决方案；后在决策篇中，从技术原理和用户心理出发，解释一些常见决策背后的依据，从而帮助读者从执行层面进阶到决策层面，建立大局观。本书力求用简洁易懂的语言说清核心原理，对已经有一定机器学习概念和数学基础的学生和相关领域的从业者非常友好，特别适合推荐系统、计算广告和搜索领域的从业者及学生拓展新知和项目实战

本书深入全面地讲解了现代推荐算法，同时兼顾深度和广度，介绍了当下较前沿、先进的各类算法及其实践。本书从总览篇开始，介绍推荐系统的基本概念及工作环节。在模型篇中，除了梳理推荐系统的发展史，本书还重点讲解面向工业实践的选择及改进，为读者打下推荐系统的算法基础；进而带着读者进阶到前沿篇、难点篇，面对推荐系统中的各式问题，给出解决方案；后在决策篇中，从技术原理和用户心理出发，解释一些常见决策背后的依据，从而帮助读者从执行层面进阶到决策层面，建立大局观。本书力求用简洁易懂的语言说清核心原理，对已经有一定机器学习概念和数学基础的学生和相关领域的从业者非常友好，特别适合推荐系统、计算广告和搜索领域的从业者及学生拓展新知和项目实战

赵致辰

本硕毕业于清华大学电子工程系。主要研究方向包括动作识别、人脸识别、广告和推荐中的排序模型及冷启动问题等，发表相关学术领域论文7篇。曾从事移动端人脸识别工作，开发的红外人脸识别算法应用于国内多款手机；在推荐领域，提出的“POSO”模型在用户冷启动问题上取得突破性收益，已经在业界广泛应用，国内外多家公司与产品如TikTok、快手、Meta等都在以POSO为原型探索冷启动模型。

总览篇 
第 1 章 推荐系统概述 ............................................................................................. 2 
1.1 推荐系统是什么 .......................................................................................... 2 
1.2 推荐系统发展的天时、地利、人和 .......................................................... 4 
1.2.1 天时 .................................................................................................. 6 
1.2.2 地利 .................................................................................................. 6 
1.2.3 人和 .................................................................................................. 7 
第 2 章 现代推荐链路 ............................................................................................. 9 
2.1 召回、粗排、精排——各有所长 .............................................................. 9 
2.2 召回、粗排、精排——级联漏斗 ............................................................ 13 
2.3 打压、保送、重排——拍不完的脑袋 .................................................... 20 
模型篇 
第 3 章 精排之锋 ................................................................................................... 25 
3.1 简单“复读机”——逻辑回归模型 ........................................................ 25 
3.2 工业逻辑回归模型的稀疏性要求 ............................................................ 29 
3.3 FM 的一小步，泛化的一大步 ................................................................. 34 
3.4 多彩的 FNN/PNN/ONN/NFM 世界 ......................................................... 37 
3.5 高阶交叉 ................................................................................................... 41 
3.6 工具人 GBDT ............................................................................................ 45 
3.7 嵌入表示亦福亦祸，树模型的新机遇 .................................................... 49 
3.8 DNN 与两大门派，“一念神魔”与功不唐捐 ........................................ 53 
3.9 再论特征与嵌入生成 ................................................................................ 58 
3.10 机器学习指定王牌技术——注意力机制 ...................................... 62 
3.11 注意力机制的几种写法 .......................................................................... 65 
3.12 Transformer 的升维打击 ......................................................................... 69 
第 4 章 粗排之柔 ................................................................................................... 72 
4.1 粗排存在与否的必要性 ............................................................................ 73 
4.2 粗排复杂化的方法 .................................................................................... 73 
4.3 Pair-wise 与 List-wise ................................................................................ 74 
第 5 章 召回之厚 ................................................................................................... 76 
5.1 u2i 之双塔进击史 ..................................................................................... 76 
5.2 i2i 及 u2u2i 方案 ....................................................................................... 81 
5.3 近似搜索概览 ............................................................................................ 85 
5.3.1 向量量化类方法 ............................................................................ 86 
5.3.2 基于图的搜索 ................................................................................ 87 
5.4 树模型与类树模型的冲击 ........................................................................ 89 
第 6 章 模型迭代的术与道 .................................................................................... 93 
6.1 什么是“老汤模型” ................................................................................ 93 
6.2 模型迭代的“术” .................................................................................... 96 
6.3 模型迭代的“道” .................................................................................... 98 
前沿篇 
第 7 章 用户兴趣建模 ......................................................................................... 101 
7.1 从百到万的用户长期兴趣建模 .............................................................. 101 
7.1.1 从百到千 ...................................................................................... 102 
7.1.2 从千到万 ...................................................................................... 102 
7.2 用户多峰兴趣建模 .................................................................................. 104 
第 8 章 多任务学习 ............................................................................................. 107 
8.1 多任务学习的实践意义 .......................................................................... 107 
8.2 多任务学习的基本框架 .......................................................................... 110 
8.3 平行关系建模——MMoE 类方法 ......................................................... 113 
8.4 非平行关系建模，任务间的因果 .......................................................... 117 
第 9 章 非梯度场景 ............................................................................................. 121 
9.1 线上与线下的鸿沟 .................................................................................. 121 
9.2 弱个性化 CEM，强个性化强化学习 .................................................... 124 
9.3 探微参数与性能的关系，把点连成面 .................................................. 128 
第 10 章 探索与利用 ........................................................................................... 133 
10.1 为什么要探索与利用 ............................................................................ 133 
10.2 探索的本质是巧妙“贪心” ................................................................ 136 
第 11 章 后精排环节 ........................................................................................... 139 
11.1 定义多样性问题，简单的形式与复杂的标准 .................................... 139 
11.2 DPP 算法与多样性 ............................................................................... 142 
11.3 考虑上下文的重排序 ............................................................................ 144 
第 12 章 推荐中的偏差与消除............................................................................. 147 
12.1 各种各样的偏差 .................................................................................... 147 
12.2 流行度偏差的消除 ................................................................................ 148 
12.3 位置偏差的消除 .................................................................................... 151 
第 13 章 自动机器学习技术 ................................................................................ 155 
13.1 网络结构搜索与网络微操的探索 ........................................................ 155 
13.2 特征的搜索 ............................................................................................ 159 
13.3 模型压缩 ............................................................................................... 161 
第 14 章 图计算 .................................................................................................. 165 
14.1 数据结构的终极 .................................................................................... 165 
14.2 GNN 的极简发展史 .............................................................................. 168 
14.3 物料非原子化，建模转向图 ................................................................ 171 
难点篇 
第 15 章 延迟转化 ............................................................................................... 175 
15.1 转化与广告机制 ................

本书深入全面地讲解了现代推荐算法，同时兼顾深度和广度，介绍了当下较前沿、先进的各类算法及其实践。本书从总览篇开始，介绍推荐系统的基本概念及工作环节。在模型篇中，除了梳理推荐系统的发展史，本书还重点讲解面向工业实践的选择及改进，为读者打下推荐系统的算法基础；进而带着读者进阶到前沿篇、难点篇，面对推荐系统中的各式问题，给出解决方案；后在决策篇中，从技术原理和用户心理出发，解释一些常见决策背后的依据，从而帮助读者从执行层面进阶到决策层面，建立大局观。本书力求用简洁易懂的语言说清核心原理，对已经有一定机器学习概念和数学基础的学生和相关领域的从业者非常友好，特别适合推荐系统、计算广告和搜索领域的从业者及学生拓展新知和项目实战

赵致辰

本硕毕业于清华大学电子工程系。主要研究方向包括动作识别、人脸识别、广告和推荐中的排序模型及冷启动问题等，发表相关学术领域论文7篇。曾从事移动端人脸识别工作，开发的红外人脸识别算法应用于国内多款手机；在推荐领域，提出的“POSO”模型在用户冷启动问题上取得突破性收益，已经在业界广泛应用，国内外多家公司与产品如TikTok、快手、Meta等都在以POSO为原型探索冷启动模型。

《现代推荐算法》这本书，对现代推荐领域的技术和应用进行了重新梳理。本书从应用需求和实际问题出发，翔实地介绍了推荐系统环节、具体算法模型、前沿技术与方向。此外，本书还包含解决冷启动等难点问题的技巧，多种技术选型的讨论，以及产品运营决策的建议。
——中国图象图形学学会副理事长兼秘书长 北京科技大学计算机与通信工程学院副院长|马惠敏

《现代推荐算法》这本书很难得地从当前互联网主流产品和推荐系统的真实问题出发，总结了包含阿里巴巴、字节跳动等公司公开的技术进展，更适合当下一线的推荐算法从业者阅读。
——张枫

这本书从实践出发，比较全面地涵盖了近几年前沿的推荐技术的发展，深入浅出，兼顾了前沿性、实用性和严谨性，是不可多得的推荐领域入门教材。即便对像我这样具备一定从业经验的人来说，在读到很多章节时也受益匪浅。
后希望这本书能够为大家顺利打开进入推荐行业的大门。
——Meta Principal Scientist |刘霁

本书由水哥（赵致辰）撰写，他是我在字节跳动的同事和朋友。他不仅有丰富的计算机视觉和推荐系统的研发经验，还是一个有敏锐洞察力和创造力的人。他能够将的研究成果转化为实际应用，并且能够清晰地阐述自己的思路和方法。这本书就是他对推荐系统领域的总结和分享。本书涵盖了从基础理论到前沿技术，从工程实践到业界案例，从数学公式到代码实现等方面的内容，既适合初学者作为入门教材，也适合进阶者作为参考资料。
——阿里妈妈展示及内容广告算法总监|姜宇宁（孟诸）

从内容上讲，这本书以推荐系统的视角，从理论到实践，从算法到工程，从技术到商业，全面讲解了推荐系统的方方面面。这使得读者不仅能够了解推荐系统的原理，还能掌握实际应用的技巧，对工业界人士和感兴趣的同学们