从零开始构建企业级推荐系统

图书标准信息

• 作者 张相於
• 出版社 电子工业出版社
• 出版时间 2020-07
• 版次 1
• ISBN 9787121391514
• 定价 89.00元
• 装帧 其他
• 开本 16开
• 纸张 胶版纸
• 页数 320页
• 字数 412千字

【内容简介】

本书是一本面向实践的企业级推荐系统开发指南，内容包括产品设计、相关性算法、排序模型、工程架构、效果评测、系统监控等推荐系统核心部分的设计与开发，可以帮助开发者逐步构建一个完整的推荐系统，并提供了持续优化的系统性思路。本书注重从系统性和通用性的角度看待推荐系统的核心问题，希望能够帮助读者做到知其然，也知其所以然，更能够举一反三，真正掌握推荐系统的核心本质。此外，本书对于推荐系统开发中常见的问题和陷阱，以及系统构建过程，也做了重点介绍，力求让读者不仅知道做什么，而且知道怎么做。本书的目标读者是推荐系统研发工程师、产品经理以及对推荐系统感兴趣的学生和从业者。

【作者简介】

张相於，本科和研究生毕业于中国人民大学，现任阿里巴巴高级算法专家。多年来一直从事推荐系统及相关领域的系统研发，具有丰富的实践经验，并乐于分享经验与教训，在ResysChina上发表过多篇推荐系统相关文章，也在全球架构师峰会等技术大会上做过多次演讲。

【目录】

第１章　推荐系统的时代背景 1 

1.1　为什么需要推荐系统 1 

1.1.1　提高流量利用效率 1 

1.1.2　挖掘和匹配长尾需求 6 

1.1.3　提升用户体验 7 

1.1.4　技术积累 8 

1.2　推荐的产品问题 10 

1.2.1　推荐什么东西 10 

1.2.2　为谁推荐 13 

1.2.3　推荐场景 14 

1.2.4　推荐解释 16 

1.3　总结 18 

第2章　推荐系统的核心技术概述 19 

2.1　核心逻辑拆解 19 

2.2　整体流程概述 20 

2.3　召回算法 21 

2.4　基于行为的召回算法 24 

2.5　用户画像和物品画像 24 

2.6　结果排序 26 

2.7　评价指标 26 

2.8　系统监控 27 

2.9　架构设计 28 

2.10　发展历程 28 

2.11　总结 30 

第3章　基础推荐算法 31 

3.1　推荐逻辑流程架构 31 

3.2　召回算法的基本逻辑 34 

3.3　常用的基础召回算法 36 

3.3.1　用户与物品的相关性 36 

3.3.2　物品与物品的相关性 42 

3.3.3　用户与用户的相关性 46 

3.3.4　用户与标签的相关性 47 

3.3.5　标签与物品的相关性 48 

3.3.6　相关性召回的链式组合 50 

3.4　冷启动场景下的推荐 51 

3.5 总结 53 

第4章　算法融合与数据血统 54 

4.1　线性加权融合 55 

4.2　优先级融合 57 

4.3　基于机器学习的排序融合 59 

4.4　融合策略的选择 61 

4.5　融合时机的选择 63 

4.6　数据血统 64 

4.6.1　融合策略正确性验证 65 

4.6.2　系统效果监控 65 

4.6.3　策略效果分析 67 

4.7 总结 68 

第5章　机器学习技术的应用 69 

5.1　机器学习技术概述 69 

5.2　推荐系统中的应用场景 70 

5.3　机器学习技术的实施方法 72 

5.3.1　老系统与数据准备 72 

5.3.2　问题分析与目标定义 74 

5.3.3　样本处理 76 

5.3.4　特征处理 80 

5.3.5　模型选择与训练 98 

5.3.6　模型效果评估 101 

5.3.7　预测阶段效果监控 104 

5.3.8　模型训练系统架构设计 105 

5.3.9　模型预测系统架构设计 108 

5.4　常用模型介绍 109 

5.4.1　逻辑回归模型 109 

5.4.2　GBDT模型 111 

5.4.3　LR GDBT模型 112 

5.4.4　因子分解机模型 113 

5.4.5　Wide ＆ Deep模型 115 

5.4.6　其他深度学习模型 116 

5.5　机器学习实践常见问题 117 

5.5.1　反模式1：只见模型，不见系统 117 

5.5.2　反模式2：忽视模型过程和细节 117 

5.5.3　反模式3：不注重样本精细化处理 118 

5.5.4　反模式4：过于依赖算法 119 

5.5.5　反模式5：核心数据缺乏控制 120 

5.5.6　反模式6：团队不够“全栈” 121 

5.5.7　反模式7：系统边界模糊导致出现“巨型系统” 121 

5.5.8　反模式8：不重视基础数据架构建设 122 

5.6　总结 123 

第6章　用户画像系统 124 

6.1　用户画像的概念和作用 124 

6.2　用户画像的价值准则 126 

6.3　用户画像的构成要素 128 

6.3.1　物品侧画像 129 

6.3.2　用户侧画像 133 

6.3.3　用户画像扩展 139 

6.3.4　用户画像和排序特征的关系 142 

6.4　用户画像系统的架构演进 143 

6.4.1　用户画像系统的组成部分 143 

6.4.2　野蛮生长期 144 

6.4.3　统一用户画像系统架构 145 

6.5　总结 147 

第7章　系统效果评测与监控 148 

7.1　评测与监控的概念和意义 148 

7.2　推荐系统的评测指标系统 150 

7.3　常用指标 151 

7.4　离线效果评测方法 158 

7.5　在线效果评测方法 163 

7.5.1　AB实验 163 

7.5.2　交叉实验 173 

7.6　系统监控 178 

7.7　总结 181 

第8章　推荐效果优化 182 

8.1　准确率优化的一般性思路 183 

8.2　覆盖率优化的一般性思路 185 

8.3　行为类相关性算法优化 188 

8.3.1　热度惩罚 188 

8.3.2　时效性优化 190 

8.3.3　随机游走 194 

8.3.4　嵌入表示 196 

8.4　内容类相关性算法优化 200 

8.4.1　非结构化算法 201 

8.4.2　结构化算法 201 

8.5　影响效果的非算法因素 205 

8.5.1　用户因素 205 

8.5.2　产品设计因素 206 

8.5.3　数据因素 208 

8.5.4　算法策略因素 208 

8.5.5　工程架构因素 209 

8.6　总结 210 

第9章　自然语言处理技术的应用 211 

9.1　词袋模型 212 

9.2　权重计算和向量空间模型 214 

9.3　隐语义模型 216 

9.4　概率隐语义模型 218 

9.5　生成式概率模型 220 

9.6　LDA模型的应用 222 

9.6.1　相似度计算 222 

9.6.2　排序特征 222 

9.6.3　物品打标签＆用户打标签 223 

9.6.4　主题＆词的重要性度量 223 

9.6.5　更多应用 224 

9.7　神经概率语言模型 224 

9.8　行业应用现状 226 

9.9　总结和展望 227 

第10章　探索与利用问题 228 

10.1　多臂老虎机问题 228 

10.2　推荐系统中的EE问题 230 

10.3　解决方案 231 

10.3.1　?-Greedy算法 231 

10.3.2　UCB 234 

10.3.3　汤普森采样 236 

10.3.4　LinUCB 237 

10.4　探索与利用原理在机器学习系统中的应用 239 

10.5　EE问题的本质和影响 240 

10.6　总结 241 

第11章　推荐系统架构设计 242 

11.1　架构设计概述 242 

11.2　系统边界和外部依赖 244 

11.3　离线层、在线层和近线层架构 246 

11.4　离线层架构 247 

11.5　近线层架构 249 

11.6　在线层架构 252 

11.7　架构层级对比 255 

11.8　系统和架构演进原则 256 

11.8.1　从简单到复杂 256 

11.8.2　从离线到在线 258 

11.8.3　从统一到拆分 258 

11.9　基于领域特定语言的架构设计 259 

11.10　总结 262 

第12章　推荐系统工程师成长路线 263 

12.1　基础开发能力 264 

12.1.1　单元测试 264 

12.1.2　逻辑抽象复用 264 

12.2　概率和统计基础 265 

12.3　机器学习理论 266 

12.3.1　基础理论 267 

12.3.2　监督学习 268 

12.3.3　无监督学习 269 

12.4　开发语言和开发工具 270 

12.4.1　开发语言 270 

12.4.2　开发工具 270 

12.5　算法优化流程 271 

12.6　推荐业务技能 273 

12.7　总结 274 

第13章　推荐系统的挑战 275 

13.1 数据稀疏性 275 

13.2　推荐结果解释 277 

13.3　相关性和因果性 281 

13.4　信息茧房 283 

13.5　转化率预估偏差问题 286 

13.6　召回模型的局限性问题 288 

13.7　用户行为捕捉粒度问题 290 

13.8　总结 291