动手学推荐系统——基于PyTorch的算法实现（微课视频版）

在当前大数据时代下，推荐系统有着举足轻重的地位。尤其是在互联网经济非常发达的国内，推荐系统可谓无处不在。如今推荐系统的做法变化多端，究其原因主要是近年来机器学习算法领域的发展空前火热。推荐系统的工程学问很多，但大方向相对较清晰，无非是收集大数据，然后统计分析，在做出模型之后根据模型预测用户的偏好并做出推荐，所以如今
的重点是研究推荐模型的做法，也是推荐算法的研究。当然将算法用作推荐早已不是新鲜事，但是问题在于推荐算法派系众多，例如有基于CTR预估发展的推荐算法、序列推荐算法、知识图谱推荐算法等。大的派系中还会分小派系，例如知识图谱推荐算法会分基于知识图谱嵌入的推荐算法、基于知识图谱路径的推荐算法等。

写作本书的初衷很简单，市面上讲解推荐算法的书不算少，找到接地气、值得按部就班系统
地学习的书却很少，笔者想用由浅入深的正确打开方式，使大家无痛学习推荐算法，所以本书的重点之一是要梳理这些众多派系的推荐算法，找出一条清晰的脉络让大家能够顺利入门。正如前文所说，机器学习乃至深度学习算法日新月异，也就代表
了推荐算法本身的发展也一定是永不停歇地向前发展的，所以了解众多派系的算法并不是最终目的，而是要通过了解现有成熟的算法从而领略出属于自己的算法体系，这样方能跟上甚至引领这个时代。简而言之，本书的真正重点是通过梳理脉络由浅入深
地带领大家走进推荐算法领域并建立自己的推荐算法推理思路。
本书主要内容
第1章介绍推荐系统的发展历史，对其做初步的了解。
第2章介绍较基础的推荐算法。
第3章介绍基于第2章的基础推荐算法结合深度学习的发展推导出的进阶推荐算法。
第4章介绍图神经网络及结合图神经网络进一步推导出的推荐算法。
第5章介绍知识图谱及结合知识图谱进一步推导出的推荐算法。
第6章介绍整个推荐系统的详细结构及基本做法。
第7章介绍评估推荐算法及推荐系统的指标及方式。
第8章介绍整个推荐工程大体的生命周期。
阅读建议
本书内容丰富，尤其是第2~5章，这4章由浅入深地介绍各个派系的推荐算法及推导过程，属于本书的核心。其中每个算法都介绍得非常详细，并且都会有实战示例代码帮助大家理解并提高动手能力。第2章和第3章建议读者按照顺序详细阅读，第2章是打地基，而第3章是基于第2章的推导，这两章读完后基本就能入门推荐算法且能够有推导算法的能力了。第4章的图神经网络是目前的热门学科，本书会由推荐的角度带领大家了解图神经网络且应用于推荐算法中。第5章的知识图谱算是专业度更高、实用性更强的推荐算法派系，已经掌握前4章知识的读者要
学习第5章的知识应该是轻而易举的。

第6~8章是整个推荐系统、商业及推荐工程的介绍。这3章笔者建议大家可以在读完第3章后随时提前抽取阅读。尤其是第7章，它系统地介绍了推荐系统的评估指标。大家可以在示例代码的基础上添加自己的改良代码，并同时利用第7章的评估指标实际评估。
本书源代码
扫描下方二维码，可获取本书源代码。

本书源代码致谢
最初在网上作为兴趣上传讲解算法的视频，受到了不少网友的关注，由此有了写作本书的契机。感恩在此过程中遇到的每一位支持者，尤其感谢我的妻子给予我的支持与帮助。
由于时间仓促，书中难免存在不妥之处，请读者见谅，并提出宝贵意见。
於方仁
2022年8月

本书从理论结合实践编程来学习推荐系统。由浅入深，先基础后进阶，先理论后实践，先主流后推导。 第1章较为简单，仅初步带领大家了解什么是推荐系统及推荐系统的简史。第2章到第5章介绍的是主流的推荐算法及推荐算法的推导过程，这部分是本书的核心，每个算法都描述的非常详细且有具体代码帮助大家理解，深度学习的框架将采用PyTorch。第6章介绍的是商业及推荐系统的组成结构，第7章系统地介绍了推荐系统的评估指标及方式。第8章则介绍整个推荐工程的生命周期。第6~8章可随时抽取出来提前看。本书配套示例代码及微课视频，帮助读者快速入门推荐算法及系统。 本书可作为高等院校、科研机构或从事推荐系统工作的工程师的参考书籍，也可作为高年级本科生和研究生的学习参考书籍。

於方仁，推荐算法、图神经网络、知识图谱等领域专家。在推荐系统领域从业多年，现任苏州中贸大数据CTO。善于在实战中总结经验，授课幽默风趣，乐于分享知识。

第1章 推荐系统的初步了解（ 28min）

1.1什么是推荐系统

1.2推荐系统的由来

1.2.1Tapestry

1.2.2GroupLens

1.3推荐系统的概况

1.4推荐算法的概况

参考文献

第2章 基础推荐算法（ 398min）

2.1协同过滤

2.2基础近邻指标

2.2.1CN相似度

2.2.2Jaccard相似度

2.2.3Cos相似度

2.2.4Pearson相似度

2.2.5Pearson相似度与Cos相似度之间的联系

2.3基于近邻的协同过滤算法

2.3.1UserCF

2.3.2行为相似与内容相似的区别

2.3.3ItemCF

2.3.4实战： UserCF

2.3.5实战： ItemCF

2.3.6实战： 标注为1~5的评分

2.4推荐模型评估： 入门篇

2.4.1广义的准确率、精确率、召回率

2.4.2推荐系统的准确率、精确率、召回率

2.4.3推荐列表评测

2.4.4对近邻协同过滤模型进行评测

2.5进阶近邻指标

2.5.1UserIIF与ItemIUF

2.5.2更高效地利用流行度定义近邻指标

2.5.3自定义相似度指标的范式

2.6矩阵分解协同过滤算法

2.6.1SVD矩阵分解

2.6.2将SVD用作推荐

2.6.3LFM隐因子模型

2.6.4ALS代码实现

2.6.5推荐模型评估： MSE、RMSE、MAE

2.6.6以深度学习端到端训练思维理解ALS

2.6.7ALS代码实现PyTorch版

2.7逻辑回归出发的推荐算法

2.7.1显式反馈与隐式反馈

2.7.2逻辑回归

2.7.3POLY2

2.7.4FM

2.7.5以深度学习端到端训练思维理解FM

2.8本章 总结

2.8.13个重要算法： 近邻协同过滤、ALS、FM

2.8.2协同过滤算法总结

参考文献 

第3章 进阶推荐算法（ 351min）

3.1神经网络推荐算法推导范式

3.1.1ALS MLP

3.1.2特征向量 MLP

3.1.3结合CNN的推荐

3.1.4结合RNN的推荐

3.1.5ALS结合RNN

3.1.6联合训练的RNN

3.1.7小节总结

3.2FM在深度学习中的应用

3.2.1FNN

3.2.2改进后的FNN

3.2.3Wide & Deep

3.2.4DeepFM

3.2.5AFM

3.2.6小节总结

3.3序列推荐算法

3.3.1基本序列推荐模型

3.3.2DIN与注意力计算方式

3.3.3从PReLU到Dice激活函数

3.3.4DIEN模拟兴趣演化的序列网络

3.4Transformer在推荐算法中的应用

3.4.1从推荐角度初步了解Transformer

3.4.2多头注意力与缩放点乘注意力算法

3.4.3残差

3.4.4Layer Normalization

3.4.5前馈神经网络层

3.4.6位置编码

3.4.7Transformer Encoder

3.4.8利用Transformer编码器的推荐算法BST

3.4.9Transformer Decoder

3.4.10结合Transformer解码器的推荐算法推导

3.5本章 总结

参考文献

第4章 图神经网络与推荐算法（ 275min）

4.1图论基础

4.1.1什么是图

4.1.2无向图与有向图

4.1.3无权图与有权图

4.1.4同构图与异构图

4.1.5图的表示： 邻接矩阵

4.1.6图的表示： 邻接列表

4.1.7图的表示： 边集

4.1.8邻居与度

4.1.9结构特征、节点特征、边特征

4.1.10处理图的Python库推荐

4.2基于图的基础推荐方式

4.2.1链路预测(Link Prediction)

4.2.2什么是路径

4.2.3基于路径的基础链路预测

4.2.4图游走算法DeepWalk

4.2.5图游走算法Node2Vec

4.3图神经网络

4.3.1GCN图卷积网络

4.3.2GAT图注意力网络

4.3.3消息传递

4.3.4图采样介绍

4.3.5图采样算法： GraphSAGE

4.3.6图采样算法： PinSAGE

4.4基于图神经网络的推荐

4.4.1利用GCN的推荐算法

4.4.2利用GAT的推荐算法

4.4.3图神经网络结合FM的推荐算法： GFM

4.4.4GFM加入注意力机制的推荐算法： GAFM

4.4.5小节总结

4.5本章 总结

参考文献

第5章 知识图谱与推荐算法（ 408min）

5.1知识图谱基础

5.1.1知识图谱定义

5.1.2RDF到HRT三元组

5.1.3知识图谱推荐算法与图神经网络推荐算法的发展脉络

5.1.4知识图谱推荐算法的概览

5.1.5基于知识图谱推荐的优劣势

5.1.6Freebase数据集介绍

5.2Knowledge Graph Embedding知识图谱嵌入

5.2.1翻译距离模型TransE

5.2.2翻译距离模型TransH

5.2.3翻译距离模型TransR

5.2.4其他翻译距离模型

5.2.5语义匹配模型RESCAL

5.2.6其他语义匹配模型

5.3基于知识图谱嵌入的推荐算法

5.3.1利用知识图谱嵌入做推荐模型的基本思路

5.3.2最简单的知识图谱推荐算法CKE

5.3.3CKE扩展及演化

5.3.4加强知识图谱信息的影响： MKR

5.3.5MKR扩展

5.3.6针对更新频率很快的新闻场景知识图谱推荐算法： DKN

5.4基于知识图谱路径的推荐算法

5.4.1元路径

5.4.2路径相似度(PathSim)

5.4.3学习元路径的权重： PER

5.4.4异构图的图游走算法： MetaPath2Vec

5.4.5MetaPath2Vec的扩展

5.5知识图谱嵌入结合图路径的推荐RippLeNet

5.5.1RippLeNet基础思想

5.5.2RippLeNet计算过程

5.5.3水波图采样

5.5.4RippLeNet实际操作时的注意事项与代码范例

5.6图神经网络与知识图谱

5.6.1最基础的基于图神经网络的知识图谱推荐算法KGCN

5.6.2KGCN的扩展 KGNNLS

5.6.3图注意力网络在知识图谱推荐算法中的应用KGAT

5.6.4GFM与知识图谱的结合KGFM

5.7本章 总结

参考文献

第6章 推荐系统的构造（ 228min）

6.1推荐系统结构

6.1.1预测服务概览

6.1.2模型训练概览

6.1.3数据处理概览

6.1.4推荐系统结构概览

6.2预测服务部分

6.2.1逻辑召回

6.2.2近邻召回

6.2.3Embedding召回

6.2.4基于模型的召回： 粗排序层

6.2.5精排序层

6.2.6小节总结

6.3LSHEmbedding匹配的加速算法

6.3.1MinHash

6.3.2LSH

6.3.3双塔模型 LSH召回实战

6.4模型训练部分

6.4.1全量训练与增量训练

6.4.2定时训练与实时训练

6.4.3离线训练与在线训练

6.4.4小节总结

6.5数据处理部分

6.5.1特征工程数据流

6.5.2用户画像与产品画像

6.5.3生成标注

6.5.4负例采样

6.5.5统计类数据流

6.5.6批处理与流处理

6.5.7大数据处理工具简介： Spark

6.5.8大数据处理工具简介： Flink

6.5.9小节总结

6.6冷启动

6.6.1用户冷启动

6.6.2物品冷启动

6.6.3物品冷启动到沉寂的生命周期

6.6.4系统冷启动

参考文献

第7章 推荐系统的评估（ 134min）

7.1基础机器学习模型评测指标

7.1.1准确率

7.1.2精确率

7.1.3召回率

7.1.4F1Score

7.1.5ROC曲线

7.1.6AUC

7.1.7Log Loss

7.1.8MSE、RMSE、MAE

7.2TopK推荐评测指标

7.2.1TopK精确率与召回率

7.2.2TopK测试与普通模型测试的区别

7.2.3Mean Average Precision(MAP)

7.2.4Hit Ratio(HR)

7.2.5Mean Reciprocal Rank(MRR)

7.2.6Normalized Discounted Cumulative Gain(NDCG)

7.2.7小节总结

7.3业务性评测指标

7.3.1点击率CTR (Click Through Rate)

7.3.2转化率CVR (Conversion Rate)

7.3.3覆盖率(Coverage)

7.3.4多样性(Diversity)

7.3.5信息熵(Entropy)

7.3.6新颖度(Novelty)

7.3.7惊喜度(Surprise)

7.3.8小节总结

7.4在线对比测试

7.4.1A/B 测试

7.4.2交叉测试

7.4.3A/B测试与交叉测试的优劣势

参考文献

第8章 推荐工程的生命周期（ 75min）

8.1了解数据与推荐目的

8.2初期的特征筛选

8.2.1去除空值太多的特征类目

8.2.2去除单一值太多的特征类目

8.2.3去除一一映射关系的特征

8.2.4计算信息增益比筛选特征

8.2.5计算皮尔逊相关系数筛选特征

8.2.6通过L1正则过滤特征

8.2.7通过业务知识筛选特征

8.3推荐系统结构设计

8.4模型研发

8.5搭建推荐系统

8.6优化推荐系统

参考文献

结语（ 14min）

本书的重点是通过梳理脉络由浅入深地带领读者走进推荐算法领域并建立自己的推荐算法推理思路。配套112个示例源代码，1911分钟视频讲解。