推荐系统实践

随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载（information overload）的时代 。在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：对于信息消费者，从大量信息中找到自己感兴趣的信息是一件非常困难的事情；对于信息生产者，让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统是解决这一矛盾的重要工具。推荐系统的任务是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。

项亮，毕业于中国科学技术大学和中国科学院自动化所，研究方向为机器学习和推荐系统，现任职于北京Hulu软件技术开发有限公司，从事视频推荐的研究和开发。2009年参加Netflix Prize推荐系统比赛获得团体名，且于当年参与创建了Resys China推荐系统社区。

目 录

第 1章 好的推荐系统 1
1.1 什么是推荐系统 1
1.2 个性化推荐系统的应用 4
1.2.1 电子商务 4
1.2.2 电影和视频网站 8
1.2.3 个性化音乐网络电台 10
1.2.4 社交网络 12
1.2.5 个性化阅读 15
1.2.6 基于位置的服务 16
1.2.7 个性化邮件 17
1.2.8 个性化广告 18
1.3 推荐系统评测 19
1.3.1 推荐系统实验方法 20
1.3.2 评测指标 23
1.3.3 评测维度 34

第 2章 利用用户行为数据 35
2.1 用户行为数据简介 36
2.2 用户行为分析 39
2.2.1 用户活跃度和物品流行度的分布 39
2.2.2 用户活跃度和物品流行度的关系 41
2.3 实验设计和算法评测 41
2.3.1 数据集 42
2.3.2 实验设计 42
2.3.3 评测指标 42
2.4 基于邻域的算法 44
2.4.1 基于用户的协同过滤算法 44
2.4.2 基于物品的协同过滤算法 51
2.4.3 UserCF和ItemCF的综合比较 59
2.5 隐语义模型 64
2.5.1 基础算法 64
2.5.2 基于LFM的实际系统的例子 70
2.5.3 LFM和基于邻域的方法的比较 72
2.6 基于图的模型 73
2.6.1 用户行为数据的二分图表示 73
2.6.2 基于图的推荐算法 73

第3章 推荐系统冷启动问题 78
3.1 冷启动问题简介 78
3.2 利用用户注册信息 79
3.3 选择合适的物品启动用户的兴趣 85
3.4 利用物品的内容信息 89
3.5 发挥专家的作用 94

第4章 利用用户标签数据 96
4.1 UGC标签系统的代表应用 97
4.1.1 Delicious 97
4.1.2 CiteULike 98
4.1.3 Last.fm 98
4.1.4 豆瓣 99
4.1.5 Hulu 99
4.2 标签系统中的推荐问题 100
4.2.1 用户为什么进行标注 100
4.2.2 用户如何打标签 101
4.2.3 用户打什么样的标签 102
4.3 基于标签的推荐系统 103
4.3.1 实验设置 104
4.3.2 一个简单的算法 105
4.3.3 算法的改进 107
4.3.4 基于图的推荐算法 110
4.3.5 基于标签的推荐解释 112
4.4 给用户推荐标签 115
4.4.1 为什么要给用户推荐标签 115
4.4.2 如何给用户推荐标签 115
4.4.3 实验设置 116
4.4.4 基于图的标签推荐算法 119
4.5 扩展阅读 119

第5章 利用上下文信息 121
5.1 时间上下文信息 122
5.1.1 时间效应简介 122
5.1.2 时间效应举例 123
5.1.3 系统时间特性的分析 125
5.1.4 推荐系统的实时性 127
5.1.5 推荐算法的时间多样性 128
5.1.6 时间上下文推荐算法 130
5.1.7 时间段图模型 134
5.1.8 离线实验 136
5.2 地点上下文信息 139
5.3 扩展阅读 143

第6章 利用社交网络数据 144
6.1 获取社交网络数据的途径 144
6.1.1 电子邮件 145
6.1.2 用户注册信息 146
6.1.3 用户的位置数据 146
6.1.4 论坛和讨论组 146
6.1.5 即时聊天工具 147
6.1.6 社交网站 147
6.2 社交网络数据简介 148
社交网络数据中的长尾分布 149
6.3 基于社交网络的推荐 150
6.3.1 基于邻域的社会化推荐算法 151
6.3.2 基于图的社会化推荐算法 152
6.3.3 实际系统中的社会化推荐算法 153
6.3.4 社会化推荐系统和协同过滤推荐系统 155
6.3.5 信息流推荐 156
6.4 给用户推荐好友 159
6.4.1 基于内容的匹配 161
6.4.2 基于共同兴趣的好友推荐 161
6.4.3 基于社交网络图的好友推荐 161
6.4.4 基于用户调查的好友推荐算法对比 164
6.5 扩展阅读 165

第7章 推荐系统实例 166
7.1 外围架构 166
7.2 推荐系统架构 167
7.3 推荐引擎的架构 171
7.3.1 生成用户特征向量 172
7.3.2 特征-物品相关推荐 173
7.3.3 过滤模块 174
7.3.4 排名模块 174
7.4 扩展阅读 178

第8章 评分预测问题 179
8.1 离线实验方法 180
8.2 评分预测算法 180
8.2.1 平均值 180
8.2.2 基于邻域的方法 184
8.2.3 隐语义模型与矩阵分解模型 186
8.2.4 加入时间信息 192
8.2.5 模型融合 193
8.2.6 Netflix Prize的相关实验结果 195

后记 196

随着信息技术和互联网的发展，人们逐渐从信息匮乏的时代走入了信息过载（information overload）的时代 。在这个时代，无论是信息消费者还是信息生产者都遇到了很大的挑战：对于信息消费者，从大量信息中找到自己感兴趣的信息是一件非常困难的事情；对于信息生产者，让自己生产的信息脱颖而出，受到广大用户的关注，也是一件非常困难的事情。推荐系统是解决这一矛盾的重要工具。推荐系统的任务是联系用户和信息，一方面帮助用户发现对自己有价值的信息，另一方面让信息能够展现在对它感兴趣的用户面前，从而实现信息消费者和信息生产者的双赢。

项亮，毕业于中国科学技术大学和中国科学院自动化所，研究方向为机器学习和推荐系统，现任职于北京Hulu软件技术开发有限公司，从事视频推荐的研究和开发。2009年参加Netflix Prize推荐系统比赛获得团体名，且于当年参与创建了Resys China推荐系统社区。

“工程师大都喜欢‘In Action’型的书籍，但这并非‘又一本’工具型的‘In Action’读物，透过它你将涉足现代互联网公司孜孜以求的用户核心价值所在——个性化服务。也许一次全新的旅程从这里开始。”
——阿稳，豆瓣算法工程师

“作者结合了多年的推荐系统理论研究和在Hulu的具体实践经验，汲取精华并以深入浅出的方式展示给读者。无论是对于刚入门的新手还是推荐领域的老兵，这本书都是的参考，在此我诚挚地向大家推荐它。”
——郑华， Hulu软件