检索匹配:深度学习在搜索、广告、系统中的应用

康善同，本科毕业于南京大学；于北京大学获得计算机系统结构硕士学位；有十余年的互联网大厂一线算法相关工作经验。

第1部分理论准备

 第1章深度学习时代

 1.1深度学习的飞速发展

 1.2深度学习在互联网的应用

 1.2.1搜索

 1.2.2推荐

 1.2.3广告

 1.2.4通用检索流程

 1.3深度学习模型分类

 1.4模型服务中台

 1.5分布式机器学习

 1.6深度学习软件框架

 1.7小结

 第2章深度学习简介

 2.1生物神经网络

 2.2人工神经网络

 2.3业务问题建模

 2.4DNN的拟合能力

 2.5DNN的学习方式

 2.6CNN与RNN

 2.7小结

 第2部分设计与实现

 第3章标签拼接

 3.1时间窗口

 3.2延迟反馈

 3.3样本集介绍

 3.3.1原始样本

 3.3.2广告基本信息表

 3.3.3用户基本信息表

 3.3.4用户的行为日志

 3.4小结

 第4章特征处理

 4.1特征分类

 4.2特征体系

 4.3原始特征拼接

 4.3.1拼接方法

 4.3.2数据集特征拼接

 4.3.3代码

 4.4明文特征抽取

 4.4.1特征抽取算子

 4.4.2特征抽取示例

 4.5特征ID化

 4.5.1特征词表生成

 4.5.2ID化示例

 4.6代码说明

 4.7小结

 第5章模型构建

 5.1DNN求解

 5.1.1数学规划

 5.1.2DNN方法

 5.2模型层

 5.2.1输入层

 5.2.2神经网络层

 5.2.3激活函数层

 5.3模型结构

 5.3.1DLRM模型

 5.3.2模型搭建

 5.4损失函数

 5.4.1MSE损失函数

 5.4.2CrossEntropy损失函数

 5.5优化器

 5.5.1SGD

 5.5.2Momentum

 5.5.3Nesterov

 5.5.4AdaGrad

 5.5.5Adam

 5.5.6扩展

 5.6小结

 第6章模型训练与预测

 6.1模型评估

 6.2模型训练

 6.2.1模型训练流程

 6.2.2模型训练技巧

 6.3模型预测

 6.4训练效果示例

 6.5模型优化

 6.6GPU应用

 6.7小结

 第3部分不错深度学习模型

 第7章检索算法理论

 7.1检索算法抽象

 7.2有表示匹配

 7.2.1标签表示

 7.2.2分布式表示

 7.3无表示匹配

 7.4内容理解

 7.4.1自然语言处理

 7.4.2计算机视觉

 7.4.3一点思考

 7.5用户理解

 7.6总结

 第8章检索算法演进

 8.1前深度学习时代

 8.1.1LR

 8.1.2决策树

 8.1.3协同过滤

 8.1.4MF

 8.1.5算法应用

 8.2深度学习时代

 8.2.1精排模型演进

 8.2.2粗排模型演进

 8.2.3召回模型演进

 8.3小结

 第9章DSSM理论与实现

 9.1DSSM模型

 9.2DSSM实现

 9.3线上预测

 9.4ANN检索

 9.4.1基于树的方法

 9.4.2基于Hash的方法

 9.4.3基于图的方法

 9.4.4ANN检索效率比较

 9.5训练效果

 9.6模型优化

 9.7小结

 第4部分分布式机器学习

 第10章计算机系统

 10.1单机系统

 10.1.1单机系统物理模型

 10.1.2单机系统程序编程

 10.2分布式系统

 10.2.1分布式计算

 10.2.2分布式存储

 10.2.3分布式协同通信

 10.2.4CAP理论

 10.2.5一点思考

 10.3分布式系统示例

 10.4分布式编程示例

 10.5小结

 第11章分布式机器学习设计与实现

 11.1机器学习应用系统设计

 11.2分布式机器学习设计

 11.2.1并行方式

 11.2.2节点协作方式

 11.2.3模型更新方式

 11.3常用的分布式学习框架

 11.4PSLite介绍

 11.4.1代码架构

 11.4.2工作流程

 11.5分布式训练实现

 11.5.1架构设计

 11.5.2代码实现

 11.5.3程序运行

 11.5.4模型保存与加载

 11.5.5效果评估

 11.6小结

 结语

 附录

 附录A辅助学习资料

第1章深度学习时代

无论在互联网业务还是在人工智能相关的研究中，深度学习都是一门炙手可热的技术。尤其是在互联网核心的内容分发（搜索、推荐、广告）业务中，基于深度学习的算法渗透了用户理解、内容理解、召回、排序、出价等环节，为用户体验和商业化等相关指标的提升起到了不可替代的关键性作用。本章将主要介绍深度学习在互联网业务中的应用场景以及相关的工程框架。

1.1深度学习的飞速发展

自从2012年基于CNN（Convolutional Neural Network,卷积神经网络）的AlexNet模型（见图1-1）在ImageNet比赛中一举夺魁以来，深度学习逐渐获得工业界和学术界的重视，基于深度学习的人工智能已经在机器翻译、图像识别、游戏对弈和自动驾驶等多个领域取得了突破性成果。

1）在机器翻译领域，2020年百度提出了语义单元驱动的AI同传模型，翻译准确率为80%，时间延迟约为3秒，与人类水平相当。

2）在图像识别领域，2015年谷歌（Google）在ImageNet大规模图像视觉识别挑战赛中将

图像分类Top5错误率降低到3.5%，超过了人类的识别水平。

3）在游戏对弈领域，2016年DeepMind的AlphaGo战胜了人类围棋世界冠军李世石，2017年战胜了围棋世界排名第一的柯洁。

4）在自动驾驶领域，伴随着新能源汽车市场份额的逐步扩大，辅助驾驶功能已经成为汽车的标配，包括谷歌、特斯拉、百度、华为在内，各大公司、厂商纷纷加码自动驾驶的研发。

除了以上领域，深度学习在医疗、机器人等行业也得到了深入应用，呈现全面开花之势。

1.2深度学习在互联网的应用

对于大型的互联网业务来说，如百度的搜索、抖音的短视频推荐、阿里的商品服务等，其服务的用户可以达到数亿乃至数十亿的规模。每个用户都有自己独特的喜好和需求，所以这些业务需要为海量的用户提供个性化的服务，天然具有使用机器学习的迫切需求，同时海量的用户也带来了海量的用户数据，为机器学习发挥作用提供了必要条件。因此，深度学习在图像识别领域获得了成功后，便被大规模应用在了互联网业务中。

某种角度上说，消费互联网的主要功能是连接，如连接人和人（社交）、连接人和信息（文字、图片、短视频、长视频）、连接人和商品（电商）、连接人和服务（外卖）、连接人和广告（互联广告）等。这种连接按照用户的主观能动性可以分为两种，一种是主动连接。用户有明确的需求或者是目标，主动发起连接，典型的主动连接行为是搜索，如在搜索引擎中查询深度学习相关的论文；另一种是被动连接。用户没有明确的目标，由互联网平台根据用户的固有属性（年龄、性别、兴趣、爱好等）或者历史行为信息推送用户感兴趣的内容，典型的被动连接是推荐，如当下比较流行的短视频推荐、商品推荐。连接的一端是海量的用户，另一端是海量的内容，而负责进行连接的就是检索匹配系统。

从内容属性上来说，搜索引擎检索的文档、短视频App推荐的视频等都属于用户内容，算法的设计主要关注用户指标，如相关性、留存、用户时长等。广告是商业内容，每个广告上都有一个出价（bid），广告算法关注的主要指标为点击率、转化率、收费金额等商业指标。广告既可以是主动连接的——搜索广告，也可以是被动连接的——推荐广告。

深度学习在搜索、推荐、广告业务中的用户画像建设、内容理解、召回排序等阶段都发挥着关键性作用。下面先来看一下搜索、推荐、广告业务的检索匹配流程，以及算法在其中扮演……

1. 聚焦互联网三大核心业务，详细阐述了检索匹配的理论和演进历史。 2. 通过落地一个基于深度学习算法模型的分布式机器学习业务案例来加深读者理解。 3. 随书免费赠送全部案例源代码和超过180分钟的高清学习视频。

本书主要介绍了深度学习在互联网核心的三大类业务（搜索、广告、推荐系统）检索系统中的应用。书中详细讲述了检索匹配的理论、演进历史，以及在业务中落地一个基于深度学习算法模型的全流程技能，包括业务问题建模、样本准备、特征抽取、模型训练和预测等，并提供了相应的代码。本书共11章，分为四大部分。第1部分（~2章）介绍了深度学习的相关理论知识；第2部分（第3~6章）介绍了业务中如何上线一个深度学习模型，包括标签拼接、特征抽取、模型训练和预测等流程，采用单机实现；第3部分（第7~9章）介绍了检索算法基本理论以及演进历史，并以业内应用较为广泛的双塔模型DSSM为例进行了详细理论解析和代码实现；第4部分（第10~11章）介绍了如何将单机训练模式改造为分布式训练模式，以加快模型的训练速度，从而应对具有海量样本的业务场景。本书为读者提供了全部案例源代码下载和超过180分钟的高清学习视频，读者可直接扫描二维码观看。本书旨在为读者介绍深度学习在互联网业务中落地的方法和实现，主要面向算法工程师、相关领域研究人员和相关专业院校师生。