图深度学习

前言

图（Graph）经常用来表示包括社会科学、语言学、化学、生物学和物理学在内的很多不同领域的数据。同时，许多现实世界的应用都可以视为图上的计算任务，例如特定地点的空气质量预测可以视为节点分类任务，社交网络中的朋友推荐可以视为链接预测任务，蛋白质性质预测可以视为图分类任务。为了更好地利用现代机器学习模型完成图上的计算任务，有效地学习图的表示至关重要。表示图的特征提取方法一般可分为两种——特征工程和表示学习。特征工程依赖于手工设计的特征，这个过程很费时，而且手工设计的特征对于给定的下游任务通常不是的。相对而言，表示学习可以自动地从图上学习特征，这个过程需要少的人力并可以灵活适用于给定的下游任务。因此，图上的表示学习被大家广泛研究。

在过去的几十年中，图表示学习领域取得了巨大的进展。这些进展大致可以划分为图表示学习的三个时代，即传统图嵌入、现代图嵌入和图深度学习。传统图嵌入作为代图表示学习，是在经典的基于图的降维技术的背景下研究的。传统图嵌入包括IsoMap、LLE 和eigenmap 等方法。Word2vec 是从大量文本中学习词的表示的一种方法，这些生成的词表示已推进了许多自然语言处理任务的进展。Word2vec 在图域的成功扩展开启了第二代图表示学习——现代图嵌入。鉴于深度学习技术在图像和文本领域表示学习中取得的巨大成功，研究者已努力地将其推广到图域，从而开启了图表示学习的新篇章——图深度学习。

越来越多的证据表明，第三代图表示学习，尤其是图神经网络（GNN），极大地促进了包括侧重于节点和侧重于图的各种图上计算任务的发展。GNN 带来的革命性进展也极大地促进了图表示学习在现实场景中的广泛应用。在推荐系统和社交网络分析等经典领域中，GNN 带来了好的性能并为它们带来新的研究课题。同时，GNN也不断地应用到新的领域，例如组合优化、物理和医疗健康。GNN 的这些广泛应用为研究者提供了不同学科的多种贡献和观点，并使该研究领域真正成为跨学科领域。

图表示学习是一个快速发展的领域，它吸引了来自不同领域研究者的大量关注，并已经积累了大量的文献。因此，现在是系统地调查和总结该领域的好时机，本书的写作动机就是实现这一目标。本书基于笔者在该领域多年的教学和研究经验，旨在帮助研究人员了解图表示学习的基本知识、进展、广泛的应用及研究前沿成果。

全书概要

本书全面介绍了图表示学习，重点讲解图深度学习尤其是GNN。本书由4 篇组成：基础理论、模型方法、实际应用和前沿进展。基础理论篇介绍了图和深度学习的历史背景和基本概念。模型方法篇涵盖的主题包括现代图嵌入、用于简单图和复杂图的GNN、GNN 的健壮性和可扩展性及GNN 之外的图深度模型。其中，每个主题都用一章介绍，内容包括有关该主题的基本概念和代表性算法的技术细节。实际应用篇介绍了GNN 在典型领域的应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学和医疗健康，每个应用领域将用一章介绍。前沿进展篇讨论了涌现的新方法和新的应用领域，每一章后都包括针对更高级主题和趋势的扩展阅读，感兴趣的读者可以进一步阅读相关参考文献。

目标读者

尽管图论、微积分、线性代数、概率论和统计学的基本背景可以帮助读者更好地理解书中的技术细节，但本书的目的是尽可能地做到自成体系。因此，本书广泛地适用于具有不同背景和不同阅读目的的读者。本书可以作为学习工具和参考书，供相关研究领域的高年级本科生或研究生学习。希望从事该领域研究的研究人员可以将本书作为起点。项目经理和从业人员可以从本书中学习如何在产品和平台中应用GNN。计算机科学领域以外的研究人员可以从本书中找到大量将GNN 应用于不同学科的示例。

由于编者水平有限，书中不足之处在所难免，肯请广大读者批评指正。

马耀

汤继良

东兰辛，密西根州

2020 年8 月

致谢

本书在翻译、校对和出版过程中，得到国内外众多专家学者和出版人员的大力支持和帮助，我们衷心地感谢为本书做出了卓越贡献的各位朋友：

感谢为本书撰写推荐序的伊利诺伊大学芝加哥分校的俞士纶教授。

感谢为本书撰写推荐语的多位专家学者，他们是（按照姓氏拼音排序）：清华大学崔鹏副教授、国防科技大学刘新旺教授、得克萨斯农工大学姬水旺教授、西蒙弗雷泽大学裴健教授、蒙特利尔大学唐建助理教授、清华大学唐杰教授、康奈尔大学王飞副教授、万人计划国家教学名师殷建平教授、悉尼科技大学张成奇教授、南京大学周志华教授和国防科技大学祝恩教授。

感谢为本书的校对和修改提出宝贵意见的各位老师和同学们，他们是（按照姓氏拼音排序）：桂林电子科技大学蔡国永教授及其团队、重庆大学高旻副教授及其团队、中国科技大学何向南教授及其团队、南宁师范大学黄江涛副研究员及其团队、北京理工大学礼欣副教授及其团队、解放军理工大学潘志松教授及其团队、吉林大学王鑫副研究员及其团队、山东大学余国先教授及其团队、南京航空航天大学袁伟伟教授及其团队、国防科技大学周思航老师及博士生涂文轩。

感谢为本书付出巨大努力的电子工业出版社的宋亚东编辑以及全体工作人员。

感谢一直以来关注本书出版进展的热心人士。

感谢正在阅读此书的你。

后，衷心地感谢我们的亲人挚友，感谢你们一路温暖的相伴、真挚的理解和坚强的支持。

祝大家学有所得，心想事成！

王怡琦，金卫，马耀，汤继良

2021年3月

本书全面介绍了图深度学习的理论基础、模型方法及实际应用。全书分为4 篇，共15 章。第1 篇为基础理论，重点介绍图和深度学习的基础知识，包括图的关键概念和属性、各种基础的神经网络模型、训练深度学习模型的关键方法以及防止训练过程中过度拟合的实用技术；第2 篇为模型方法，涵盖了从基本设置到高级设置的成熟的图深度学习方法，包括图嵌入、图过滤和池化操作、图对抗攻击和图对抗防御技术、可扩展性图神经网络的代表性技术以及图神经网络之外的众多图深度模型；第3 篇为实际应用，重点介绍了*代表性的实际应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学与医疗健康等；第4 篇为前沿进展，介绍了有可能成为将来研究热点的高级方法和应用，主要从表达性、深度、公平性、可解释性和自监督学习等内容。在组织结构方面，每章首先介绍写作动机，然后通过具体示例或技术细节介绍相应内容，*后提供更多的扩展阅读知识。

本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读，也适合企业开发者和项目经理阅读。对于没有计算机科学背景，但想要应用图神经网络来推进其所在学科发展的研究人员，本书同样是一本值得参考的读物。

作者介绍

马   耀
密歇根州立大学博士研究生。他将于2021年秋季学期作为助理教授加入新泽西理工学院。他是密歇根州立大学杰出博士生奖以及FAST Fellowship的获奖者。他的研究兴趣包括网络嵌入和图神经网络。他的论文多次发表在KDD、WWW、IJCAI、SIGIR和TKDE等数据挖掘会议和期刊上。他在众多知名会议（如ICML、 KDD、 AAAI和IJCAI等）以及杂志（如TKDD、TKDE和TPAMI等）担任程序委员会委员以及审稿人。他是AAAI图神经网络和KDD图深度学习教学讲座的组织者和演讲者，这些教学讲座都获得了领域内外的巨大关注和广泛好评。

汤继良
密西根州立大学助理教授。在这之前，他曾担任雅虎研究院研究员，于2015年从亚利桑那州立大学取得博士学位。他在图特征选择、图表征学习、图深度学习以及它们在互联网和社交媒体上的应用方面做出了杰出贡献。他曾经获得 SIGKDD新星奖（Rising Star Award）、Withrow杰出研究奖（Distinguished Withrow Research Award）、美国自然科学基金杰出青年奖（NSF Career Award）、IJCAI早期焦点人物演讲（IJCAI Early Career Talk）和包括KDD、WSDM等在内的7项领域知名会议的（或提名）论文奖。他的博士论文获得SIGKDD博士论文（KDD Best Dissertation）亚军和院长优秀博士论文奖（Dean’s Dissertation Award）。他是SIAM数据分析小组和ACM TKDD期刊的秘书长。他经常当任数据挖掘会议的组织者和期刊的编委。他的研究成果发表在领域的期刊和会议上，现已获得了超过14,000多次的引用（H指数为60）和媒体的广泛关注和报道。

译者介绍

王怡琦
密歇根州立大学博士研究生。她的研究兴趣主要集中在图神经网络理论基础及其应用。她在计算机会议（如KDD、EMNLP、WWW和AAAI等）上发表了多篇研究成果。她曾担任AAAI、IJCAI和CIKM等国际知名会议的程序委员会委员。她曾参加组织KDD和AAAI图深度学习专题教学讲座，并担任主要演讲者，获得了领域内外的巨大关注和广泛好评。

金  卫
密歇根州立大学博士研究生。他的研究兴趣集中在图神经网络，包括理论基础、模型健壮性及应用。他在KDD、AAAI、WSDM和WWW等计算机会议上发表了多篇研究成果。他还是备受业内关注的对抗攻击和防御工具包DeepRobust的主要贡献者。他曾担任包括IJCAI和CIKM等国际知名会议的程序委员会委员。他曾参加组织AAAI图深度学习专题教学讲座和KDD神经网络对抗攻击与防御专题教学讲座，并担任主要演讲者，获得了领域内外的巨大关注和广泛好评。

第1 章绪论1 
1.1 简介2 
1.2 图深度学习的动机2 
1.3 本书内容4 
1.4 本书读者定位6 
1.5 图特征学习的简要发展史7 
1.5.1 图特征选择8 
1.5.2 图表示学习9 
1.6 小结10 
1.7 扩展阅读11 

第1 篇基础理论 
第2 章图论基础15 
2.1 简介16 
2.2 图的表示16 
2.3 图的性质17 
2.3.1 度17 
2.3.2 连通度19 
2.3.3 中心性21 
2.4 谱图论24 
2.4.1 拉普拉斯矩阵24 
2.4.2 拉普拉斯矩阵的特征值和特征向量26 
2.5 图信号处理27 
2.6 复杂图30 
2.6.1 异质图30 
2.6.2 二分图30 
2.6.3 多维图31 
2.6.4 符号图32 
2.6.5 超图33 
2.6.6 动态图33 
2.7 图的计算任务34 
2.7.1 侧重于节点的任务35 
2.7.2 侧重于图的任务36 
2.8 小结37 
2.9 扩展阅读37 
第3 章深度学习基础39 
3.1 简介40 
3.2 深度前馈神经网络41 
3.2.1 网络结构42 
3.2.2 激活函数43 
3.2.3 输出层和损失函数45 
3.3 卷积神经网络47 
3.3.1 卷积操作和卷积层48 
3.3.2 实际操作中的卷积层51 
3.3.3 非线性激活层52 
3.3.4 池化层53 
3.3.5 卷积神经网络总体框架53 
3.4 循环神经网络54 
3.4.1 传统循环神经网络的网络结构55 
3.4.2 长短期记忆网络56 
3.4.3 门控循环单元58 
3.5 自编码器59 
3.5.1 欠完备自编码器59 
3.5.2 正则化自编码器60 
3.6 深度神经网络的训练61 
3.6.1 梯度下降61 
3.6.2 反向传播62 
3.6.3 预防过拟合64 
3.7 小结65 
3.8 扩展阅读65 
第2 篇模型方法 
第4 章图嵌入69 
4.1 简介70 
4.2 简单图的图嵌入71 
4.2.1 保留节点共现71 
4.2.2 保留结构角色80 
4.2.3 保留节点状态83 
4.2.4 保留社区结构84 
4.3 复杂图的图嵌入86 
4.3.1 异质图嵌入87 
4.3.2 二分图嵌入89 
4.3.3 多维图嵌入90 
4.3.4 符号图嵌入91 
4.3.5 超图嵌入93 
4.3.6 动态图嵌入95 
4.4 小结96 
4.5 扩展阅读97 
第5 章图神经网络99 
5.1 简介100 
5.2 图神经网络基本框架102 
5.2.1 侧重于节点的任务的图神经网络框架102 
5.2.2 侧重于图的任务的图神经网络框架103 
5.3 图滤波器104 
5.3.1 基于谱的图滤波器104 
5.3.2 基于空间的图滤波器114 
5.4 图池化120 
5.4.1 平面图池化120 
5.4.2 层次图池化121 
5.5 图卷积神经网络的参数学习125 
5.5.1 节点分类中的参数学习126 
5.5.2 图分类中的参数学习126 
5.6 小结127 
5.7 扩展阅读128 
第6 章图神经网络的健壮性129 
6.1 简介130 
6.2 图对抗攻击130 
6.2.1 图对抗攻击的分类131 
6.2.2 白盒攻击132 
6.2.3 灰盒攻击135 
6.2.4 黑盒攻击139 
6.3 图对抗防御142 
6.3.1 图对抗训练142 
6.3.2 图净化144 
6.3.3 图注意力机制144 
6.3.4 图结构学习148 
6.4 小结149 
6.5 扩展阅读149 
第7 章可扩展图神经网络151 
7.1 简介152 
7.2 逐点采样法155 
7.3 逐层采样法158 
7.4 子图采样法162 
7.5 小结164 
7.6 扩展阅读164 
第8 章复杂图神经网络165 
8.1 简介166 
8.2 异质图神经网络166 
8.3 二分图神经网络168 
8.4 多维图神经网络168 
8.5 符号图神经网络170 
8.6 超图神经网络173 
8.7 动态图神经网络174 
8.8 小结175 
8.9 扩展阅读175 
第9 章图上的其他深度模型177 
9.1 简介178 
9.2 图上的自编码器178 
9.3 图上的循环神经网络180 
9.4 图上的变分自编码器182 
9.4.1 用于节点表示学习的变分自编码器184 
9.4.2 用于图生成的变分自编码器184 
9.4.3 编码器：推论模型185 
9.4.4 解码器: 生成模型186 
9.4.5 重建的损失函数186 
9.5 图上的生成对抗网络187 
9.5.1 用于节点表示学习的生成对抗网络188 
9.5.2 用于图生成的生成对抗网络189 
9.6 小结191 
9.7 扩展阅读191 
第3 篇实际应用 
第10 章自然语言处理中的图神经网络195 
10.1 简介196 
10.2 语义角色标注196 
10.3 神经机器翻译199 
10.4 关系抽取199 
10.5 问答系统200 
10.5.1 多跳问答任务201 
10.5.2 Entity-GCN 202 
10.6 图到序列学习203 
10.7 知识图谱中的图神经网络205 
10.7.1 知识图谱中的图滤波205 
10.7.2 知识图谱到简单图的转换206 
10.7.3 知识图谱补全207 
10.8 小结208 
10.9 扩展阅读208 
第11 章计算机视觉中的图神经网络209 
11.1 简介210 
11.2 视觉问答210 
11.2.1 图像表示为图211 
11.2.2 图像和问题表示为图212 
11.3 基于骨架的动作识别214 
11.4 图像分类215 
11.4.1 零样本图像分类216 
11.4.2 少样本图像分类217 
11.4.3 多标签图像分类218 
11.5 点云学习219 
11.6 小结220 
11.7 扩展阅读220 
第12 章数据挖掘中的图神经网络221 
12.1 简介222 
12.2 万维网数据挖掘222 
12.2.1 社交网络分析222 
12.2.2 推荐系统225 
12.3 城市数据挖掘229 
12.3.1 交通预测229 
12.3.2 空气质量预测231 
12.4 网络安全数据挖掘231 
12.4.1 恶意账户检测231 
12.4.2 虚假新闻检测233 
12.5 小结234 
12.6 扩展阅读234 
第13 章生物化学和医疗健康中的 
图神经网络235 
13.1 简介236 
13.2 药物开发与发现236 
13.2.1 分子表示学习236 
13.2.2 蛋白质相互作用界面预测237 
13.2.3 药物?C靶标结合亲和力预测239 
13.3 药物相似性整合240 
13.4 复方药物副作用预测242 
13.5 疾病预测244 
13.6 小结245 
13.7 扩展阅读245 
第4 篇前沿进展 
第14 章图神经网络的高级方法249 
14.1 简介250 
14.2 深层图神经网络250 
14.2.1 Jumping Knowledge 252 
14.2.2 DropEdge 253 
14.2.3 PairNorm 253 
14.3 通过自监督学习探索未标记数据253 
14.3.1 侧重于节点的任务254 
14.3.2 侧重于图的任务256 
14.4 图神经网络的表达能力257 
14.4.1 WL 测试258 
14.4.2 表达能力259 
14.5 小结260 
14.6 扩展阅读260 
第15 章图神经网络的高级应用261 
15.1 简介262 
15.2 图的组合优化262 
15.3 学习程序表示264 
15.4 物理学中相互作用的动力系统推断265 
15.5 小结266 
15.6 扩展阅读266 
参考文献267 
索引295

本书全面介绍了图深度学习的理论基础、模型方法及实际应用。全书分为4 篇，共15 章。第1 篇为基础理论，重点介绍图和深度学习的基础知识，包括图的关键概念和属性、各种基础的神经网络模型、训练深度学习模型的关键方法以及防止训练过程中过度拟合的实用技术；第2 篇为模型方法，涵盖了从基本设置到高级设置的成熟的图深度学习方法，包括图嵌入、图过滤和池化操作、图对抗攻击和图对抗防御技术、可扩展性图神经网络的代表性技术以及图神经网络之外的众多图深度模型；第3 篇为实际应用，重点介绍了*代表性的实际应用，包括自然语言处理、计算机视觉、数据挖掘、生物化学与医疗健康等；第4 篇为前沿进展，介绍了有可能成为将来研究热点的高级方法和应用，主要从表达性、深度、公平性、可解释性和自监督学习等内容。在组织结构方面，每章首先介绍写作动机，然后通过具体示例或技术细节介绍相应内容，*后提供更多的扩展阅读知识。

本书既适合对数据挖掘、机器学习和社交网络分析感兴趣的本科生和研究生阅读，也适合企业开发者和项目经理阅读。对于没有计算机科学背景，但想要应用图神经网络来推进其所在学科发展的研究人员，本书同样是一本值得参考的读物。

作者介绍

马   耀
密歇根州立大学博士研究生。他将于2021年秋季学期作为助理教授加入新泽西理工学院。他是密歇根州立大学杰出博士生奖以及FAST Fellowship的获奖者。他的研究兴趣包括网络嵌入和图神经网络。他的论文多次发表在KDD、WWW、IJCAI、SIGIR和TKDE等数据挖掘会议和期刊上。他在众多知名会议（如ICML、 KDD、 AAAI和IJCAI等）以及杂志（如TKDD、TKDE和TPAMI等）担任程序委员会委员以及审稿人。他是AAAI图神经网络和KDD图深度学习教学讲座的组织者和演讲者，这些教学讲座都获得了领域内外的巨大关注和广泛好评。

汤继良
密西根州立大学助理教授。在这之前，他曾担任雅虎研究院研究员，于2015年从亚利桑那州立大学取得博士学位