图表示学习开山之作；

清华大学教授鼎力推荐；

浙江大学、山东大学、北京邮电大学等多位高校学子精心翻译；

全面剖析图表示学习、图神经网络、图嵌入、节点嵌入、图深度学习等AI领域的前沿进展，

探索提升AI的可解释性、健壮性的路径与方法，为AI实现推理、规划、逻辑等表示提供助力。

本书提供了一份关于图表示学习的综述。

首先，本书讨论图表示学习的目标及图论和网络分析的关键方法论。

然后，本书介绍并回顾了学习节点嵌入的方法，包括基于随机游走的方法以及在知识图谱上的应用。

再后，本书对高度成功的图神经网络（ Graph Neural Network， GNN）进行了技术上的综合介绍， GNN已成为图数据深度学习领域占主导地位且迅速发展的范式。

最后，本书总结了针对图的深度生成模型的前沿进展，这是图表示学习新生但发展迅速的子集。

威廉·汉密尔顿（William Hamilton）是麦吉尔大学（McGill University）计算机科学系的助理教授，也是加拿大高等研究院（Canadian Institute for Advanced Research, CIFAR）AI 方向的主席、GraphSAGE 的作者。他专注于图表示学习及其在计算社会科学和生物学中的应用。近年来，他在机器学习和网络科学领域的顶级会议发表了20 多篇关于图表示学习的论文，并且参与组织了关于该主题的几次大型研讨会，分享了多份重磅教程。

他的工作获得了多个奖项的认可，其中包括2017 年美国科学院Cozzarelli最佳论文奖和2018 年斯坦福大学计算机科学系Arthur Samuel 最佳博士论文奖等。

AI TIME是2019年由清华大学人工智能研究院张钹院士和清华大学计算机系唐杰教授、李涓子教授等人联合发起的圈子。AI TIME是一个开放、包容的组织，专注于探索AI科学、发扬科学思辨精神。我们邀请各界人士辩论AI本质，介绍学术前沿、展示研究机构风采，鼓励所有参与者用辩论的形式，平等、自由、充分地交流，探讨人工智能和人类未来之间的矛盾，探索人工智能领域的未来。

现在AI面临的问题是缺乏可解释性和鲁棒性。如果未来要做推理、规划、逻辑等表示，万亿级的常识知识图谱、认知图谱和图表示学习是很有帮助的。本书全面、系统地介绍了图表示学习的发展脉络与研究现状，相信能给工业界和学术界的读者带来启发。因此，特别建议大家阅读。

清华大学计算机系教授、IEEE Fellow 唐杰

第一部分 背景介绍

第1 章 引言 ............................................................................................... 2

1.1 什么是图 .......................................................................................... 3

1.2 图机器学习 ...................................................................................... 6

第2 章 背景与传统方法 ............................................................................ 13

2.1 图统计特征与核方法 ..................................................................... 14

2.2 邻域重叠检测 ................................................................................ 23

2.3 图的拉普拉斯矩阵和图的谱方法 .................................................. 32

2.4 面向表示学习 ................................................................................ 41

第二部分 节点嵌入

第3 章 邻域节点重构 ................................................................................ 44

3.1 编码-解码框架 ............................................................................... 45

3.2 基于因式分解的方法 ..................................................................... 49

3.3 随机游走嵌入表示 ......................................................................... 52

3.4 shallow embedding 的局限性 ......................................................... 56

第4 章 多关系数据及知识图谱 .................................................................. 58

4.1 重建多关系数据 ............................................................................. 59

4.2 损失函数 ........................................................................................ 60

4.3 多关系解码器 ................................................................................ 64

4.4 解码器的性能表征 ......................................................................... 68

第三部分 图神经网络（GNN）

第5 章 图神经网络（GNN）模型 .............................................................. 72

5.1 神经消息传递 ................................................................................ 74

5.2 广义邻域聚合 ................................................................................ 80

5.3 广义的更新方法 ............................................................................. 89

5.4 边特征和多元关系GNN ................................................................ 96

5.5 图池化 ............................................................................................ 99

5.6 通用的消息传递方法 ................................................................... 102

第6 章 图神经网络（GNN）的实现 ......................................................... 104

6.1 应用和损失函数 ........................................................................... 104

6.2 效率问题和节点采样 ................................................................... 110

6.3 参数共享与正则化 ....................................................................... 112

第7 章 图神经网络（GNN）的理论动机 .................................................. 114

7.1 GNN与图卷积 ............................................................................. 115

7.2 GNN和概率图模型 ..................................................................... 135

7.3 GNN与图同构 ............................................................................. 141

第四部分 生成图模型

第8 章 传统图生成方法 .......................................................................... 158

8.1 传统方法概述 .............................................................................. 159

8.2 ERDÖS–RÉNYI 模型 .................................................................. 159

8.3 随机块模型 .................................................................................. 160

8.4 优先链接模型 .............................................................................. 161

8.5 传统应用 ...................................................................................... 163

第9 章 深度生成模型 .............................................................................. 165

9.1 VAE 方法 ..................................................................................... 166

9.2 对抗方法 ...................................................................................... 176

9.3 自回归模型 .................................................................................. 178

9.4 图生成的评估 .............................................................................. 184

9.5 分子图生成 .................................................................................. 185

回顾AI 的发展历史，可以看到AI 在文本识别、语音识别、视频识别等方面已经超越了人类，这个时代是一个感知的时代，AI 到2021 年为止基本上解决了所有的感知问题。感知时代最大的特点是算法，图0.1 汇总了最近几十年AI 算法的一些进展。

图0.1

图0-1 中最上面浅紫色的部分大致梳理了卷积神经网络（ConvolutionalNeural Network，CNN）的发展历史，第三层浅黄色的部分大致梳理了循环神经网络（Recurrent Neural Network，RNN）的发展。

如果结合浅紫色的部分和浅黄色的部分，把卷积神经网络加上图模型，就形成了图神经网络（Graph Neural Network，GNN）的基本思想。可以看出，图神经网络有很长的发展历史，是一个非常简单的机器学习算法在图上的一个自然延伸，这一波自然延伸的结果是必然有下一波跃迁。

从AI 的发展趋势来看，AI 将会从感知到认知逐步发展，在这个过程中，图表示学习和图神经网络很可能成为其中不可或缺的因素。近年来，图表示学习和图神经网络成为网络数据分析与应用的热点研究问题，它们将深度神经网络技术用于网络结构的建模与计算，诞生了以DeepWalk、LINE 和node2vec 为代表的图表示学习技术。以GCN 为代表的图神经网络，能够利用分布式表示方案实现对网络中的节点、边及其附带的标签、属性和文本等信息的建模，从而更好地利用网络结构进行精细建模和深度推理，相关技术已经被广泛用于数据挖掘、社会网络分析、推荐系统、自然语言处理、知识图谱等领域。

鉴于此，AI TIME 特别联合电子工业出版社引进了威廉·汉密尔顿（William Hamilton）的《图表示学习》（Graph Representation Learning），并组织志愿者进行翻译。其中，浙江大学在读硕士研究生叶帅翻译了第1、2 章，山东大学在读博士研究生刘美珍翻译了第3、4 章，北京邮电大学在读博士研究生任付鑫翻译了第5、6 章，北京邮电大学在读硕士研究生朱国桢翻译了第7 章，北京邮电大学在读博士研究生王振亚翻译了第8、9 章。此外，特别感谢电子工业出版社的田志远编辑，是他跟踪了本书从版权引进到出版的全部过程。虽然我们反复斟酌了中文内容以力求准确，但限于自身能力的不足和领域的快速发展，本书难免存在错漏，还请各位读者不吝赐教，我们一定虚心接受，及时改正。为了保持原书的“原汁原味”，对目前国家标准尚未明确规定的公式、符号，我们保留了原书的写法，请大家在阅读时注意。

希望本书能为国内关注图表示学习、图机器学习、图神经网络等相关领域的读者提供一份实用的学习资料，推动该领域的发展。欢迎各位读者加入本书交流群，一起阅读、学习本书，共同探讨相关领域乃至整个AI 的发展。

同时欢迎各位读者扫描前勒口中的二维码，关注“AI TIME 论道”公众号，分享想法、提出宝贵建议，你也可以加入志愿者社区，与志同道合的小伙伴一起成长。

AI TIME

2021 年5 月