圖神經(jīng)網(wǎng)絡(GNN)是基于深度學習的圖數(shù)據(jù)處理方法,因其卓越的性能而受到廣泛關注。本書全面介紹了GNN的基本概念、具體模型和實際應用。書中首先概述數(shù)學基礎和神經(jīng)網(wǎng)絡以及圖神經(jīng)網(wǎng)絡的基本概念,接著介紹不同種類的GNN,包括卷積圖神經(jīng)網(wǎng)絡、循環(huán)圖神經(jīng)網(wǎng)絡、圖注意力網(wǎng)絡、圖殘差網(wǎng)絡,以及幾個通用框架。此外,本書還介紹了GNN在結(jié)構(gòu)化場景、非結(jié)構(gòu)化場景和其他場景中的應用。讀完本書,你將對GNN的最新成果和發(fā)展方向有較為透徹的認識。
1.清華大學劉知遠力作;
2.圖神經(jīng)網(wǎng)絡入門導引;
3.邱錫鵬等多位AI先鋒學者推薦;
4.全彩印刷。
“圖神經(jīng)網(wǎng)絡技術(shù)發(fā)展迅速,想快速學習、掌握這些技術(shù)有很多困難。這本書的特點是簡明扼要、系統(tǒng)完整,是學習圖神經(jīng)網(wǎng)絡的一本好教材。”
——張長水
清華大學自動化系教授、IEEE Fellow
“圖神經(jīng)網(wǎng)絡是近年機器學習的研究熱點,也在很多領域取得應用。這本書內(nèi)容詳盡,既包含對圖神經(jīng)網(wǎng)絡基礎的介紹,也有新的一些研究,同時還覆蓋了部分應用,非常系統(tǒng)化,是一本非常值得推薦的書!
——唐杰
清華大學教授、AMiner創(chuàng)始人
“圖神經(jīng)網(wǎng)絡是目前學術(shù)界和工業(yè)界的研究熱點之一。這本書全面、系統(tǒng)地介紹了圖神經(jīng)網(wǎng)絡的基本概念、主要模型以及應用場景,內(nèi)容清晰易懂,非常適合對圖神經(jīng)網(wǎng)絡感興趣的讀者閱讀。強烈推薦!”
——邱錫鵬
復旦大學計算機學院教授
【作者簡介】
劉知遠
清華大學計算機科學與技術(shù)系副教授、博士生導師、智源人工智能研究院研究員,在自然語言處理、表示學習、知識圖譜等人工智能研究領域享有盛譽,所開發(fā)的自然語言處理算法已成為該領域的代表方法。2018年入選《麻省理工科技評論》“35歲以下科技創(chuàng)新35人”。
周界
清華大學計算機科學與技術(shù)系碩士,曾在ACL、KDD等國際會議上發(fā)表論文,研究興趣包括圖神經(jīng)網(wǎng)絡和自然語言處理。
【譯者簡介】
李濼秋
浙江大學計算機科學碩士,研究興趣主要為自然語言處理。
第 1章 引論 1
1.1 設計動機 1
1.1.1 卷積神經(jīng)網(wǎng)絡 1
1.1.2 圖嵌入 3
1.2 相關工作 3
第 2章 數(shù)學和圖論基礎 7
2.1 線性代數(shù) 7
2.1.1 基本概念 7
2.1.2 特征分解 10
2.1.3 奇異值分解 11
2.2 概率論 12
2.2.1 基本概念和公式 12
2.2.2 概率分布 14
2.3 圖論 15
2.3.1 基本概念 16
2.3.2 圖的代數(shù)表示 16
第3章 神經(jīng)網(wǎng)絡基礎 19
3.1 神經(jīng)元 19
3.2 后向傳播 22
3.3 神經(jīng)網(wǎng)絡 24
第4章 基礎圖神經(jīng)網(wǎng)絡 27
4.1 概述 27
4.2 模型介紹 28
4.3 局限性 30
第5章 卷積圖神經(jīng)網(wǎng)絡 33
5.1 基于譜分解的方法 33
5.1.1 Spectral Network 33
5.1.2 ChebNet 34
5.1.3 GCN 35
5.1.4 AGCN 36
5.2 基于空間結(jié)構(gòu)的方法 37
5.2.1 Neural FP 37
5.2.2 PATCHY-SAN 38
5.2.3 DCNN 40
5.2.4 DGCN 40
5.2.5 LGCN 42
5.2.6 MoNet 44
5.2.7 GraphSAGE 45
第6章 循環(huán)圖神經(jīng)網(wǎng)絡 47
6.1 GGNN 47
6.2 Tree-LSTM 49
6.3 Graph-LSTM 50
6.4 S-LSTM 51
第7章 圖注意力網(wǎng)絡 55
7.1 GAT 55
7.2 GaAN 57
第8章 圖殘差網(wǎng)絡 59
8.1 Highway GCN 59
8.2 Jump Knowledge Network 60
8.3 DeepGCN 62
第9章 不同圖類型的模型變體 65
9.1 有向圖 65
9.2 異構(gòu)圖 66
9.3 帶有邊信息的圖 68
9.4 動態(tài)圖 70
9.5 多維圖 72
第 10章 高級訓練方法 75
10.1 采樣 75
10.2 層級池化 78
10.3 數(shù)據(jù)增廣 80
10.4 無監(jiān)督訓練 80
第 11章 通用框架 83
11.1 MPNN 83
11.2 NLNN 85
11.3 GN 87
第 12章 結(jié)構(gòu)化場景應用 93
12.1 物理學 93
12.2 化學和生物學 95
12.2.1 分子指紋 95
12.2.2 化學反應預測 97
12.2.3 藥物推薦 97
12.2.4 蛋白質(zhì)和分子交互預測 98
12.3 知識圖譜 99
12.3.1 知識圖譜補全 99
12.3.2 歸納式知識圖譜嵌入 100
12.3.3 知識圖譜對齊 101
12.4 推薦系統(tǒng) 102
12.4.1 矩陣補全 103
12.4.2 社交推薦 104
第 13章 非結(jié)構(gòu)化場景應用 105
13.1 圖像領域 105
13.1.1 圖像分類 105
13.1.2 視覺推理 108
13.1.3 語義分割 109
13.2 文本領域 110
13.2.1 文本分類 110
13.2.2 序列標注 111
13.2.3 神經(jīng)機器翻譯 112
13.2.4 信息抽取 113
13.2.5 事實驗證 114
13.2.6 其他應用 116
第 14章 其他場景應用 117
14.1 生成模型 117
14.2 組合優(yōu)化 119
第 15章 開放資源 121
15.1 數(shù)據(jù)集 121
15.2 代碼實現(xiàn) 123
第 16章 總結(jié) 125
16.1 淺層結(jié)構(gòu) 125
16.2 動態(tài)圖 126
16.3 非結(jié)構(gòu)化場景 126
16.4 可擴展性 126
參考文獻 129
作者簡介 148