第 1 章 圖上的深度學(xué)習(xí) ...................................................................................................................... 1
1.1 人工智能與深度學(xué)習(xí) ....................................................................................................................................... 2
1.1.1 深度學(xué)習(xí)的發(fā)展 ................................................................................................................................... 2
1.1.2 人工智能的底層邏輯 ............................................................................................................................ 4
1.2 圖神經(jīng)網(wǎng)絡(luò)時代的來臨.................................................................................................................................... 6
1.2.1 圖與圖像大不同 ................................................................................................................................... 6
1.2.2 圖神經(jīng)網(wǎng)絡(luò)的本質(zhì) ................................................................................................................................ 8
1.3 圖數(shù)據(jù)處理面臨的挑戰(zhàn).................................................................................................................................... 9
1.3.1 歐氏空間難表示圖 ................................................................................................................................ 9
1.3.2 圖表達(dá)無固定格式 .............................................................................................................................. 10
1.3.3 圖可視化難理解 ................................................................................................................................. 11
1.3.4 圖數(shù)據(jù)不符合獨立同分布 .................................................................................................................. 11
1.4 圖神經(jīng)網(wǎng)絡(luò)的應(yīng)用層面.................................................................................................................................. 12
1.4.1 節(jié)點預(yù)測 ............................................................................................................................................. 12
1.4.2 邊預(yù)測 ................................................................................................................................................. 13
1.4.3 圖預(yù)測 ................................................................................................................................................. 14
1.5 圖神經(jīng)網(wǎng)絡(luò)的發(fā)展簡史.................................................................................................................................. 15
1.5.1 早期的圖神經(jīng)網(wǎng)絡(luò) .............................................................................................................................. 15
1.5.2 圖卷積神經(jīng)網(wǎng)絡(luò)的提出 ...................................................................................................................... 16
1.5.3 圖表示學(xué)習(xí) ......................................................................................................................................... 18
1.5.4 圖卷積的簡化 ..................................................................................................................................... 19
1.6 圖神經(jīng)網(wǎng)絡(luò)的模塊與分類 .............................................................................................................................. 20
1.6.1 圖神經(jīng)網(wǎng)絡(luò)的常見模塊 ...................................................................................................................... 20
1.6.2 圖神經(jīng)網(wǎng)絡(luò)的分類 .............................................................................................................................. 22
1.7 本章小結(jié) ......................................................................................................................................................... 23
參考資料 .................................................................................................................................................................. 24

第 2 章 圖神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ) ........................................................................................................ 27
2.1 矩陣論基礎(chǔ) ..................................................................................................................................................... 28
2.1.1 標(biāo)量與向量 ......................................................................................................................................... 28
2.1.2 向量范數(shù) ............................................................................................................................................. 30
2.1.3 向量的夾角與余弦相似度 .................................................................................................................. 32
2.1.4 矩陣與張量 ......................................................................................................................................... 33
2.1.5 矩陣的本質(zhì) ......................................................................................................................................... 34
2.1.6 矩陣乘法的三種視角 .......................................................................................................................... 34
2.1.7 逆矩陣與行列式 ................................................................................................................................. 37
2.1.8 特征值與特征向量 .............................................................................................................................. 38
2.1.9 矩陣的平方分解 ................................................................................................................................. 39
2.1.10 特征分解 ........................................................................................................................................... 40
2.1.11 正定矩陣和半正定矩陣 .................................................................................................................... 42
2.2 圖論基礎(chǔ) ......................................................................................................................................................... 43
2.2.1 圖的表示 ............................................................................................................................................. 44
2.2.2 無向圖與有向圖 ................................................................................................................................. 45
2.2.3 權(quán)值圖 ................................................................................................................................................. 45
2.2.4 鄰接矩陣與關(guān)聯(lián)矩陣 .......................................................................................................................... 46
2.2.5 鄰域和度 ............................................................................................................................................. 47
2.2.6 度數(shù)矩陣 ............................................................................................................................................. 49
2.2.7 二分圖 ................................................................................................................................................. 50
2.2.8 符號圖 ................................................................................................................................................. 51
2.2.9 圖的遍歷 ............................................................................................................................................. 52
2.2.10 圖的同構(gòu)與異構(gòu)................................................................................................................................ 53
2.2.11 圖的途徑、跡與路 ............................................................................................................................ 54
2.2.12 圖的連通性 ....................................................................................................................................... 55
2.2.13 節(jié)點的中心性 ................................................................................................................................... 57
2.3 譜圖論基礎(chǔ) ..................................................................................................................................................... 65
2.3.1 拉普拉斯矩陣的來源 .......................................................................................................................... 65
2.3.2 拉普拉斯矩陣的性質(zhì) .......................................................................................................................... 72
2.3.3 拉普拉斯矩陣的譜分解 ...................................................................................................................... 74
2.3.4 拉普拉斯矩陣的歸一化 ...................................................................................................................... 77
2.4 本章小結(jié) ......................................................................................................................................................... 80
參考資料 .................................................................................................................................................................. 80

第 3 章 神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)與算法優(yōu)化..................................................................................................... 82
3.1 人工神經(jīng)網(wǎng)絡(luò)的緣起 ..................................................................................................................................... 83
3.2 神經(jīng)網(wǎng)絡(luò)的第一性原理.................................................................................................................................. 84
3.2.1 通用近似定理 ..................................................................................................................................... 85
3.2.2 通用近似定理的應(yīng)用 .......................................................................................................................... 86
3.3 感知機模型與前饋神經(jīng)網(wǎng)絡(luò) .......................................................................................................................... 87
3.3.1 人工神經(jīng)元的本質(zhì) .............................................................................................................................. 88
3.3.2 歷久彌新的感知機 .............................................................................................................................. 88
3.3.3 備受啟發(fā)的支持向量機 ...................................................................................................................... 90
3.4 更強表征能力的多層感知機 .......................................................................................................................... 91
3.5 不可或缺的激活函數(shù) ..................................................................................................................................... 93
3.5.1 Sigmoid 函數(shù) ....................................................................................................................................... 94
3.5.2 Tanh 函數(shù) ............................................................................................................................................ 95
3.5.3 ReLU 函數(shù) ........................................................................................................................................... 96
3.5.4 Softmax 函數(shù) ....................................................................................................................................... 98
3.6 損失函數(shù) ....................................................................................................................................................... 100
3.6.1 普通的損失函數(shù) ............................................................................................................................... 101
3.6.2 交叉熵?fù)p失函數(shù) ............................................................................................................................... 103
3.7 神經(jīng)網(wǎng)絡(luò)的訓(xùn)練 ........................................................................................................................................... 105
3.7.1 優(yōu)化算法的意義 ............................................................................................................................... 106
3.7.2 基于梯度的優(yōu)化流程 ........................................................................................................................ 106
3.8 優(yōu)化算法的分類 ........................................................................................................................................... 109
3.8.1 優(yōu)化算法的派系 ............................................................................................................................... 109
3.8.2 優(yōu)化算法面臨的挑戰(zhàn) ........................................................................................................................ 111
3.9 本章小結(jié) ....................................................................................................................................................... 112
參考資料 ................................................................................................................................................................ 113

第 4 章 深度學(xué)習(xí)基礎(chǔ) ....................................................................................................................... 115
4.1 深度學(xué)習(xí)時代的興起 ................................................................................................................................... 116
4.2 卷積神經(jīng)網(wǎng)絡(luò) ............................................................................................................................................... 118
4.2.1 卷積神經(jīng)網(wǎng)絡(luò)的整體結(jié)構(gòu) ................................................................................................................ 118
4.2.2 神經(jīng)網(wǎng)絡(luò)中“層”的本質(zhì) .................................................................................................................... 119
4.3 可圈可點的卷積層 ....................................................................................................................................... 120
4.3.1 卷積核 ............................................................................................................................................... 120
4.3.2 卷積核的工作機理 ............................................................................................................................ 122
4.3.3 多通道卷積 ....................................................................................................................................... 123
4.3.4 用 PyTorch 實現(xiàn)特定卷積 ................................................................................................................ 125
4.3.5 卷積層的 4 個核心參數(shù) .................................................................................................................... 127
4.4 降維減負(fù)的匯聚層 ....................................................................................................................................... 131
4.4.1 匯聚層原理 ....................................................................................................................................... 131
4.4.2 匯聚層實例 ....................................................................................................................................... 133
4.5 不可或缺的全連接層 ................................................................................................................................... 135
4.6 防止過擬合 ................................................................................................................................................... 136
4.6.1 批歸一化處理 ................................................................................................................................... 137
4.6.2 丟棄法 ............................................................................................................................................... 141
4.7 本章小結(jié) ....................................................................................................................................................... 143
參考資料 ................................................................................................................................................................ 143

第 5 章 神經(jīng)網(wǎng)絡(luò)中的表示學(xué)習(xí) ...................................................................................................... 145
5.1 表示學(xué)習(xí)的背景 ........................................................................................................................................... 146
5.1.1 符號表示與向量表示 ........................................................................................................................ 146
5.1.2 為何需要表示學(xué)習(xí) ............................................................................................................................ 147
5.2 離散表示與獨熱編碼 ................................................................................................................................... 148
5.3 分布式表示與神經(jīng)網(wǎng)絡(luò)................................................................................................................................ 150
5.3.1 神經(jīng)網(wǎng)絡(luò)是一種分布式表示 ............................................................................................................ 150
5.3.2 深度學(xué)習(xí)中的“End-to-End”表示學(xué)習(xí) .............................................................................................. 152
5.4 自編碼器中的表示學(xué)習(xí)................................................................................................................................ 153
5.4.1 自編碼器的工作原理 ........................................................................................................................ 154
5.4.2 從信息瓶頸看自編碼器的原理 ........................................................................................................ 155
5.4.3 欠完備自編碼器 ............................................................................................................................... 156
5.4.4 正則化自編碼器 ............................................................................................................................... 157
5.4.5 降噪自編碼器 ................................................................................................................................... 159
5.4.6 變分自編碼器 ................................................................................................................................... 159
5.5 嵌入表示與 Word2vec .................................................................................................................................. 161
5.5.1 詞嵌入 ............................................................................................................................................... 161
5.5.2 Word2vec 的核心思想 ...................................................................................................................... 164
5.5.3 跳元模型 ........................................................................................................................................... 165
5.6 詞嵌入實戰(zhàn) ................................................................................................................................................... 171
5.6.1 讀取數(shù)據(jù)集 ....................................................................................................................................... 171
5.6.2 數(shù)據(jù)預(yù)處理 ....................................................................................................................................... 172
5.6.3 模型構(gòu)建與訓(xùn)練 ............................................................................................................................... 174
5.6.4 相似性度量 ....................................................................................................................................... 175
5.6.5 詞向量可視化：t-SNE ...................................................................................................................... 177
5.7 本章小結(jié) ....................................................................................................................................................... 179
參考資料 ................................................................................................................................................................ 180

第 6 章 面向圖數(shù)據(jù)的嵌入表示 ...................................................................................................... 182
6.1 圖嵌入概述 ................................................................................................................................................... 183
6.2 DeepWalk 的原理 .......................................................................................................................................... 184
6.2.1 DeepWalk 的基本思想 ...................................................................................................................... 184
6.2.2 隨機游走階段 ................................................................................................................................... 185
6.2.3 跳元模型訓(xùn)練階段 ............................................................................................................................ 187
6.2.4 負(fù)采樣 ............................................................................................................................................... 193
6.2.5 分層 Softmax ..................................................................................................................................... 195
6.3 基于 DeepWalk 的維基百科相似網(wǎng)頁檢測 ................................................................................................. 198
6.3.1 數(shù)據(jù)準(zhǔn)備 ........................................................................................................................................... 198
6.3.2 圖的構(gòu)建 ........................................................................................................................................... 201
6.3.3 構(gòu)建隨機游走節(jié)點序列 .................................................................................................................... 201
6.3.4 利用 Word2vec 實現(xiàn) DeepWalk ........................................................................................................ 203
6.3.5 模型的保存與加載 ............................................................................................................................ 206
6.3.6 DeepWalk 的應(yīng)用領(lǐng)域 ...................................................................................................................... 207
6.4 LINE 模型 ..................................................................................................................................................... 208
6.4.1 LINE 模型的發(fā)展背景...................................................................................................................... 208
6.4.2 一階相似度 ....................................................................................................................................... 208
6.4.3 二階相似度 ....................................................................................................................................... 209
6.5 Node2vec ....................................................................................................................................................... 211
6.5.1 Node2vec 的由來 .............................................................................................................................. 211
6.5.2 同質(zhì)性與結(jié)構(gòu)性 ............................................................................................................................... 212
6.5.3 Node2vec 的工作原理 ...................................................................................................................... 213
6.6 Metapath2vec ................................................................................................................................................. 215
6.6.1 異構(gòu)圖的定義與問題 ........................................................................................................................ 216
6.6.2 基于 Meta-path 的隨機游走 ............................................................................................................. 216
6.7 本章小結(jié) ....................................................................................................................................................... 218
參考資料 ................................................................................................................................................................ 219

第 7 章 初代圖神經(jīng)網(wǎng)絡(luò) .................................................................................................................. 221
7.1 初代圖神經(jīng)網(wǎng)絡(luò)的誕生................................................................................................................................ 222
7.2 GNN 中的數(shù)據(jù)聚合 ...................................................................................................................................... 222
7.2.1 GNN 的本質(zhì) ...................................................................................................................................... 223
7.2.2 圖中的消息傳遞 ............................................................................................................................... 223
7.3 初代 GNN 的工作原理 ................................................................................................................................. 225
7.3.1 圖中節(jié)點的信息更新 ........................................................................................................................ 226
7.3.2 不動點理論 ....................................................................................................................................... 229
7.3.3 壓縮映射實現(xiàn)的條件 ........................................................................................................................ 232
7.3.4 圖神經(jīng)網(wǎng)絡(luò)模型的訓(xùn)練 .................................................................................................................... 234
7.4 初代圖神經(jīng)網(wǎng)絡(luò)的局限性 ............................................................................................................................ 235
7.5 本章小結(jié) ....................................................................................................................................................... 235
參考資料 ................................................................................................................................................................ 236

第 8 章 空域圖卷積神經(jīng)網(wǎng)絡(luò) .......................................................................................................... 238
8.1 圖卷積神經(jīng)網(wǎng)絡(luò)概述 ................................................................................................................................... 239
8.1.1 圖卷積神經(jīng)網(wǎng)絡(luò)的誕生 .................................................................................................................... 239
8.1.2 圖卷積神經(jīng)網(wǎng)絡(luò)的框架 .................................................................................................................... 241
8.2 MPNN 模型 ................................................................................................................................................... 244
8.3 GCN 與 CNN 的關(guān)聯(lián) .................................................................................................................................... 245
8.3.1 局部連接性 ....................................................................................................................................... 246
8.3.2 層次化表達(dá) ....................................................................................................................................... 247
8.4 圖卷積節(jié)點分類實踐 ................................................................................................................................... 248
8.4.1 圖數(shù)據(jù)的生成 ................................................................................................................................... 248
8.4.2 傳遞規(guī)則的實現(xiàn) ............................................................................................................................... 250
8.4.3 考慮權(quán)值影響的信息聚合 ................................................................................................................ 260
8.4.4 添加激活函數(shù) ................................................................................................................................... 261
8.4.5 模擬一個分類輸出 ............................................................................................................................ 262
8.5 GraphSAGE ................................................................................................................................................... 263
8.5.1 歸納式學(xué)習(xí)與直推式學(xué)習(xí) ................................................................................................................ 263
8.5.2 GraphSAGE 所為何來 ...................................................................................................................... 266
8.5.3 GraphSAGE 的框架 .......................................................................................................................... 267
8.5.4 鄰居節(jié)點采樣 ................................................................................................................................... 268
8.5.5 特征信息聚合 ................................................................................................................................... 269
8.5.6 權(quán)值參數(shù)訓(xùn)練 ................................................................................................................................... 271
8.6 基于 GraphSAGE 的實踐 ............................................................................................................................. 273
8.6.1 Cora 數(shù)據(jù)探索 ................................................................................................................................... 273
8.6.2 構(gòu)造正負(fù)樣本 ................................................................................................................................... 276
8.6.3 定義模型 ........................................................................................................................................... 277
8.6.4 訓(xùn)練參數(shù)配置 ................................................................................................................................... 278
8.6.5 訓(xùn)練模型 ........................................................................................................................................... 279
8.6.6 嵌入表示的可視化 ............................................................................................................................ 281
8.7 本章小結(jié) ....................................................................................................................................................... 283
參考資料 ................................................................................................................................................................ 284

第 9 章 譜域圖卷積神經(jīng)網(wǎng)絡(luò) .......................................................................................................... 286
9.1 傅里葉變換 ................................................................................................................................................... 287
9.1.1 傅里葉變換背后的方法論 ................................................................................................................ 287
9.1.2 感性認(rèn)識傅里葉變換 ........................................................................................................................ 288
9.1.3 向量分解與信號過濾 ........................................................................................................................ 288
9.2 圖傅里葉變換 ............................................................................................................................................... 290
9.2.1 什么是圖信號 ................................................................................................................................... 290
9.2.2 圖傅里葉變換簡介 ............................................................................................................................ 290
9.2.3 特征值與圖信號頻率之間的關(guān)系 .................................................................................................... 293
9.3 譜域視角下的圖卷積 ................................................................................................................................... 296
9.3.1 圖卷積理論 ....................................................................................................................................... 296
9.3.2 譜域圖卷積 ....................................................................................................................................... 297
9.3.3 基于譜的圖濾波器設(shè)計 .................................................................................................................... 299
9.4 基于譜域 GCN 的演進(jìn) ................................................................................................................................. 300
9.4.1 頻率響應(yīng)參數(shù)化的 GCN .................................................................................................................. 300
9.4.2 多項式參數(shù)化的 GCN ...................................................................................................................... 302
9.4.3 基于切比雪夫網(wǎng)絡(luò)截斷的多項式參數(shù)化的 GCN ........................................................................... 304
9.4.4 基于一階切比雪夫網(wǎng)絡(luò)的 GCN ...................................................................................................... 306
9.5 Karate Club 圖卷積分類實踐 ....................................................................................................................... 308
9.5.1 Karate Club 數(shù)據(jù)集 ........................................................................................................................... 308
9.5.2 數(shù)據(jù)導(dǎo)入與探索 ............................................................................................................................... 309
9.5.3 鄰接矩陣與坐標(biāo)格式 ........................................................................................................................ 312
9.5.4 繪圖 NetworkX 圖 ............................................................................................................................. 315
9.5.5 半監(jiān)督的節(jié)點分類 ............................................................................................................................ 315
9.5.6 模型預(yù)測 ........................................................................................................................................... 321
9.6 本章小結(jié) ....................................................................................................................................................... 323
參考資料 ................................................................................................................................................................ 323