目 錄
第 1 部分 深度學(xué)習(xí)基礎(chǔ)算法與應(yīng)用
第 1 章 單層神經(jīng)網(wǎng)絡(luò) 2
1.1 深度學(xué)習(xí)的基本概念 2
1.1.1 深度學(xué)習(xí)的概述 2
1.1.2 神經(jīng)網(wǎng)絡(luò) 3
1.2 深度學(xué)習(xí)框架 5
1.2.1 常見框架介紹 5
1.2.2 張量 6
1.3 單層神經(jīng)網(wǎng)絡(luò)的概述 6
1.3.1 回歸模型 6
1.3.2 二分類模型 10
1.3.3 多分類模型 13
1.4 單層神經(jīng)網(wǎng)絡(luò)實現(xiàn)鳶尾花分類 17
1.4.1 使用 TensorFlow 實現(xiàn)鳶尾花分類 17
1.4.2 使用 PyTorch 實現(xiàn)鳶尾花分類 20
本章總結(jié) 22
作業(yè)與練習(xí) 22
第 2 章 多層神經(jīng)網(wǎng)絡(luò) 24
2.1 多層神經(jīng)網(wǎng)絡(luò)的概述 24
2.1.1 隱藏層的意義 24
2.1.2 激活函數(shù) 25
2.1.3 反向傳播 27
2.1.4 異或處理代碼實現(xiàn) 28
2.2 梯度下降算法 30
2.2.1 批量梯度下降算法 30
2.2.2 隨機梯度下降算法 31
2.2.3 小批量梯度下降算法 31
2.3 正則化處理 31
2.3.1 L1 正則化與 L2 正則化 31
2.3.2 Dropout 正則化 31
2.3.3 提前停止 32
2.3.4 批量標準化 32
2.4 手寫數(shù)字識別
2.4.1 MNIST 數(shù)據(jù)集簡介 32
2.4.2 使用 TensorFlow 實現(xiàn)MNIST 手寫數(shù)字分類 33
2.4.3 使用 PyTorch 實現(xiàn)MNIST 手寫數(shù)字分類 36
本章總結(jié) 39
作業(yè)與練習(xí) 39
第 3 章 卷積神經(jīng)網(wǎng)絡(luò) 41
3.1 圖像基礎(chǔ)原理 41
3.1.1 像素 41
3.1.2 灰度值 42
3.1.3 彩色圖像表達 42
3.2 卷積的作用及原理 43
3.2.1 卷積的概述 43
3.2.2 卷積運算的原理 43
3.2.3 卷積運算的方式 44
3.2.4 卷積表達的含義 44
3.2.5 卷積相關(guān)術(shù)語 45
3.3 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 46
3.3.1 卷積神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu) 46
3.3.2 卷積層 47
3.3.3 ReLU 層 47
3.3.4 池化層 48
3.3.5 全連接層 49
3.4 基于卷積神經(jīng)網(wǎng)絡(luò)實現(xiàn)MNIST 手寫數(shù)字識別 49
3.4.1 構(gòu)建卷積神經(jīng)網(wǎng)絡(luò)模型 49
3.4.2 使用 TensorFlow 實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò) MNIST手寫數(shù)字分類 50
3.4.3 使用 PyTorch 實現(xiàn)卷積神經(jīng)網(wǎng)絡(luò) MNIST 手寫
數(shù)字分類 52
本章總結(jié) 55
作業(yè)與練習(xí) 55
第 4 章 優(yōu)化算法與模型管理 57
4.1 數(shù)據(jù)增強 57
4.1.1 數(shù)據(jù)增強的意義 57
4.1.2 使用 TensorFlow 實現(xiàn)數(shù)據(jù)增強 58
4.1.3 使用 PyTorch 實現(xiàn)數(shù)據(jù)增強 59
4.2 梯度下降優(yōu)化 60
4.2.1 梯度下降優(yōu)化的必要性 60
4.2.2 Momentum 優(yōu)化器 60
4.2.3 Adagrad 優(yōu)化器 60
4.2.4 RMSprop 優(yōu)化器 61
4.2.5 Adam 優(yōu)化器 62
4.3 模型的保存與加載 62
4.3.1 TensorFlow 模型保存與加載 62
4.3.2 PyTorch 模型保存與加載 63
4.4 項目案例：車輛識別 64
4.4.1 汽車數(shù)據(jù)集 65
4.4.2 項目案例實現(xiàn) 65
本章總結(jié) 70
作業(yè)與練習(xí) 70
第 2 部分 深度學(xué)習(xí)進階算法與應(yīng)用
第 5 章 深度卷積神經(jīng)網(wǎng)絡(luò) 74
5.1 深度卷積神經(jīng)網(wǎng)絡(luò)的概述 74
5.2 AlexNet 75
5.2.1 AlexNet 的網(wǎng)絡(luò)結(jié)構(gòu) 75
5.2.2 構(gòu)建 AlexNet 模型 77
5.3 VGG 79
5.3.1 VGG 的網(wǎng)絡(luò)結(jié)構(gòu) 79
5.3.2 構(gòu)建 VGG 模型 80
5.4 NiN 81
5.4.1 NiN 的網(wǎng)絡(luò)結(jié)構(gòu) 81
5.4.2 構(gòu)建 NiN 模型 83
5.5 GoogLeNet 85
5.5.1 GoogLeNet 的網(wǎng)絡(luò)結(jié)構(gòu) 85
5.5.2 構(gòu)建 GoogLeNet 模型 88
5.6 項目案例：車輛多屬性識別 90
5.6.1 多屬性識別 91
5.6.2 項目案例實現(xiàn) 91
本章總結(jié) 100
作業(yè)與練習(xí) 100
第 6 章 高效的卷積神經(jīng)網(wǎng)絡(luò) 102
6.1 ResNet 102
6.1.1 ResNet 的網(wǎng)絡(luò)結(jié)構(gòu) 102
6.1.2 構(gòu)建 ResNet 模型 103
6.2 DenseNet 109
6.2.1 DenseNet 的網(wǎng)絡(luò)結(jié)構(gòu) 110
6.2.2 構(gòu)建 DenseNet 模型 111
6.3 MobileNet 112
6.3.1 MobileNet 的網(wǎng)絡(luò)結(jié)構(gòu) 112
6.3.2 構(gòu)建 MobileNet 模型 113
6.4 項目案例：違規(guī)駕駛行為識別 114
本章總結(jié) 126
作業(yè)與練習(xí) 126
第 7 章 目標檢測 128
7.1 目標檢測的概述 128
7.2 兩階段目標檢測 129
7.2.1 R-CNN 129
7.2.2 Fast R-CNN 和Faster R-CNN 130
7.2.3 Mask R-CNN 132
7.3 一階段目標檢測 133
7.3.1 YOLO 系列 133
7.3.2 SSD 137
7.4 項目案例：車輛檢測 137
本章總結(jié) 144
作業(yè)與練習(xí) 144
第 8 章 循環(huán)神經(jīng)網(wǎng)絡(luò) 145
8.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的概述 145
8.2 LSTM 神經(jīng)網(wǎng)絡(luò) 147
8.2.1 LSTM 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu) 147
8.2.2 LSTM 門機制 147
8.3 GRU 神經(jīng)網(wǎng)絡(luò) 148
8.3.1 GRU 神經(jīng)網(wǎng)絡(luò)的網(wǎng)絡(luò)結(jié)構(gòu) 148
8.3.2 GRU 門機制 148
8.4 項目案例：文本生成 149
本章總結(jié) 159
作業(yè)與練習(xí) 159
第 9 章 深度循環(huán)神經(jīng)網(wǎng)絡(luò) 160
9.1 深度循環(huán)神經(jīng)網(wǎng)絡(luò)的概述 160
9.1.1 深度循環(huán)神經(jīng)網(wǎng)絡(luò)的特點 160
9.1.2 雙向 LSTM 神經(jīng)網(wǎng)絡(luò) 162
9.2 項目案例：短時交通流量預(yù)測 163
9.2.1 解決方案 163
9.2.2 項目案例實現(xiàn) 164
本章總結(jié) 177
作業(yè)與練習(xí) 177
第 3 部分 時空數(shù)據(jù)模型與應(yīng)用
第 10 章 CNN-LSTM 混合模型 180
10.1 編碼器-解碼器模型 180
10.1.1 模型結(jié)構(gòu) 180
10.1.2 構(gòu)建編碼器-解碼器模型 182
10.2 項目案例：基于時空特征的交通事故預(yù)測 183
10.2.1 數(shù)據(jù)集和評價指標 184
10.2.2 項目案例實現(xiàn) 184
本章總結(jié) 193
作業(yè)與練習(xí) 193
第 11 章 多元時間序列神經(jīng)網(wǎng)絡(luò) 195
11.1 圖 195
11.1.1 結(jié)構(gòu)和信號 196
11.1.2 圖結(jié)構(gòu) 197
11.1.3 圖神經(jīng)網(wǎng)絡(luò) 197
11.2 圖卷積網(wǎng)絡(luò) 198
11.2.1 基本原理 198
11.2.2 數(shù)學(xué)運算 199
11.2.3 使用 GCN 模型實現(xiàn)圖像識別 200
11.3 多元時間序列神經(jīng)網(wǎng)絡(luò)的概述 205
11.3.1 DCRNN 205
11.3.2 seq2seq 模型 207
11.4 項目案例：基于 DCRNN實現(xiàn)交通流量預(yù)測 209
11.4.1 解決方案 209
11.4.2 項目案例實現(xiàn) 210
本章總結(jié) 226
作業(yè)與練習(xí) 227
第 12 章 MTGNN 與交通流量預(yù)測 228
12.1 基于 MTGNN 實現(xiàn)交通流量預(yù)測 228
12.1.1 MTGNN 的網(wǎng)絡(luò)結(jié)構(gòu) 229
12.1.2 MTGNN 時空卷積 229
12.2 PyTorch-Lightning 231
12.2.1 安裝 231
12.2.2 基本使用 231
12.3 項目案例：基于 MTGNN實現(xiàn)交通流量預(yù)測 232
本章總結(jié) 245
作業(yè)與練習(xí) 246
第 13 章 注意力機制 247
13.1 注意力機制的概述 247
13.1.1 機器翻譯中的注意力機制 248
13.1.2 自注意力機制的概述 251
13.2 項目案例：視頻異常檢測 253
本章總結(jié) 266
作業(yè)與練習(xí) 266
第 14 章 Transformer 268
14.1 Transformer 的概述 268
14.1.1 Transformer 的簡介 269
14.1.2 Transformer 的總體結(jié)構(gòu) 269
14.2 Self-Attention 機制 271
14.2.1 Self-Attention 機制的原理 271
14.2.2 Self-Attention 的計算過程 272
14.2.3 Positional Encoding 和LayerNorm 273
14.3 項目案例：軌跡預(yù)測 275
14.3.1 解決方案 275
14.3.2 車輛軌跡預(yù)測數(shù)據(jù)集 276
14.3.3 實現(xiàn)過程 278
本章總結(jié) 290
作業(yè)與練習(xí) 290
第 4 部分 生成對抗網(wǎng)絡(luò)及其應(yīng)用
第 15 章 生成對抗網(wǎng)絡(luò) 294
15.1 生成對抗網(wǎng)絡(luò)的概述 294
15.1.1 GAN 模型的結(jié)構(gòu) 294
15.1.2 GAN 模型的訓(xùn)練過程 295
15.2 TecoGAN 模型 296
15.2.1 TecoGAN 模型的結(jié)構(gòu) 297
15.2.2 TecoGAN 損失函數(shù) 297
15.2.3 TecoGAN 評價指標 298
15.3 項目案例：視頻超分辨率 298
本章總結(jié) 306
作業(yè)與練習(xí) 306
第 16 章 車牌檢測與識別 307
16.1 項目案例：車牌檢測與識別 307
16.1.1 數(shù)據(jù)集 308
16.1.2 MTCNN 模型 309
16.1.3 LPRNet 311
16.2 項目案例實現(xiàn) 312
本章總結(jié) 323
作業(yè)與練習(xí) 324