目錄

序
前言
主要符號表

第1章　引言 1
1.1　深度學習的起源與發(fā)展 1
1.1.1　深度學習的起源 1
1.1.2　深度學習的發(fā)展 2
1.2　深度學習與機器學習、人工智能的關(guān)系 4
1.2.1　人工智能 4
1.2.2　機器學習 4
1.2.3　深度學習 5
1.3　深度學習的基本概念和典型算法 6
1.3.1　深度學習的基本概念 6
1.3.2　典型深度學習算法 6
1.4　深度學習的主要應(yīng)用概述 12
1.4.1　深度學習在計算機視覺領(lǐng)域的應(yīng)用 12
1.4.2　深度學習在語音處理領(lǐng)域的應(yīng)用 13
1.4.3　深度學習在自然語言處理領(lǐng)域的應(yīng)用 14
1.4.4　深度學習在多模態(tài)處理領(lǐng)域的應(yīng)用 14
1.5　本書的組織結(jié)構(gòu) 14
復習題 15
參考文獻 15
本章人物：Geoffrey Hinton教授 18

第2章　卷積神經(jīng)網(wǎng)絡(luò) 19
2.1　卷積神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展 19
2.1.1　卷積神經(jīng)網(wǎng)絡(luò)的起源 19
2.1.2　卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展 20
2.2　卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu) 21
2.2.1　卷積層 21
2.2.2　激活函數(shù) 26
2.2.3　池化層 30
2.2.4　全連接層 30
2.2.5　輸出層 30
2.3　卷積神經(jīng)網(wǎng)絡(luò)的訓練 31
2.3.1　卷積神經(jīng)網(wǎng)絡(luò)的訓練過程 31
2.3.2　池化層的訓練 31
2.3.3　卷積層的訓練 33
2.4　典型卷積神經(jīng)網(wǎng)絡(luò) 35
2.4.1　LeNet-5 35
2.4.2　AlexNet 37
2.4.3　VGGNet 39
2.4.4　GoogleNet 41
2.4.5　ResNet 42
2.5　卷積神經(jīng)網(wǎng)絡(luò)的主要應(yīng)用 43
2.5.1　目標檢測 43
2.5.2　圖像分割 52
2.5.3　姿態(tài)估計 56
2.5.4　人臉識別 58
復習題 62
實驗題 62
參考文獻 63
本章人物：Yann LeCun教授 65

第3章　循環(huán)神經(jīng)網(wǎng)絡(luò) 66
3.1　循環(huán)神經(jīng)網(wǎng)絡(luò)的起源與發(fā)展 66
3.2　循環(huán)神經(jīng)網(wǎng)絡(luò)的訓練 67
3.3　長短期記憶網(wǎng)絡(luò) 70
3.4　循環(huán)神經(jīng)網(wǎng)絡(luò)的變種 73
3.4.1　GRU 73
3.4.2　雙向RNN 75
3.4.3　堆疊RNN 75
3.5　循環(huán)神經(jīng)網(wǎng)絡(luò)的典型應(yīng)用 76
3.5.1　語言模型 76
3.5.2　自動文本摘要 79
3.5.3　機器閱讀理解 82
復習題 85
實驗題 86
參考文獻 86
本章人物：Jürgen Schmidhuber教授 89

第4章　Transformer 90
4.1　注意力機制 90
4.1.1　注意力機制的Encoder-Decoder結(jié)構(gòu) 90
4.1.2　注意力機制的分類 92
4.2　Transformer概述 93
4.2.1　Transformer的結(jié)構(gòu) 93
4.2.2　Transformer的輸入編碼 94
4.2.3　Transformer中的自注意力機制 95
4.2.4　Transformer中的其他細節(jié) 98
4.2.5　基于Transformer的大規(guī)模預(yù)訓練模型 99
4.3　GPT系列模型 99
4.3.1　GPT-1 99
4.3.2　GPT-2 101
4.3.3　GPT-3 102
4.3.4　InstructGPT和ChatGPT 103
4.4　BERT系列模型 104
4.4.1　與其他大規(guī)模預(yù)訓練模型的區(qū)別 105
4.4.2　BERT的架構(gòu)與參數(shù) 105
4.4.3　BERT的輸入表示 105
4.4.4　BERT的訓練 107
4.4.5　BERT的變種 107
4.5　Swin Transformer 109
4.5.1　Swin Transformer的提出 109
4.5.2　Swin Transformer結(jié)構(gòu) 109
4.5.3　Swin Transformer的滑動窗口機制 111
4.6　Transformer的主要應(yīng)用 112
4.6.1　自然語言處理領(lǐng)域 112
4.6.2　計算機視覺領(lǐng)域 117
4.6.3　多模態(tài)領(lǐng)域 121
復習題 128
實驗題 128
參考文獻 128
本章人物：Yoshua Bengio教授 131

第5章　生成對抗網(wǎng)絡(luò) 132
5.1　GAN的基本原理 132
5.1.1　零和博弈 132
5.1.2　GAN的基本結(jié)構(gòu) 133
5.1.3　GAN的目標函數(shù) 134
5.1.4　GAN的訓練 134
5.2　GAN的優(yōu)化與改進 135
5.2.1　限定條件優(yōu)化 136
5.2.2　迭代式生成優(yōu)化 138
5.2.3　結(jié)構(gòu)優(yōu)化 141
5.3　GAN的主要應(yīng)用 143
5.3.1　圖像生成 143
5.3.2　圖像轉(zhuǎn)換 144
5.3.3　圖像超分辨率重建 147
5.3.4　音樂生成 148
5.3.5　異常檢測 152
復習題 156
實驗題 156
參考文獻 156
本章人物：Ian Goodfellow博士 158

第6章　深度生成模型 159
6.1　深度生成模型概述 159
6.2　Hopfield神經(jīng)網(wǎng)絡(luò) 160
6.3　玻爾茲曼機與受限玻爾茲曼機 162
6.3.1　玻爾茲曼機 162
6.3.2　受限玻爾茲曼機 163
6.4　Sigmoid信念網(wǎng)絡(luò)與深度信念網(wǎng)絡(luò) 165
6.4.1　Sigmoid信念網(wǎng)絡(luò) 165
6.4.2　深度信念網(wǎng)絡(luò) 166
6.5　深度玻爾茲曼機 167
6.6　自編碼器及其變種 169
6.6.1　自編碼器 169
6.6.2　降噪自編碼器 170
6.6.3　稀疏自編碼器 170
6.6.4　深度自編碼器 171
6.7　擴散模型 172
6.7.1　前向過程 173
6.7.2　逆向過程 174
6.7.3　DDPM的訓練 176
6.8　深度生成模型的應(yīng)