目錄

第1章 PyTorch簡(jiǎn)介
1.1 深度學(xué)習(xí)簡(jiǎn)介 1
1.2 PyTorch的由來(lái) 2
1.2.1 深度學(xué)習(xí)框架回顧 2
1.2.2 PyTorch前身：Torch7 4
1.2.3 Torch7的重生 5
1.3 PyTorch與TensorFlow對(duì)比 5
1.3.1 TensorFlow簡(jiǎn)介 6
1.3.2 動(dòng)靜之爭(zhēng) 6
1.3.3 二者借鑒融合 7
1.3.4 PyTorch的優(yōu)勢(shì) 7
1.4 PyTorch發(fā)展現(xiàn)狀 8
1.4.1 主要版本特點(diǎn)回顧 8
1.4.2 準(zhǔn)備工作 8

第2章 PyTorch基礎(chǔ)計(jì)算
2.1 PyTorch核心基礎(chǔ)概念：張量Tensor 11
2.1.1 Tensor基本介紹 11
2.1.2 Tensor數(shù)學(xué)運(yùn)算操作 15
2.1.3 Tensor索引分片合并變換操作 20
2.1.4 Tensor類成員方法 22
2.1.5 在GPU上計(jì)算 24
2.2 PyTorch可微編程核心：自動(dòng)微分Autograd 25
2.2.1 PyTorch自動(dòng)微分簡(jiǎn)介 25
2.2.2 可微分張量 25
2.2.3 利用自動(dòng)微分求梯度 26
2.2.4 Function：自動(dòng)微分實(shí)現(xiàn)基礎(chǔ) 29
2.2.5 注意事項(xiàng) 31
2.3 PyTorch應(yīng)用實(shí)戰(zhàn)一：實(shí)現(xiàn)卷積操作 34
2.3.1 卷積操作 34
2.3.2 利用張量操作實(shí)現(xiàn)卷積 36
2.4 PyTorch應(yīng)用實(shí)戰(zhàn)二：實(shí)現(xiàn)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類 38

第3章 PyTorch構(gòu)建神經(jīng)網(wǎng)絡(luò)
3.1 PyTorch神經(jīng)網(wǎng)絡(luò)計(jì)算核心：torch.nn 43
3.1.1 nn.Module概述 43
3.1.2 結(jié)構(gòu)化構(gòu)建神經(jīng)網(wǎng)絡(luò) 47
3.1.3 經(jīng)典神經(jīng)網(wǎng)絡(luò)層介紹 49
3.1.4 函數(shù)式操作nn.functional 53
3.2 PyTorch優(yōu)化器 55
3.2.1 torch.optim概述 55
3.2.2 經(jīng)典優(yōu)化器介紹 56
3.2.3 學(xué)習(xí)率調(diào)整 57
3.3 PyTorch應(yīng)用實(shí)戰(zhàn)一：實(shí)現(xiàn)二值化神經(jīng)網(wǎng)絡(luò) 59
3.3.1 二值化網(wǎng)絡(luò)BinaryNet概述 59
3.3.2 具體實(shí)現(xiàn) 60
3.4 PyTorch應(yīng)用實(shí)戰(zhàn)二：利用LSTM實(shí)現(xiàn)文本情感分類 63
3.4.1 文本情感分類 63
3.4.2 具體實(shí)現(xiàn) 65

第4章 基于PyTorch構(gòu)建復(fù)雜應(yīng)用
4.1 PyTorch數(shù)據(jù)加載 70
4.1.1 數(shù)據(jù)預(yù)處理：torchvision.transforms 70
4.1.2 數(shù)據(jù)加載：torch.utils.data 73
4.2 PyTorch模型搭建 77
4.2.1 經(jīng)典模型復(fù)用與分享：torchvision.models 78
4.2.2 模型加載與保存 79
4.2.3 導(dǎo)出為ONNX格式 85
4.3 訓(xùn)練過(guò)程中日志記錄與可視化 89
4.4 PyTorch應(yīng)用實(shí)戰(zhàn)一：在CIFAR10數(shù)據(jù)集進(jìn)行神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)搜索 93
4.4.1 可微分網(wǎng)絡(luò)架構(gòu)搜索DARTS介紹 94
4.4.2 簡(jiǎn)化問(wèn)題建模：以ResNet為例 95
4.4.3 具體實(shí)現(xiàn) 96
4.5 PyTorch應(yīng)用實(shí)戰(zhàn)二：在ImageNet數(shù)據(jù)集進(jìn)行弱監(jiān)督物體定位 108
4.5.1 GradCAM解釋顯著圖方法介紹 108
4.5.2 弱監(jiān)督物體定位任務(wù) 109
4.5.3 具體實(shí)現(xiàn) 110

第5章 PyTorch高級(jí)技巧與實(shí)戰(zhàn)應(yīng)用
5.1 PyTorch并行計(jì)算 118
5.1.1 大規(guī)模數(shù)據(jù)集加載 118
5.1.2 模型的高效并行計(jì)算 122
5.1.3 加速模型計(jì)算和減少顯存使用 125
5.2 擴(kuò)展PyTorch 126
5.2.1 利用C++和CUDA實(shí)現(xiàn)自定義算子 126
5.2.2 利用TorchScript導(dǎo)出PyTorch模型 136
5.3 豐富的PyTorch資源介紹 145
5.4 PyTorch應(yīng)用實(shí)戰(zhàn)一：在ImageNet上訓(xùn)練MobileNet-V2網(wǎng)絡(luò) 146
5.4.1 MobileNet-V2網(wǎng)絡(luò)介紹 146
5.4.2 具體實(shí)現(xiàn) 147
5.5 PyTorch應(yīng)用實(shí)戰(zhàn)二：利用CUDA擴(kuò)展實(shí)現(xiàn)MixConv算子 157
5.5.1 MixConv算子介紹 157
5.5.2 借鑒Depthwise卷積實(shí)現(xiàn)思路 158
5.5.3 具體實(shí)現(xiàn) 160

第6章 PyTorch完整實(shí)戰(zhàn)講解——網(wǎng)絡(luò)剪枝應(yīng)用
6.1 網(wǎng)絡(luò)剪枝介紹 169
6.1.1 剪枝方法分類 169
6.1.2 基于權(quán)重通道重要性的結(jié)構(gòu)化剪枝 170
6.1.3 問(wèn)題定義與建模 170
6.2 具體實(shí)現(xiàn)思路 171
6.2.1 如何附屬控制門值 171
6.2.2 剪枝結(jié)構(gòu)搜索 172
6.2.3 剪枝模型訓(xùn)練 174
6.3 完整代碼實(shí)現(xiàn) 175
6.3.1 模型搭建 176
6.3.2 剪枝器實(shí)現(xiàn) 181
6.3.3 學(xué)習(xí)控制門變量 183
6.3.4 剪枝模型 187
6.3.5 訓(xùn)練模型 189
6.3.6 規(guī)模化啟動(dòng)訓(xùn)練任務(wù) 193
6.4 實(shí)驗(yàn)結(jié)果 198

參考文獻(xiàn)