第1章 數(shù)學(xué)基礎(chǔ) 1
1.1 向量和矩陣 1
1.1.1 標(biāo)量、向量、矩陣和張量 1
1.1.2 張量與矩陣的區(qū)別 2
1.1.3 矩陣和向量相乘的結(jié)果 2
1.1.4 向量和矩陣的范數(shù)歸納 2
1.1.5 判斷一個矩陣是否為正定矩陣 4
1.2 導(dǎo)數(shù)和偏導(dǎo)數(shù) 5
1.2.1 導(dǎo)數(shù)偏導(dǎo)計(jì)算 5
1.2.2 導(dǎo)數(shù)和偏導(dǎo)數(shù)的區(qū)別 6
1.3 特征值和特征向量 6
1.3.1 特征值分解 6
1.3.2 奇異值和特征值的關(guān)系 6
1.4 概率分布與隨機(jī)變量 7
1.4.1 機(jī)器學(xué)習(xí)為什么要使用概率 7
1.4.2 變量與隨機(jī)變量的區(qū)別 7
1.4.3 隨機(jī)變量與概率分布的聯(lián)系 8
1.4.4 離散型隨機(jī)變量和概率質(zhì)量函數(shù) 8
1.4.5 連續(xù)型隨機(jī)變量和概率密度函數(shù) 8
1.4.6 舉例理解條件概率 9
1.4.7 聯(lián)合概率與邊緣概率的區(qū)別和聯(lián)系 9
1.4.8 條件概率的鏈?zhǔn)椒▌t 10
1.4.9 獨(dú)立性和條件獨(dú)立性 10
1.5 常見概率分布 11
1.5.1 伯努利分布 11
1.5.2 高斯分布 11
1.5.3 何時采用正態(tài)分布 12
1.5.4 指數(shù)分布 12
1.5.5 Laplace分布 13
1.5.6 Dirac分布和經(jīng)驗(yàn)分布 13
1.6 期望、方差、協(xié)方差、相關(guān)系數(shù) 13
1.6.1 期望 13
1.6.2 方差 14
1.6.3 協(xié)方差 14
1.6.4 相關(guān)系數(shù) 15
第2章 機(jī)器學(xué)習(xí)基礎(chǔ) 16
2.1 基本概念 16
2.1.1 大話機(jī)器學(xué)習(xí)本質(zhì) 16
2.1.2 什么是神經(jīng)網(wǎng)絡(luò) 16
2.1.3 各種常見算法圖示 17
2.1.4 計(jì)算圖的導(dǎo)數(shù)計(jì)算 17
2.1.5 理解局部最優(yōu)與全局最優(yōu) 18
2.1.6 大數(shù)據(jù)與深度學(xué)習(xí)之間的關(guān)系 19
2.2 機(jī)器學(xué)習(xí)的學(xué)習(xí)方式 20
2.2.1 監(jiān)督學(xué)習(xí) 20
2.2.2 非監(jiān)督學(xué)習(xí) 20
2.2.3 半監(jiān)督學(xué)習(xí) 20
2.2.4 弱監(jiān)督學(xué)習(xí) 20
2.2.5 監(jiān)督學(xué)習(xí)模型的搭建步驟 21
2.3 分類算法 22
2.3.1 常用分類算法的優(yōu)缺點(diǎn) 22
2.3.2 分類算法的評估方法 23
2.3.3 正確率能否很好地評估分類算法 25
2.3.4 什么樣的分類器是最好的 26
2.4 邏輯回歸 26
2.4.1 回歸的種類 26
2.4.2 邏輯回歸適用性 27
2.4.3 邏輯回歸與樸素貝葉斯的區(qū)別 27
2.4.4 線性回歸與邏輯回歸的區(qū)別 27
2.5 代價函數(shù) 28
2.5.1 為什么需要代價函數(shù) 28
2.5.2 代價函數(shù)作用原理 28
2.5.3 常見代價函數(shù) 30
2.5.4 為什么代價函數(shù)要非負(fù) 31
2.5.5 為什么用交叉熵代替二次代價函數(shù) 31
2.6 損失函數(shù) 32
2.6.1 什么是損失函數(shù) 32
2.6.2 常見的損失函數(shù) 32
2.6.3 邏輯回歸為什么使用對數(shù)損失函數(shù) 34
2.6.4 對數(shù)損失函數(shù)如何度量損失 34
2.7 梯度下降法 35
2.7.1 梯度下降法的作用 36
2.7.2 梯度下降法的直觀理解 36
2.7.3 梯度下降法算法描述 37
2.7.4 梯度下降法的缺點(diǎn) 38
2.7.5 如何對梯度下降法進(jìn)行調(diào)優(yōu) 38
2.7.6 隨機(jī)梯度下降和批量梯度下降的區(qū)別 38
2.7.7 各種梯度下降法性能比較 40
2.8 線性判別分析 40
2.8.1 LDA思想總結(jié) 40
2.8.2 圖解LDA核心思想 41
2.8.3 二類LDA算法原理 41
2.8.4 LDA算法流程總結(jié) 42
2.8.5 LDA和PCA的異同 43
2.8.6 LDA的優(yōu)缺點(diǎn) 43
2.9 主成分分析 43
2.9.1 圖解PCA核心思想 43
2.9.2 PCA算法推理 44
2.9.3 PCA算法流程總結(jié) 45
2.9.4 PCA思想總結(jié) 46
2.9.5 PCA算法的優(yōu)缺點(diǎn) 46
2.9.6 降維的必要性及目的 46
2.9.7 KPCA與PCA的區(qū)別 47
2.10 模型評估 47
2.10.1 模型評估常用方法 48
2.10.2 誤差、偏差和方差的區(qū)別和聯(lián)系 48
2.10.3 為什么使用標(biāo)準(zhǔn)差 49
2.10.4 經(jīng)驗(yàn)誤差與泛化誤差 50
2.10.5 圖解欠擬合與過擬合 50
2.10.6 如何解決欠擬合與過擬合 52
2.10.7 交叉驗(yàn)證的主要作用 52
2.10.8 理解K折交叉驗(yàn)證 53
2.10.9 理解混淆矩陣 53
2.10.10 理解查準(zhǔn)率與查全率 53
2.10.11 理解ROC與AUC 54
2.10.12 如何繪制ROC曲線 55
2.10.13 如何計(jì)算TPR和FPR 56
2.10.14 如何計(jì)算AUC 58
2.10.15 直觀理解AUC 58
2.10.16 ROC評估分類器 60
2.10.17 代價敏感錯誤率與代價曲線 60
2.10.18 比較檢驗(yàn)方法 61
2.11 決策樹 61
2.11.1 決策樹的基本原理 62
2.11.2 決策樹的生成過程 62
2.11.3 決策樹學(xué)習(xí)基本算法步驟 62
2.11.4 決策樹算法的優(yōu)缺點(diǎn) 63
2.11.5 決策樹和熵的聯(lián)系 63
2.11.6 熵的概念及定義 63
2.11.7 理解信息增益 64
2.11.8 決策樹中熵、條件熵和信息增益的聯(lián)系 64
2.11.9 決策樹算法中剪枝的作用及策略 65
2.12 支持向量機(jī)（SVM） 65
2.12.1 什么是SVM 65
2.12.2 SVM能解決的問題 66
2.12.3 核函數(shù)特點(diǎn)及其作用 67
2.12.4 SVM為什么引入對偶問題 67
2.12.5 如何理解SVM中的對偶問題 67
2.12.6 常見的核函數(shù) 69
2.12.7 SVM的主要特點(diǎn) 69
2.12.8 SVM的主要缺點(diǎn) 70
2.12.9 邏輯回歸與SVM的異同 70
2.13 貝葉斯分類器 72
2.13.1 貝葉斯分類器的基本原理 72
2.13.2 樸素貝葉斯分類器 72
2.13.3 舉例理解樸素貝葉斯分類器 73
2.13.4 半樸素貝葉斯分類器 75
2.13.5 極大似然估計(jì)和貝葉斯估計(jì)的聯(lián)系與區(qū)別 75
2.13.6 極大似然估計(jì)原理 76
2.13.7 圖解極大似然估計(jì) 76
2.14 EM算法 77
2.14.1 EM算法的基本思想 77
2.14.2 EM算法推導(dǎo) 77
2.14.3 圖解EM算法 78
2.14.4 EM算法流程 79
2.15 降維和聚類 79
2.15.1 圖解為什么會產(chǎn)生維數(shù)災(zāi)難 79
2.15.2 怎樣避免維數(shù)災(zāi)難 83
2.15.3 聚類和降維 83
2.15.4 聚類算法優(yōu)劣的衡量標(biāo)準(zhǔn) 84
2.15.5 聚類和分類 85
2.15.6 聚類算法的性能比較 85
2.15.7 4種常用聚類方法比較 85
第3章 深度學(xué)習(xí)基礎(chǔ) 89
3.1 基本概念 89
3.1.1 神經(jīng)網(wǎng)絡(luò)的類型 89
3.1.2 神經(jīng)網(wǎng)絡(luò)的常用模型結(jié)構(gòu) 92
3.1.3 深度學(xué)習(xí)和機(jī)器學(xué)習(xí)的區(qū)別與聯(lián)系 93
3.1.4 為什么使用深層表示 93
3.1.5 深度學(xué)習(xí)架構(gòu)分類 94
3.1.6 如何選擇深度學(xué)習(xí)開發(fā)平臺 94
3.2 神經(jīng)網(wǎng)絡(luò)計(jì)算 95
3.2.1 前向傳播和反向傳播 95
3.2.2 如何計(jì)算神經(jīng)網(wǎng)絡(luò)的輸出 96
3.2.3 如何計(jì)算卷積神經(jīng)網(wǎng)絡(luò)輸出值 97
3.2.4 如何計(jì)算池化層輸出值 100
3.2.5 反向傳播實(shí)例 101
3.2.6 神經(jīng)網(wǎng)絡(luò)更“深”的意義 104
3.3 激活函數(shù) 104
3.3.1 為什么需要激活函數(shù) 104
3.3.2 為什么激活函數(shù)需要非線性函數(shù) 105
3.3.3 常見的激活函數(shù)及其圖像 105
3.3.4 常見激活函數(shù)的導(dǎo)數(shù)計(jì)算 107
3.3.5 激活函數(shù)有哪些性質(zhì) 108
3.3.6 如何選擇激活函數(shù) 108
3.3.7 為什么tanh收斂速度比sigmoid快 109
3.3.8 Relu激活函數(shù)的優(yōu)點(diǎn) 109
3.3.9 理解Relu激活函數(shù)的稀疏激活性 109
3.3.10 什么時候可以用線性激活函數(shù) 109
3.3.11 softmax函數(shù)的定義及作用 110
3.3.12 softmax函數(shù)如何應(yīng)用于多分類 110
3.4 BATCH SIZE 112
3.4.1 為什么需要Batch Size 112
3.4.2 如何選擇Batch Size值 112
3.4.3 調(diào)節(jié)Batch Size對訓(xùn)練效果的影響 113
3.4.4 在合理范圍內(nèi)增大Batch Size的好處 113
3.4.5 盲目增大Batch Size的壞處 114
3.5 歸一化 114
3.5.1 理解歸一化含義 114
3.5.2 歸一化和標(biāo)準(zhǔn)化的聯(lián)系與區(qū)別 114
3.5.3 為什么要?dú)w一化或標(biāo)準(zhǔn)化 115
3.5.4 圖解為什么要?dú)w一化 115
3.5.5 為什么歸一化能提高求最優(yōu)解速度 115
3.5.6 歸一化有哪些類型 116
3.5.7 局部響應(yīng)歸一化作用 116
3.5.8 局部響應(yīng)歸一化原理 117
3.5.9 什么是批歸一化 118
3.5.10 批歸一化的優(yōu)點(diǎn) 118
3.5.11 批歸一化算法流程 118
3.5.12 批歸一化和組歸一化比較 119
3.5.13 權(quán)重歸一化和批歸一化比較 119
3.5.14 批歸一化適用范圍 120
3.5.15 BN、LN、IN和GN的對比 120
3.6 參數(shù)初始化 121
3.6.1 參數(shù)初始化應(yīng)滿足的條件 121
3.6.2 常用的幾種初始化方式 121
3.6.3 全0初始化帶來的問題 121
3.6.4 全都初始化為同樣的值 122
3.6.5 初始化為小的隨機(jī)數(shù) 123
3.6.6 用 校準(zhǔn)方差 123
3.7 預(yù)訓(xùn)練與微調(diào) 123
3.7.1 什么是預(yù)訓(xùn)練和微調(diào) 123
3.7.2 預(yù)訓(xùn)練和微調(diào)的作用 124
3.7.3 預(yù)訓(xùn)練模型的復(fù)用 124
3.7.4 預(yù)訓(xùn)練和遷移學(xué)習(xí) 125
3.7.5 微調(diào)時網(wǎng)絡(luò)參數(shù)是否更新 125
3.7.6 微調(diào)模型的三種狀態(tài) 125
3.7.7 為什么深層神經(jīng)網(wǎng)絡(luò)難以訓(xùn)練 125
3.8 超參數(shù) 127
3.8.1 超參數(shù)有哪些 127
3.8.2 參數(shù)和模型的關(guān)系 127
3.8.3 參數(shù)和超參數(shù)的區(qū)別 127
3.8.4 如何尋找超參數(shù)的最優(yōu)值 128
3.8.5 超參數(shù)搜索的一般過程 128
3.9 學(xué)習(xí)率 129
3.9.1 學(xué)習(xí)率的作用 129
3.9.2 學(xué)習(xí)率衰減的常用參數(shù) 129
3.9.3 常用的學(xué)習(xí)率衰減方法 129
3.10 正則化 133
3.10.1 為什么要正則化 133
3.10.2 常見正則化方法 133
3.10.3 圖解L1和L2正則化 134
3.10.4 Dropout具體工作流程 135
3.10.5 為什么Dropout可以解決過擬合問題 137
3.10.6 Dropout的缺點(diǎn) 137
第4章 卷積神經(jīng)網(wǎng)絡(luò)的經(jīng)典網(wǎng)絡(luò) 138
4.1 LENET-5 138
4.1.1 模型介紹 138
4.1.2 模型結(jié)構(gòu) 138
4.1.3 模型特性 139
4.2 ALEXNET 140
4.2.1 模型介紹 140
4.2.2 模型結(jié)構(gòu) 140
4.2.3 模型特性 141
4.3 ZFNET 142
4.3.1 模型介紹 142
4.3.2 模型結(jié)構(gòu) 142
4.3.3 模型特性 143
4.4 NIN 144
4.4.1 模型介紹 144
4.4.2 模型結(jié)構(gòu) 144
4.4.3 模型特點(diǎn) 145
4.5 VGGNET 145
4.5.1 模型介紹 145
4.5.2 模型結(jié)構(gòu) 146
4.5.3 模型特性 147
4.6 GOOGLENET 147
4.6.1 模型介紹 147
4.6.2 模型結(jié)構(gòu) 148
4.6.3 模型特性 152
4.7 RESNET 152
4.7.1 模型介紹 152
4.7.2 模型結(jié)構(gòu) 152
4.7.3 模型特性 154
4.8 DENSENET 155
4.8.1 模型介紹 155
4.8.2 模型結(jié)構(gòu) 156
4.8.3 模型特性 157
4.9 CNN模型在GOOGLENET、VGGNET或ALEXNET上調(diào)整的原因 157
第5章 卷積神經(jīng)網(wǎng)絡(luò) 159
5.1 CNN的結(jié)構(gòu) 159
5.1.1 CNN和人類視覺的關(guān)系 159
5.1.2 CNN的結(jié)構(gòu)組成 160
5.2 輸入層 160
5.2.1 輸入層作用 160
5.2.2 數(shù)據(jù)預(yù)處理 160
5.3 卷積層 161
5.3.1 卷積原理 161
5.3.2 卷積在圖像中的作用 162
5.3.3 卷積層的基本參數(shù) 163
5.3.4 卷積核的類型 164
5.3.5 1×1卷積的作用 165
5.3.6 卷積核是否越大越好 166
5.3.7 每層卷積是否只能用一種尺寸的卷積核 167
5.3.8 如何減少卷積層參數(shù)量 167
5.3.9 在標(biāo)準(zhǔn)卷積中同時考慮通道和區(qū)域的優(yōu)缺點(diǎn) 167
5.3.10 采用寬卷積的好處 169
5.4 激活層 169
5.4.1 激活層的作用 169
5.4.2 BN層和激活層的位置順序選擇 170
5.5 池化層 170
5.5.1 池化層作用 170
5.5.2 池化方法 171
5.5.3 卷積層和池化層的區(qū)別 171
5.5.4 NetVLAD池化 172
5.6 全連接層 172
5.6.1 全連接如何把二維特征圖轉(zhuǎn)化成一個一維向量 172
5.6.2 全卷積神經(jīng)網(wǎng)絡(luò)取代全連接層 173
5.6.3 圖像分類中全連接層對卷積神經(jīng)網(wǎng)絡(luò)性能的影響 173
5.7 二維卷積與三維卷積 174
5.7.1 二維卷積與三維卷積的區(qū)別 174
5.7.2 圖解三維卷積 175
5.7.3 RGB圖不使用三維卷積的原因 176
5.8 理解轉(zhuǎn)置卷積與棋盤效應(yīng) 176
5.8.1 標(biāo)準(zhǔn)卷積 176
5.8.2 轉(zhuǎn)置卷積 177
5.8.3 棋盤效應(yīng) 178
5.9 卷積神經(jīng)網(wǎng)絡(luò)凸顯共性的方法 179
5.9.1 局部連接 179
5.9.2 權(quán)重共享 180
5.9.3 池化操作 181
5.10 局部卷積 181
5.10.1 全連接、局部連接、全卷積與局部卷積對比 182
5.10.2 局部卷積的應(yīng)用 182
5.11 CNN可視化 183
5.11.1 特征層學(xué)到了什么 183
5.11.2 特征層隨訓(xùn)練而演化 184
5.11.3 消融分析 185
5.11.4 常見的網(wǎng)絡(luò)可視化方法 185
5.12 卷積神經(jīng)網(wǎng)絡(luò)的優(yōu)化及應(yīng)用 186
5.12.1 卷積神經(jīng)網(wǎng)絡(luò)的參數(shù)設(shè)置 186
5.12.2 如何提高卷積神經(jīng)網(wǎng)絡(luò)的泛化能力 186
5.12.3 卷積神經(jīng)網(wǎng)絡(luò)的區(qū)域不變性和組合性 187
5.12.4 卷積神經(jīng)網(wǎng)絡(luò)在不同領(lǐng)域的應(yīng)用 188
第6章 循環(huán)神經(jīng)網(wǎng)絡(luò) 189
6.1 為什么需要RNN 189
6.2 圖解RNN基本結(jié)構(gòu) 189
6.2.1 基本的單層網(wǎng)絡(luò)結(jié)構(gòu) 189
6.2.2 圖解經(jīng)典RNN結(jié)構(gòu) 190
6.2.3 Vector-to-Sequence結(jié)構(gòu) 191
6.2.4 Sequence-to-Vector結(jié)構(gòu) 192
6.2.5 Encoder-Decoder結(jié)構(gòu) 192
6.2.6 3種基本結(jié)構(gòu)的應(yīng)用場景 193
6.2.7 圖解RNN中的注意機(jī)制 194
6.3 RNN的性質(zhì) 195
6.3.1 RNN的典型特點(diǎn) 195
6.3.2 CNN和RNN的區(qū)別 196
6.3.3 RNN和FNN的異同 196
6.3.4 為什么RNN訓(xùn)練的時候損失值波動很大 197
6.4 RNN的后向傳播 197
6.4.1 BPTT算法推導(dǎo) 197
6.4.2 RNN中為什么會出現(xiàn)梯度消失 198
6.4.3 如何解決RNN中的梯度消失問題 199
6.5 長短期記憶網(wǎng)絡(luò)（LSTM） 199
6.5.1 LSTM的產(chǎn)生原因 199
6.5.2 標(biāo)準(zhǔn)的RNN和LSTM的區(qū)別 199
6.5.3 LSTM核心思想 200
6.5.4 LSTM流行的變體 203
6.5.5 LSTM與GRU的區(qū)別 204
6.6 常見的RNN結(jié)構(gòu)上的擴(kuò)展和改進(jìn) 205
6.6.1 簡單循環(huán)神經(jīng)網(wǎng)絡(luò)（SRN） 205
6.6.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)（BRNN） 205
6.6.3 深度循環(huán)神經(jīng)網(wǎng)絡(luò)（Deep RNN） 206
6.6.4 回聲狀態(tài)網(wǎng)絡(luò)（ESN） 206
6.6.5 時鐘頻率驅(qū)動 RNN（CW-RNN） 207
6.6.6 包含時間間隔的RNN 208
6.7 RNN在NLP中的典型應(yīng)用舉例 209
6.8 RNN與圖像領(lǐng)域的結(jié)合舉例 210
6.8.1 卷積循環(huán)神經(jīng)網(wǎng)絡(luò) 210
6.8.2 網(wǎng)格循環(huán)神經(jīng)網(wǎng)絡(luò) 211
6.8.3 像素循環(huán)神經(jīng)網(wǎng)絡(luò) 211
6.9 RNN與條件隨機(jī)場的結(jié)合 212
第7章 生成對抗網(wǎng)絡(luò) 213
7.1 GAN的基本概念 213
7.1.1 如何通俗地理解GAN 213
7.1.2 GAN的形式化表達(dá) 213
7.1.3 GAN的目標(biāo)函數(shù) 214
7.1.4 GAN的目標(biāo)函數(shù)和交叉熵?fù)p失的聯(lián)系和區(qū)別 214
7.1.5 GAN的損失值為什么降不下去 215
7.1.6 生成式模型和判別式模型的區(qū)別 215
7.1.7 模式崩塌和模式丟棄 216
7.1.8 為什么會出現(xiàn)模式崩塌 217
7.1.9 如何解決模式崩塌問題 217
7.2 GAN的生成模型評價 219
7.2.1 Inception Score 219
7.2.2 Mode Score 220
7.2.3 Kernel MMD 220
7.2.4 Wasserstein Distance 220
7.2.5 Fréchet Inception Distance（FID） 221
7.2.6 1-NN分類器（1-Nearest Neighbor Classifier） 221
7.2.7 其他評價方法 221
7.3 其他常見的生成模型 221
7.3.1 自回歸模型：pixelRNN與pixelCNN 221
7.3.2 變分自動編碼器（VAE）原理 222
7.4 GAN的改進(jìn)與優(yōu)化 223
7.4.1 如何生成指定類型的圖像（CGAN） 223
7.4.2 CNN與GAN的結(jié)合（DCGAN） 224
7.4.3 GAN為什么容易訓(xùn)練崩潰 224
7.4.4 WGAN如何解決訓(xùn)練崩潰問題 225
7.4.5 帶有梯度正則的WGAN（WGAN-GP） 225
7.4.6 最小二乘GAN（LSGAN） 226
7.4.7 如何盡量避免GAN的訓(xùn)練崩潰問題 227
7.5 GAN的應(yīng)用：圖像翻譯 227
7.5.1 什么是圖像翻譯 227
7.5.2 有監(jiān)督圖像翻譯（pix2pix） 228
7.5.3 有監(jiān)督圖像翻譯的缺點(diǎn) 229
7.5.4 無監(jiān)督圖像翻譯（CycleGAN） 230
7.5.5 多領(lǐng)域的無監(jiān)督圖像翻譯（StarGAN） 231
7.6 GAN的應(yīng)用：文本生成 232
7.6.1 傳統(tǒng)GAN為什么不適合文本任務(wù) 232
7.6.2 SeqGAN用于文本生成 232
7.7 GAN在其他領(lǐng)域的應(yīng)用 233
7.7.1 數(shù)據(jù)增廣 233
7.7.2 圖像超分辨與圖像補(bǔ)全 234
7.7.3 語音領(lǐng)域 234
第8章 目標(biāo)檢測 235
8.1 基本概念 235
8.1.1 目標(biāo)檢測 235
8.1.2 目標(biāo)檢測要解決的核心問題 236
8.1.3 目標(biāo)檢測的算法分類 236
8.1.4 目標(biāo)檢測的應(yīng)用領(lǐng)域 237
8.2 TWO-STAGE目標(biāo)檢測算法 237
8.2.1 R-CNN 237
8.2.2 Fast R-CNN 239
8.2.3 Faster R-CNN 242
8.2.4 R-FCN 245
8.2.5 FPN 248
8.2.6 Mask R-CNN 251
8.3 ONE-STAGE目標(biāo)檢測算法 254
8.3.1 YOLO 254
8.3.2 YOLOv2 257
8.3.3 YOLO9000 261
8.3.4 YOLOv3 262
8.3.5 YOLOv4 263
8.3.6 SSD 264
8.3.7 DSSD 267
8.3.8 RetinaNet 269
8.3.9 RFBNet 271
8.3.10 M2Det 273
8.4 目標(biāo)檢測的常用數(shù)據(jù)集 275
8.4.1 PASCAL VOC 275
8.4.2 Microsoft COCO 275
8.4.3 谷歌Open Image 276
8.4.4 ImageNet 276
8.5 目標(biāo)檢測常用標(biāo)注工具 276
8.5.1 LabelImg 276
8.5.2 LabelMe 276
8.5.3 Labelbox 277
8.5.4 RectLabel 277
8.5.5 CVAT 277
8.5.6 VIA 277
8.5.7 其他標(biāo)注工具 278
第9章 圖像分割 279
9.1 常見的圖像分割算法 279
9.1.1 基于閾值的分割算法 279
9.1.2 基于邊緣檢測的分割算法 279
9.1.3 基于區(qū)域的分割算法 280
9.1.4 基于神經(jīng)網(wǎng)絡(luò)技術(shù)的圖像分割算法 280
9.1.5 基于深度學(xué)習(xí)的圖像分割算法分類 280
9.1.6 常見的深度學(xué)習(xí)圖像分割算法 281
9.2 FCN 282
9.2.1 為什么CNN對像素級別的分類很難 282
9.2.2 FCN有哪些改變 282
9.2.3 FCN的結(jié)構(gòu) 283
9.2.4 全連接層和卷積層如何相互轉(zhuǎn)化 283
9.2.5 為什么傳統(tǒng)CNN的輸入圖片大小是固定的 284
9.2.6 把全連接層的權(quán)重重塑成卷積層的濾波器的好處 284
9.2.7 FCN如何進(jìn)行逐個像素點(diǎn)預(yù)測分類 285
9.2.8 反卷積層理解 286
9.2.9 跳級（skip）結(jié)構(gòu) 288
9.2.10 模型訓(xùn)練 289
9.2.11 FCN的優(yōu)缺點(diǎn) 292
9.3 U-NET 292
9.4 U-NET++ 295
9.5 SEGNET 296
9.6 LINKNET 297
9.7 REFINENET 299
9.8 PSPNET 300
9.9 DEEPLAB系列 302
9.9.1 DeepLabv1 303
9.9.2 DeepLabv2 305
9.9.3 DeepLabv3 306
9.9.4 DeepLabv3+ 307
9.10 MASK R-CNN作為目標(biāo)分割的介紹 310
9.10.1 Mask R-CNN框架 310
9.10.2 Mask R-CNN損失函數(shù) 310
9.10.3 Mask R-CNN 算法步驟 311
9.10.4 RoI池化與RoI Align 311
9.10.5 Mask R-CNN代碼實(shí)現(xiàn)總體框架 311
9.10.6 Mask R-CNN訓(xùn)練和推導(dǎo)過程的區(qū)別 312
9.10.7 Mask R-CNN擴(kuò)展 312
9.11 基于弱監(jiān)督學(xué)習(xí)的圖像分割 313
9.11.1 涂鴉標(biāo)記（ScribbleSup） 314
9.11.2 圖像級別標(biāo)記（CCNN） 315
9.11.3 期望最大化估計(jì)像素類別 316
9.11.4 圖像、邊框與涂鴉標(biāo)記融合框架 317
第10章 遷移學(xué)習(xí) 318
10.1 遷移學(xué)習(xí)基礎(chǔ)知識 318
10.1.1 什么是遷移學(xué)習(xí) 318
10.1.2 為什么需要遷移學(xué)習(xí) 319
10.1.3 遷移學(xué)習(xí)與已有學(xué)習(xí)方式的區(qū)別和聯(lián)系 320
10.1.4 負(fù)遷移 321
10.2 遷移學(xué)習(xí)的研究領(lǐng)域 322
10.2.1 按目標(biāo)域標(biāo)簽分類 323
10.2.2 按學(xué)習(xí)方法分類 323
10.2.3 按特征分類 323
10.2.4 按離線與在線形式分類 324
10.3 遷移學(xué)習(xí)的應(yīng)用 324
10.3.1 計(jì)算機(jī)視覺 325
10.3.2 文本分類 325
10.3.3 時間序列 326
10.3.4 醫(yī)療健康 327
10.4 遷移學(xué)習(xí)的基本方法 327
10.4.1 基于實(shí)例的遷移學(xué)習(xí)方法 328
10.4.2 基于特征的遷移學(xué)習(xí)方法 328
10.4.3 基于模型的遷移學(xué)習(xí)方法 329
10.4.4 基于關(guān)系的遷移學(xué)習(xí)方法 330
10.5 分布對齊的常用方法 331
10.5.1 數(shù)據(jù)分布自適應(yīng)方法 331
10.5.2 特征選擇方法 333
10.5.3 子空間學(xué)習(xí)方法 334
10.6 深度遷移學(xué)習(xí)方法 338
10.6.1 深度網(wǎng)絡(luò)的可遷移性 338
10.6.2 微調(diào) 342
10.6.3 深度網(wǎng)絡(luò)自適應(yīng) 342
10.6.4 深度對抗網(wǎng)絡(luò)遷移 347
10.7 遷移學(xué)習(xí)研究前沿 350
10.7.1 機(jī)器智能與人類經(jīng)驗(yàn)結(jié)合的遷移學(xué)習(xí) 350
10.7.2 傳遞遷移學(xué)習(xí) 350
10.7.3 終身遷移學(xué)習(xí) 351
10.7.4 在線遷移學(xué)習(xí) 352
10.7.5 遷移強(qiáng)化學(xué)習(xí) 353
10.7.6 遷移學(xué)習(xí)的可解釋性 353
第11章 網(wǎng)絡(luò)構(gòu)架介紹及訓(xùn)練 354
11.1 TENSORFLOW 354
11.1.1 TensorFlow的設(shè)計(jì)理念 354
11.1.2 TensorFlow的特點(diǎn) 355
11.1.3 TensorFlow的系統(tǒng)架構(gòu) 356
11.1.4 TensorFlow的編程模型 357
11.1.5 基于TensorFlow搭建VGG16 360
11.2 CAFFE 361
11.2.1 Caffe的特性 362
11.2.2 Caffe2的特性 362
11.2.3 Caffe2和PyTorch的區(qū)別 362
11.3 PYTORCH 362
11.3.1 為什么選擇PyTorch 363
11.3.2 PyTorch的架構(gòu) 363
11.3.3 PyTorch 1.0三大重要更新 364
11.4 常見的深度學(xué)習(xí)分布式框架 364
11.4.1 PaddlePaddle 365
11.4.2 Deeplearning4j 366
11.4.3 Mahout 367
11.4.4 Spark MLlib 368
11.4.5 Spark Stream 369
11.4.6 Ray 370
11.4.7 Horovod 370
11.4.8 BigDL 371
11.4.9 Petastorm 371
11.4.10 TensorFlowOnSpark 372
11.5 網(wǎng)絡(luò)搭建原則及訓(xùn)練技巧 372
11.5.1 網(wǎng)絡(luò)搭建原則 372
11.5.2 網(wǎng)絡(luò)訓(xùn)練技巧 373
第12章 網(wǎng)絡(luò)優(yōu)化技巧 376
12.1 數(shù)據(jù)集和樣本優(yōu)化 376
12.1.1 如何解決訓(xùn)練樣本少的問題 376
12.1.2 深度學(xué)習(xí)能否勝任所有數(shù)據(jù)集 377
12.1.3 訓(xùn)練集、驗(yàn)證集、測試集的定義及劃分 377
12.1.4 類別不平衡的產(chǎn)生原因 378
12.1.5 常見的類別不平衡問題的解決方法 378
12.1.6 常用的數(shù)據(jù)增強(qiáng)方法 379
12.2 數(shù)據(jù)不匹配問題 380
12.2.1 如何定位數(shù)據(jù)不匹配問題 380
12.2.2 常見的數(shù)據(jù)不匹配的場景 380
12.2.3 如何解決數(shù)據(jù)不匹配問題 380
12.3 網(wǎng)絡(luò)構(gòu)建和初始化 381
12.3.1 權(quán)重的初始化方法 381
12.3.2 激活函數(shù)的特點(diǎn) 382
12.3.3 卷積核設(shè)計(jì)尺寸都是奇數(shù)的原因 383
12.3.4 在網(wǎng)絡(luò)設(shè)計(jì)中要權(quán)重共享的原因 383
12.4 特征選擇 383
12.4.1 特征的類型 383
12.4.2 如何考慮特征選擇 384
12.4.3 特征選擇方法分類 384
12.4.4 特征選擇的目的 384
12.5 梯度消失和梯度爆炸 384
12.5.1 使用梯度更新規(guī)則的原因 384
12.5.2 梯度消失和梯度爆炸產(chǎn)生的原因 385
12.5.3 如何解決梯度消失和梯度爆炸問題 386
12.5.4 防止梯度下降陷入局部最優(yōu)困境 386
12.6 評價指標(biāo) 387
12.6.1 設(shè)置單一數(shù)字評價指標(biāo)的原因 387
12.6.2 Top5錯誤率 387
12.6.3 理解泛化誤差、方差和偏差 388
12.7 模型和系統(tǒng)優(yōu)化 388
12.7.1 是否存在比已知算法更好的算法 388
12.7.2 判斷和解決共線性問題 389
12.7.3 深度學(xué)習(xí)不用二階優(yōu)化的原因 389
12.7.4 提升模型的穩(wěn)定性 389
12.7.5 改善模型的思路 390
12.7.6 快速構(gòu)建有效初始模型 391
12.7.7 通過模型重新觀察數(shù)據(jù) 391
12.7.8 提高深度學(xué)習(xí)系統(tǒng)的性能 392
第13章 超參數(shù)調(diào)整 393
13.1 超參數(shù)的概念 393
13.1.1 參數(shù)和超參數(shù)的區(qū)別 393
13.1.2 超參數(shù)的類別 393
13.1.3 進(jìn)行超參數(shù)調(diào)優(yōu)的原因 394
13.1.4 超參數(shù)的重要性排序 394
13.1.5 部分超參數(shù)如何影響模型性能 395
13.1.6 部分超參數(shù)的合適范圍 396
13.2 網(wǎng)絡(luò)訓(xùn)練中的超參數(shù)調(diào)整策略 397
13.2.1 超參數(shù)優(yōu)化的一般過程 397
13.2.2 如何調(diào)試模型 397
13.2.3 學(xué)習(xí)率調(diào)整的原因 398
13.2.4 學(xué)習(xí)率調(diào)整的策略 398
13.2.5 在極端批樣本數(shù)量下訓(xùn)練網(wǎng)絡(luò) 402
13.3 合理使用預(yù)訓(xùn)練網(wǎng)絡(luò) 403
13.3.1 什么是微調(diào) 403
13.3.2 微調(diào)的方式 403
13.3.3 微調(diào)先凍結(jié)底層而訓(xùn)練頂層的原因 404
13.3.4 在不同的數(shù)據(jù)集下如何進(jìn)行微調(diào) 404
13.3.5 在目標(biāo)檢測中使用預(yù)訓(xùn)練模型的優(yōu)劣 404
13.3.6 目標(biāo)檢測如何從零開始訓(xùn)練 405
13.4 自動化超參數(shù)搜索方法 405
13.4.1 網(wǎng)格搜索 405
13.4.2 隨機(jī)搜索 406
13.4.3 基于模型的超參數(shù)優(yōu)化 406
13.5 自動機(jī)器學(xué)習(xí)AUTOML 406
13.5.1 為什么需要AutoML 406
13.5.2 AutoML的問題構(gòu)成 407
13.5.3 常見的AutoML框架 407
13.5.4 神經(jīng)架構(gòu)搜索（NAS） 408
第14章 模型壓縮、加速和移動端部署 410
14.1 模型壓縮 410
14.2 為什么需要模型壓縮和加速 410
14.3 模型壓縮方法 411
14.3.1 前端壓縮和后端壓縮對比 411
14.3.2 網(wǎng)絡(luò)剪枝 411
14.3.3 典型剪枝方法的對比 413
14.3.4 網(wǎng)絡(luò)蒸餾 413
14.3.5 前端壓縮 413
14.3.6 后端壓縮 414
14.3.7 低秩分解 416
14.3.8 總體壓縮效果評價指標(biāo) 416
14.4 網(wǎng)絡(luò)壓縮的未來研究方向 417
14.5 模型優(yōu)化加速方法 418
14.5.1 模型優(yōu)化加速方法類別 418
14.5.2 TensorRT加速原理 418
14.5.3 TensorRT如何優(yōu)化重構(gòu)模型 420
14.5.4 TensorRT的加速效果 420
14.6 如何選擇壓縮和加速方法 420
14.7 高效CNN網(wǎng)絡(luò)設(shè)計(jì)的準(zhǔn)則 421
14.7.1 分組卷積 421
14.7.2 深度可分離卷積 422
14.7.3 當(dāng)輸入/輸出的通道數(shù)相等時，MAC最小 424
14.7.4 減少分組卷積的數(shù)量 424
14.7.5 降低網(wǎng)絡(luò)碎片化程度（分支數(shù)量） 425
14.7.6 減少元素級操作 426
14.8 常用的輕量級網(wǎng)絡(luò) 426
14.8.1 SequeezeNet 426
14.8.2 MobileNet 429
14.8.3 MobileNet-v2 432
14.8.4 MobileNet-v1和MobileNet-v2微結(jié)構(gòu)比較 433
14.8.5 ResNet和MobileNet-v2微結(jié)構(gòu)比較 434
14.8.6 Xception 434
14.8.7 ShuffleNet-v1 436
14.8.8 ShuffleNet-v2 438
14.9 現(xiàn)有的移動端開源框架及其特點(diǎn) 440
14.9.1 NCNN 440
14.9.2 QNNPACK 441
14.9.3 Prestissimo 443
14.9.4 MDL 445
14.9.5 Paddle-Mobile 446
14.9.6 MACE 446
14.9.7 FeatherCNN 448
14.9.8 TensorFlow Lite 449
14.9.9 PocketFlow 450
14.9.10 MDL、NCNN和TFLite對比 452
14.10 移動端開源框架部署 453