序
前言
第一部分　數(shù)學(xué)與編程基礎(chǔ)篇
第1章　數(shù)學(xué)基礎(chǔ)與Python庫(kù)2
1.1　Python是進(jìn)行人工智能編程的主要語(yǔ)言2
1.2　數(shù)學(xué)基礎(chǔ)3
1.2.1　線性代數(shù)基礎(chǔ)3
1.2.2　微積分基礎(chǔ)7
1.3　Python庫(kù)的操作14
1.3.1　NumPy操作14
1.3.2　Matplotlib操作19
1.4　本章小結(jié)23
第2章　深度學(xué)習(xí)概論與飛槳入門(mén)24
2.1　人工智能、機(jī)器學(xué)習(xí)和深度學(xué)習(xí)25
2.1.1　人工智能25
2.1.2　機(jī)器學(xué)習(xí)26
2.1.3　深度學(xué)習(xí)26
2.2　深度學(xué)習(xí)的發(fā)展歷程27
2.2.1　神經(jīng)網(wǎng)絡(luò)的第一次高潮27
2.2.2　神經(jīng)網(wǎng)絡(luò)的第一次寒冬28
2.2.3　神經(jīng)網(wǎng)絡(luò)的第二次高潮30
2.2.4　神經(jīng)網(wǎng)絡(luò)的第二次寒冬30
2.2.5　深度學(xué)習(xí)的來(lái)臨31
2.2.6　深度學(xué)習(xí)崛起的時(shí)代背景31
2.3　深度學(xué)習(xí)的應(yīng)用場(chǎng)景31
2.3.1　圖像與視覺(jué)32
2.3.2　語(yǔ)音識(shí)別32
2.3.3　自然語(yǔ)言處理33
2.3.4　個(gè)性化推薦33
2.4　常見(jiàn)的深度學(xué)習(xí)網(wǎng)絡(luò)結(jié)構(gòu)34
2.4.1　全連接網(wǎng)絡(luò)結(jié)構(gòu)34
2.4.2　卷積神經(jīng)網(wǎng)絡(luò)34
2.4.3　循環(huán)神經(jīng)網(wǎng)絡(luò)35
2.5　機(jī)器學(xué)習(xí)回顧35
2.5.1　線性回歸的基本概念36
2.5.2　數(shù)據(jù)處理37
2.5.3　模型概覽38
2.5.4　效果展示39
2.6　深度學(xué)習(xí)框架簡(jiǎn)介40
2.6.1　深度學(xué)習(xí)框架的優(yōu)勢(shì)40
2.6.2　常見(jiàn)的深度學(xué)習(xí)框架41
2.6.3　飛槳簡(jiǎn)介42
2.6.4　飛槳安裝42
2.6.5　AI Studio43
2.7　飛槳實(shí)現(xiàn)44
2.8　飛槳服務(wù)平臺(tái)和工具組件51
2.8.1　PaddleHub51
2.8.2　X2Paddle54
2.8.3　PARL56
2.8.4　EasyDL61
2.9　本章小結(jié)62
第二部分　深度學(xué)習(xí)基礎(chǔ)篇
第3章　深度學(xué)習(xí)的單層網(wǎng)絡(luò)64
3.1　Logistic回歸模型64
3.1.1　Logistic回歸概述64
3.1.2　損失函數(shù)66
3.1.3　Logistic回歸的梯度下降68
3.2　實(shí)現(xiàn)Logistic回歸模型72
3.2.1　NumPy版本73
3.2.2　飛槳版本80
3.3　本章小結(jié)88
第4章　淺層神經(jīng)網(wǎng)絡(luò)89
4.1　神經(jīng)網(wǎng)絡(luò)89
4.1.1　神經(jīng)網(wǎng)絡(luò)的定義及其結(jié)構(gòu)89
4.1.2　神經(jīng)網(wǎng)絡(luò)的計(jì)算91
4.2　BP算法96
4.2.1　邏輯回歸與BP算法96
4.2.2　單樣本雙層神經(jīng)網(wǎng)絡(luò)的BP算法97
4.2.3　多樣本神經(jīng)網(wǎng)絡(luò)的BP算法100
4.3　BP算法實(shí)踐103
4.3.1　NumPy版本103
4.3.2　飛槳版本110
4.4　本章小結(jié)114
第5章　深層神經(jīng)網(wǎng)絡(luò)116
5.1　深層網(wǎng)絡(luò)介紹116
5.1.1　深度影響算法能力116
5.1.2　網(wǎng)絡(luò)演化過(guò)程與常用符號(hào)118
5.2　傳播過(guò)程120
5.2.1　神經(jīng)網(wǎng)絡(luò)算法核心思想120
5.2.2　深層網(wǎng)絡(luò)正向傳播過(guò)程120
5.2.3　深層網(wǎng)絡(luò)反向傳播過(guò)程121
5.2.4　傳播過(guò)程總結(jié)122
5.3　網(wǎng)絡(luò)的參數(shù)124
5.4　代碼實(shí)現(xiàn)125
5.4.1　NumPy版本125
5.4.2　飛槳版本128
5.5　本章小結(jié)130
第6章　卷積神經(jīng)網(wǎng)絡(luò)131
6.1　圖像分類(lèi)問(wèn)題描述131
6.2　卷積神經(jīng)網(wǎng)絡(luò)介紹132
6.2.1　卷積層132
6.2.2　ReLU激活函數(shù)136
6.2.3　池化層137
6.2.4　Softmax分類(lèi)層138
6.2.5　主要特點(diǎn)139
6.2.6　經(jīng)典神經(jīng)網(wǎng)絡(luò)架構(gòu)140
6.3　飛槳實(shí)現(xiàn)145
6.3.1　數(shù)據(jù)介紹145
6.3.2　模型概覽146
6.3.3　配置說(shuō)明146
6.4　本章小結(jié)153
第7章　循環(huán)神經(jīng)網(wǎng)絡(luò)154
7.1　任務(wù)描述154
7.2　循環(huán)神經(jīng)網(wǎng)絡(luò)介紹155
7.2.1　長(zhǎng)短期記憶網(wǎng)絡(luò)156
7.2.2　門(mén)控循環(huán)單元157
7.2.3　雙向循環(huán)神經(jīng)網(wǎng)絡(luò)158
7.2.4　卷積循環(huán)神經(jīng)網(wǎng)絡(luò)159
7.3　利用飛槳實(shí)現(xiàn)機(jī)器翻譯159
7.3.1　數(shù)據(jù)準(zhǔn)備159
7.3.2　柱搜索 163
7.3.3　模型配置167
7.3.4　模型訓(xùn)練168
7.3.5　加載訓(xùn)練模型進(jìn)行預(yù)測(cè)169
7.4　本章小結(jié)170
第8章　注意力機(jī)制171
8.1　任務(wù)描述171
8.2　注意力機(jī)制介紹172
8.2.1　Transformer172
8.2.2　Non-local神經(jīng)網(wǎng)絡(luò)175
8.2.3　Attention Cluster神經(jīng)網(wǎng)絡(luò)176
8.3　利用飛槳實(shí)現(xiàn)視頻分類(lèi)177
8.3.1　Non-local神經(jīng)網(wǎng)絡(luò)177
8.3.2　Attention Cluster183
8.4　本章小結(jié)195
第9章　算法優(yōu)化196
9.1　基礎(chǔ)知識(shí)196
9.1.1　訓(xùn)練、驗(yàn)證和測(cè)試集196
9.1.2　偏差和方差197
9.2　評(píng)估198
9.2.1　選定評(píng)估目標(biāo)198
9.2.2　迭代過(guò)程199
9.2.3　欠擬合和過(guò)擬合199
9.3　調(diào)優(yōu)策略199
9.3.1　降低偏差199
9.3.2　降低方差204
9.4　超參數(shù)調(diào)優(yōu)209
9.4.1　隨機(jī)搜索和網(wǎng)格搜索209
9.4.2　超參數(shù)范圍209
9.4.3　分階段搜索210
9.4.4　例子：對(duì)學(xué)習(xí)率的調(diào)整210
9.5　本章小結(jié)212
第三部分　飛槳實(shí)踐篇
第10章　目標(biāo)檢測(cè)214
10.1　任務(wù)描述214
10.2　常見(jiàn)模型解析217
10.2.1　R-CNN系列217
10.2.2　YOLO223
10.2.3　SSD228
10.3　PaddleDetection應(yīng)用實(shí)踐231
10.3.1　Faster-R-CNN231
10.3.2　YOLOv3234
10.4　本章小結(jié)237
第11章　圖像生成238
11.1　任務(wù)描述238
11.1.1　圖像生成238
11.1.2　圖像–圖像轉(zhuǎn)換239
11.1.3　文本–圖像轉(zhuǎn)換239
11.2　模型概覽240
11.2.1　圖像生成240
11.2.2　圖像–圖像241
11.2.3　文本–圖像246
11.3　PaddleGAN應(yīng)用實(shí)踐248
11.3.1　數(shù)據(jù)準(zhǔn)備248
11.3.2　參數(shù)設(shè)置248
11.3.3　網(wǎng)絡(luò)結(jié)構(gòu)定義249
11.3.4　模型訓(xùn)練253
11.3.5　模型測(cè)試 256
11.4　本章小結(jié)257
第12章　情感分析258
12.1　任務(wù)描述258
12.2　算法原理解析259
12.2.1　BOW259
12.2.2　DB-LSTM259
12.3　情感分析應(yīng)用實(shí)踐261
12.3.1　數(shù)據(jù)集下載261
12.3.2　配置模型262
12.3.3　訓(xùn)練模型268
12.4　本章小結(jié)273
第13章　機(jī)器翻譯274
13.1　任務(wù)描述274
13.2　算法原理解析275
13.2.1　Seq2Seq275
13.2.2　Transformer276
13.3　機(jī)器翻譯應(yīng)用實(shí)踐287
13.3.1　數(shù)據(jù)準(zhǔn)備287
13.3.2　模型配置287
13.3.3　模型訓(xùn)練289
13.3.4　模型測(cè)試291
13.3.5　模型評(píng)估292
13.4　本章小結(jié)292
第14章　語(yǔ)義表示293
14.1　任務(wù)描述293
14.2　常見(jiàn)模型解析294
14.2.1　ELMo294
14.2.2　ERNIE296
14.3　ERNIE應(yīng)用實(shí)踐300
14.3.1　數(shù)據(jù)準(zhǔn)備301
14.3.2　模型配置301
14.3.3　模型訓(xùn)練302
14.3.4　模型評(píng)估305
14.4　本章小結(jié)305
第15章　個(gè)性化推薦306
15.1　問(wèn)題描述306
15.2　傳統(tǒng)推薦方法307
15.2.1　基于內(nèi)容的推薦307
15.2.2　協(xié)同過(guò)濾推薦309
15.2.3　混合推薦310
15.3　深度學(xué)習(xí)推薦方法310
15.3.1　YouTube的深度神經(jīng)網(wǎng)絡(luò)推薦系統(tǒng)310
15.3.2　融合推薦系統(tǒng)312
15.4　個(gè)性化推薦系統(tǒng)在飛槳上的實(shí)現(xiàn)315
15.4.1　數(shù)據(jù)準(zhǔn)備315
15.4.2　模型設(shè)計(jì)332
15.4.3　模型訓(xùn)練358
15.4.4　保存特征363
15.4.5　模型測(cè)試364
15.5　本章小結(jié)373