傳統(tǒng)篇
第1章　強(qiáng)化學(xué)習(xí)是什么 2
1.1　題設(shè) 3
1.1.1　多智能才叫智能 5
1.1.2　人工智能的定義 5
1.2　強(qiáng)化學(xué)習(xí)的研究對(duì)象 7
1.2.1　強(qiáng)化學(xué)習(xí)的應(yīng)用場(chǎng)合 7
1.2.2　強(qiáng)化學(xué)習(xí)的建模 11
1.3　本章小結(jié) 17
第2章　強(qiáng)化學(xué)習(xí)的脈絡(luò) 18
2.1　什么是策略 18
2.2　什么樣的策略是好的策略 19
2.3　什么是模型 21
2.4　如何得到一個(gè)好的策略 23
2.4.1　直接法 23
2.4.2　間接法 25
2.5　馬爾可夫決策過(guò)程 29
2.5.1　狀態(tài)轉(zhuǎn)移 30
2.5.2　策略與評(píng)價(jià) 31
2.5.3　策略優(yōu)化 36
2.6　Model-Based和Model-Free 36
2.6.1　Model-Based 36
2.6.2　規(guī)劃問(wèn)題 37
2.6.3　Model-Free 38
2.7　本章小結(jié) 38
第3章　動(dòng)態(tài)規(guī)劃 40
3.1　狀態(tài)估值 40
3.2　策略優(yōu)化 42
3.3　本章小結(jié) 43
第4章　蒙特卡羅法 45
4.1　歷史由來(lái) 45
4.2　狀態(tài)估值 47
4.3　兩種估值方法 49
4.3.1　首次訪問(wèn)蒙特卡羅策略估值 49
4.3.2　每次訪問(wèn)蒙特卡羅策略估值 49
4.3.3　增量平均 50
4.4　弊端 51
4.5　本章小結(jié) 52
第5章　時(shí)間差分 53
5.1　SARSA算法 53
5.1.1　SARSA算法的偽代碼 54
5.1.2　SARSA算法的優(yōu)點(diǎn)和缺點(diǎn) 57
5.2　Q-Learning算法 57
5.2.1　Q-Learning算法的偽代碼 58
5.2.2　Q-Learning算法的優(yōu)點(diǎn)和缺點(diǎn) 59
5.3　On-Policy和Off-Policy 61
5.4　On-Line學(xué)習(xí)和Off-Line學(xué)習(xí) 62
5.5　比較與討論 63
5.6　本章小結(jié) 65

現(xiàn)代篇
第6章　深度學(xué)習(xí) 68
6.1　PyTorch簡(jiǎn)介 69
6.1.1　歷史淵源 70
6.1.2　支持 71
6.2　神經(jīng)元 74
6.3　線性回歸 77
6.4　激勵(lì)函數(shù) 80
6.4.1　Sigmoid函數(shù) 81
6.4.2　Tanh函數(shù) 82
6.4.3　ReLU函數(shù) 82
6.4.4　Linear函數(shù) 83
6.5　神經(jīng)網(wǎng)絡(luò) 84
6.6　網(wǎng)絡(luò)訓(xùn)練 85
6.6.1　輸入 86
6.6.2　輸出 86
6.6.3　網(wǎng)絡(luò)結(jié)構(gòu) 87
6.6.4　損失函數(shù) 88
6.6.5　求解極小值 90
6.6.6　線性回歸 90
6.6.7　凸函數(shù) 93
6.6.8　二元（多元）凸函數(shù) 98
6.6.9　導(dǎo)數(shù)補(bǔ)充 101
6.6.10　導(dǎo)數(shù)怎么求 103
6.6.11　“串聯(lián)”的神經(jīng)元 105
6.6.12　模型的工作 107
6.6.13　理解損失函數(shù) 108
6.7　深度學(xué)習(xí)的優(yōu)勢(shì) 108
6.7.1　線性和非線性的疊加 109
6.7.2　不用再提取特征 111
6.7.3　處理線性不可分 112
6.8　手寫(xiě)數(shù)字識(shí)別公開(kāi)數(shù)據(jù)集 114
6.9　全連接網(wǎng)絡(luò) 117
6.9.1　輸入與輸出 118
6.9.2　代碼解讀 119
6.9.3　運(yùn)行結(jié)果 125
6.10　卷積神經(jīng)網(wǎng)絡(luò) 125
6.10.1　代碼解讀 125
6.10.2　理解卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 132
6.10.3　卷積核的結(jié)構(gòu) 134
6.11　循環(huán)神經(jīng)網(wǎng)絡(luò) 135
6.11.1　網(wǎng)絡(luò)結(jié)構(gòu) 136
6.11.2　應(yīng)用案例 140
6.11.3　代碼解讀 143
6.12　其他注意事項(xiàng) 148
6.12.1　并行計(jì)算 148
6.12.2　梯度消失和梯度爆炸 152
6.12.3　歸一化 157
6.12.4　超參數(shù)的設(shè)置 159
6.12.5　正則化 161
6.12.6　不唯一的模型 170
6.13　深度神經(jīng)網(wǎng)絡(luò)的發(fā)展趨勢(shì) 171
6.14　本章小結(jié) 178
第7章　Gym——不要錢(qián)的試驗(yàn)場(chǎng) 180
7.1　簡(jiǎn)介 180
7.2　安裝 182
7.3　類別 183
7.4　接口 188
7.5　本章小結(jié) 191
第8章　DQN算法族 192
8.1　2013版DQN 192
8.1.1　模型結(jié)構(gòu) 192
8.1.2　訓(xùn)練過(guò)程 195
8.1.3　Replay Memory 197
8.1.4　小結(jié) 198
8.2　2015版DQN 198
8.2.1　模型結(jié)構(gòu) 198
8.2.2　訓(xùn)練過(guò)程 199
8.2.3　Target網(wǎng)絡(luò) 200
8.2.4　小結(jié) 201
8.3　Double DQN 201
8.3.1　模型結(jié)構(gòu) 202
8.3.2　訓(xùn)練過(guò)程 202
8.3.3　效果 203
8.3.4　小結(jié) 204
8.4　Dueling DQN 204
8.4.1　模型結(jié)構(gòu) 205
8.4.2　效果 207
8.4.3　小結(jié) 208
8.5　優(yōu)先回放DQN 208
8.6　本章小結(jié) 209
第9章　PG算法族 211
9.1　策略梯度 211
9.2　DPG 213
9.3　Actor-Critic 214
9.4　DDPG 214
9.5　本章小結(jié) 218
第10章　A3C 219
10.1　模型結(jié)構(gòu) 219
10.1.1　A3C Q-Learning 219
10.1.2　A3C Actor-Critic 222
10.2　本章小結(jié) 224
第11章　UNREAL 226
11.1　主任務(wù) 226
11.2　像素控制任務(wù) 227
11.3　獎(jiǎng)勵(lì)值預(yù)測(cè) 229
11.4　值函數(shù)回放 230
11.5　損失函數(shù) 231
11.6　本章小結(jié) 232

擴(kuò)展篇
第12章　NEAT 236
12.1　遺傳算法 237
12.1.1　進(jìn)化過(guò)程 237
12.1.2　算法流程 238
12.1.3　背包問(wèn)題 239
12.1.4　極大（小）值問(wèn)題 247
12.2　NEAT原理 255
12.2.1　基因組 255
12.2.2　變異和遺傳 256
12.3　NEAT示例 258
12.4　本章小結(jié) 262
第13章　SerpentAI 263
13.1　簡(jiǎn)介 263
13.2　安裝和配置 264
13.3　示例 265
13.3.1　創(chuàng)建Game Plugin 265
13.3.2　創(chuàng)建Game Agent 268
13.3.3　訓(xùn)練Context Classifier 271
13.3.4　訓(xùn)練Agent 282
13.4　本章小結(jié) 286
第14章　案例詳解 287
14.1　AlphaGo 287
14.1.1　AlphaGo的前世今生 287
14.1.2　“深藍(lán)”是誰(shuí) 288
14.1.3　圍棋到底有多復(fù)雜 290
14.1.4　論文要義 294
14.1.5　成績(jī) 302
14.1.6　開(kāi)源項(xiàng)目 303
14.2　AlphaGo Zero 304
14.2.1　改進(jìn)之處 304
14.2.2　成績(jī) 308
14.2.3　開(kāi)源項(xiàng)目 309
14.3　試驗(yàn)場(chǎng)大觀 311
14.3.1　StarCraftⅡ 311
14.3.2　VizDoom 320
14.3.3　Universe 323
14.3.4　DOTA2 324
14.4　本章小結(jié) 329
第15章　擴(kuò)展討論 331
15.1　TRPO 331
15.2　反向強(qiáng)化學(xué)習(xí) 332
15.3　模型壓縮 333
15.3.1　剪枝 335
15.3.2　量化 336
15.3.3　結(jié)構(gòu)壓縮 337
15.4　本章小結(jié) 339

后記 341
附錄A 342
A.1　安裝Ubuntu 342
A.2　安裝CUDA環(huán)境 347
A.3　安裝PyTorch 348
A.4　下載本書(shū)示例代碼 349
A.5　安裝PyCharm 350
A.5.1　方法一 350
A.5.2　方法二 351
A.6　安裝Jupyter Notebook 351
A.7　安裝相關(guān)Python依賴包 352
A.7.1　安裝Box2D 352
A.7.2　安裝MuJoCo 352
A.7.3　安裝SerpentAI 355
A.7.4　安裝Spritex 359
A.7.5　安裝StarCraftⅡ 360
A.7.6　安裝VizDoom 363
A.8　安裝OpenCV 364
A.9　Python語(yǔ)言簡(jiǎn)介 364
A.9.1　安裝Python 365
A.9.2　Hello World 365
A.9.3　行與縮進(jìn) 365
A.9.4　變量類型 366
A.9.5　循環(huán)語(yǔ)句 367
A.9.6　函數(shù) 368
A.9.7　模塊 369
A.9.8　小結(jié) 369
A.10　本書(shū)涉及的主要開(kāi)源軟件版本 369
參考文獻(xiàn) 371