2017年5月，AlphaGo擊敗世界圍棋冠軍柯潔，標志著人工智能進入一個新的階段。AlphaGo背后的核心算法深度強化學習成為繼深度學習之后廣泛受人關注的前沿熱點。與深度學習相比，深度強化學習具有更寬泛的應用背景，可應用于機器人、游戲、自然語言處理、圖像處理、視頻處理等領域。深度強化學習算法被認為是最有可能實現(xiàn)通用人工智能計算的方法。不過，由于深度強化學習算法融合了深度學習、統(tǒng)計、信息學、運籌學、概率論、優(yōu)化等多個學科的內(nèi)容，因此強化學習的入門門檻比較高，并且，到目前為止，市面上沒有一本零基礎全面介紹強化學習算法的書籍。

本書是筆者在南開大學計算機與控制工程學院做博士后期間，每周在課題組內(nèi)講解強化學習知識的講義合集。在學習強化學習基本理論的時候，我深深地感受到強化學習理論中的很多概念和公式都很難理解。經(jīng)過大量資料和文獻的查閱并終于理解一個全新的概念時，內(nèi)心涌現(xiàn)的那種喜悅和興奮，鼓動著我將這些知識分享給大家。為此，我在知乎開辟了《強化學習知識大講堂》專欄，并基本保持了每周一次更新的速度。該專欄得到大家的關注，很多知友反映受益良多，本書的雛形正是來源于此。在成書時，考慮到書的邏輯性和完整性，又添加了很多數(shù)學基礎和實例講解。希望本書能幫助更多的人入門強化學習，開啟自己的人工智能之旅。

在寫作過程中，博士后合作導師方勇純教授給了大量的建議，包括書的整體結(jié)構、每一章的講述方式，甚至每個標題的選擇。寫作后，方老師細致地審閱了全文，給出了詳細的批注，并多次當面指導書稿的修改。正是因為方老師的耐心指導與辛勤付出，本書才得以順利完成。

同時，非常感謝組內(nèi)的研究生丁杰、朱威和趙銘慧三位同學，通過與他們的交流，我學會了如何更明晰地講解一個概念。本書的很多講解方式都是在與他們的交流中產(chǎn)生的。

本書在寫作過程中參考了很多文獻資料，這些文獻資料是無數(shù)科研工作者們?nèi)杖找挂箠^斗的成果。本書對這些成果進行加工并形成了一套自成體系的原理入門教程�？梢哉f沒有這些科研工作者們的豐碩成果就沒有今天蓬勃發(fā)展的人工智能，也就沒有這本書，在此對這些科學工作者們表示由衷的敬意。

本書前六章的內(nèi)容及組織思路很大部分參考了David Silver的網(wǎng)絡課程，同時參考了強化學習鼻祖 Richard S. Sutton等人所著的Reinforcement Learning: An Introduction，在此向Silver和Sutton致敬。

本書第8章介紹了置信域強化學習算法，主要參考了John Shulman的博士論文，在此向John Shulman博士及其導師Pieter Abbeel致敬。第10章主要介紹了Sergey Levine博士的工作，在此對其表示感謝。在強化學習前沿部分，本書介紹了最近一年該領域很優(yōu)秀的研究工作，如Donoghue的組合策略梯度和Qlearning方法，Tamar的值迭代網(wǎng)絡，Deisenroth的PILCO方法和McAllister的PILCO擴展方法，在此對這些作者表示感謝。當然，本書還介紹了很多其他科研工作者的工作，在此對他們一并致謝。

本書闡述的主要是前人提出的強化學習算法的基本理論，并沒有介紹筆者個人的工作，但在此仍然要感謝目前我負責的兩項基金的支持：國家自然科學基金青年基金（61603200）和中國博士后基金面上項目（2016M601256）。這兩個項目都和強化學習有關，本書也可看成是這兩個項目的前期調(diào)研和積累。關于更多筆者個人的工作，留待以后再與大家分享。

由于個人水平有限，書稿中難免有錯誤，歡迎各位同行和讀者批評指正。

感謝我的家人，感謝我的愛人王凱女士，感謝她長時間對我的理解和支持，沒有她的幫助，我一無所有，一事無成。這本書獻給她。

郭憲

2017年11月