本書第1版出版的20年以來，在機(jī)器學(xué)習(xí)(包括強(qiáng)化學(xué)習(xí)) 前沿技術(shù)發(fā)展的推動下，人工智能取得了重大進(jìn)展。這些進(jìn)展不僅歸功于這些年迅猛發(fā)展起來的計算機(jī)強(qiáng)大的計算能力，也受益于許多理論和算法上的創(chuàng)新。面對這些進(jìn)展，我們早有對1998年第1版書進(jìn)行更新再版的打算，但直到2012年才開始真正著手編纂。第2版的目標(biāo)與第1版一致：為強(qiáng)化學(xué)習(xí)的核心概念與算法提供清晰簡明的解釋，以供所有相關(guān)學(xué)科的讀者學(xué)習(xí)。這一版仍然是一本概要介紹性的讀物，仍然關(guān)注最核心的在線學(xué)習(xí)算法，同時增加了一些近年來日趨重要的話題，并拓展了部分內(nèi)容，給出了更新的理解。強(qiáng)化學(xué)習(xí)領(lǐng)域可以延伸出很多不同的方向，但我們并不想包羅萬象，在此為可能出現(xiàn)的些許遺漏表示歉意。

第2版記號變化

和第1版一樣，我們沒有以最嚴(yán)謹(jǐn)?shù)男问交�的方式來定義強(qiáng)化學(xué)習(xí)，也沒有采用特別抽象的術(shù)語表達(dá)，但是為了大家能更深入地理解，有些話題仍然需要用數(shù)學(xué)來解釋。無數(shù)學(xué)需求的讀者可以選擇跳過灰色框中的數(shù)學(xué)原理部分。在教學(xué)過程中，我們發(fā)現(xiàn)一些新的記號可以消除一些共同的疑惑點(diǎn)，因此本書的部分記號和上一版相比略有差異。首先我們對隨機(jī)變量進(jìn)行了區(qū)分，以大寫字母表示變量本身，小寫字母表示對應(yīng)的實(shí)例。比如時刻t的狀態(tài)、動作和收益被表示為St、At和Rt，而它們可能的取值被表示為s、a和r。與之相伴隨，我們用小寫字母的形式(例如v)來表示價值函數(shù)，用大寫字母表示其表格型的估計值，比如Qt(s,a)。近似價值函數(shù)是具有隨機(jī)參數(shù)的確定性函數(shù)，因此用小寫字母表示，比如v(s,wt)v(s)。向量用粗體的小寫字母表示(包括隨機(jī)變量)，比如權(quán)值向量wt(先前用t表示)、特征向量xt(先前用?t表示)。大寫粗體用以表示矩陣。在第1版中我們使用了特殊記號Paass來表示轉(zhuǎn)移概率和期望收益。但這種記號并不能完整地表示出收益的動態(tài)性，只表示了期望值，因此只適用于動態(tài)規(guī)劃而不適用于強(qiáng)化學(xué)習(xí)。另一個缺點(diǎn)是上下標(biāo)的過度使用。因此，在這一版中我們明確采用p(s,r|s,a)的記 號來表示給定當(dāng)前狀態(tài)s和動作a后，下一時刻的狀態(tài)s和收r的聯(lián)合概率分布。所有的記號變化都收錄在稍后的符號列表中。

第2版內(nèi)容結(jié)構(gòu)

第2版在原先的基礎(chǔ)上進(jìn)行了許多拓展，整體結(jié)構(gòu)也有所變化。第1章是導(dǎo)論性的介紹，其后分為三個部分。第I部分(第28 章)會盡可能多地用表格型的案例講解強(qiáng)化學(xué)習(xí)，主要包括針對表格型案例的學(xué)習(xí)和規(guī)劃算法，以及它們在n步法和Dyna中的統(tǒng)一表達(dá)。這部分介紹的許多算法是第2版的新增內(nèi)容，包括UCB、期望Sarsa、雙重學(xué)習(xí)、樹回溯、Q()、RTDP和MCTS。從介紹表格型案例開始，可以在最簡單的情況下理解算法的核心思想。本書的第II部分(第913章)致力于將這些思想從表格型的情況擴(kuò)展到函數(shù)逼近，包含人工神經(jīng)網(wǎng)絡(luò)、傅立葉變換基礎(chǔ)、LSTD、核方法、梯度TD和強(qiáng)調(diào)TD方法、平均收益方法、真實(shí)的在線TD(λ)和策略梯度方法等新內(nèi)容。第2版大幅拓展了對離軌策略的介紹，首先是第57章講解表格型的案例，之后在第11章和第12章講解函數(shù)逼近法。另一個變化是，這一版將n步自舉法(在第7章中詳細(xì)闡述)中的前向視圖思想與資格跡(在第12章中單獨(dú)闡述)中的后向視圖思想分開詳細(xì)講解。本書的第III部分加入了大量闡述強(qiáng)化學(xué)習(xí)與心理學(xué)(第14章)、神經(jīng)科學(xué)(第15章)聯(lián)系的新章節(jié)，更新了針對多種案例，包括Atari游戲、Watson的投注策略和圍棋人工智能AlphaGo、AlphaGo Zero (第16章)的研究章節(jié)。盡管如此，本書涵蓋的內(nèi)容仍然只是該領(lǐng)域的一小部分，只反映了我們長期以來對低成本無模型方法的興趣，這些方法可以很好地適應(yīng)大規(guī)模的應(yīng)用。最后一章包括了對強(qiáng)化學(xué)習(xí)未來的社會影響的討論。無論好壞，第2版的篇幅達(dá)到了第1版的兩倍。

本書旨在作為一到兩學(xué)期強(qiáng)化學(xué)習(xí)課程的初級教材。一個學(xué)期的課程可以著重對前10章進(jìn)行討論，掌握核心思想，根據(jù)需要再將其他章節(jié)，或者其他書籍的某些章節(jié)，比如Bertsekas和Tsitsiklis(1996)、Wiering和van Otterlo(2012)，以及Szepesvári(2010)或其他文獻(xiàn)作為輔助材料。根據(jù)學(xué)生的背景，在線有監(jiān)督學(xué)習(xí)的一些額外材料可能會對學(xué)習(xí)這門課有所幫助。比如選項的概念和模型(Sutton、Precup和Singh，1999)就是一個很好的補(bǔ)充。兩學(xué)期的課程可以使用所有章節(jié)內(nèi)容及補(bǔ)充材料。本書還可以作為機(jī)器 學(xué)習(xí)、人工智能或神經(jīng)網(wǎng)絡(luò)等課程的一部分。這種情況只需要講述部分內(nèi)容，我們推薦對第1章進(jìn)行簡要概述，然后學(xué)習(xí)第2章到2.4節(jié)和第3章，隨后根據(jù)時間和興趣選擇其余章節(jié)。第6章的內(nèi)容對于本書和相關(guān)課程來說是最重要的。關(guān)于機(jī)器學(xué)習(xí)或神經(jīng)網(wǎng)絡(luò)的課程應(yīng)該使用第9章和第10章的內(nèi)容，而關(guān)于人工智能或規(guī)劃算法的課程應(yīng)該使用第8章的內(nèi)容。在整本書中，相對比較難且對于其他課程不那么重要的章節(jié)和部分已用∗注明。這些部分在第一次閱讀時可以跳過，這不會影響后續(xù)閱讀。練習(xí)中一些進(jìn)階的、對理解基礎(chǔ)概念不那么重要的問題也已經(jīng)用∗標(biāo)識。

大多數(shù)章節(jié)最后會出現(xiàn)題為參考文獻(xiàn)和歷史備注的部分，在這部分中，我們針對本章中一些值得深入探究的概念和觀點(diǎn)提供了進(jìn)一步閱讀和研究的材料，并描述了相關(guān)的歷史背景。盡管我們試圖使這些部分內(nèi)容具有權(quán)威性和完整性，但也不免會忽略一些重要的前期工作。為此，我們再次表示歉意，也歡迎讀者提出更正和擴(kuò)展。

本書寫作背景

和第1版一樣，我們用本書的這一版紀(jì)念A(yù).Harry Klopf。是Harry把本書的作者們介紹給彼此，也是他關(guān)于大腦和人工智能的想法，使我們踏上對強(qiáng)化學(xué)習(xí)研究的漫長征程。Harry是俄亥俄州賴特-帕特森空軍基地空軍科學(xué)研究所(AFOSR)航空電子管理局的一位高級研究員，他受過神經(jīng)生理學(xué)的訓(xùn)練，并一直對機(jī)器智能很感興趣。在解釋自然智能、機(jī)器智能基礎(chǔ)機(jī)理的問題上，他并不滿意當(dāng)時的人們對平衡態(tài)搜索(equilibrium-seeking)過程(包括內(nèi)部穩(wěn)態(tài)自調(diào)整過程和基于錯誤糾正的模式分類方法)的廣泛重視。他指出，嘗試最大化某種準(zhǔn)則(無論該準(zhǔn)則是什么)的系統(tǒng)與搜索平衡態(tài)的系統(tǒng)在本質(zhì)上有所不同，而具有最大化準(zhǔn)則的系統(tǒng)才是理解自然智能的重要方向，是構(gòu)建人工智能的關(guān)鍵。Harry從AFOSR申請了項目資助，用于評估這些思想以及相關(guān)思想的科學(xué)價值。該項目于20世紀(jì)70年代末在馬薩諸塞州阿默斯特大學(xué)(麻省大學(xué)阿默斯特分校)進(jìn)行，最初由Michael Arbib、William Kilmer和Nico Spinelli指導(dǎo)，他們是麻省大學(xué)阿默斯特分校計算機(jī)與信息科學(xué)系的教授，系統(tǒng)神經(jīng)科學(xué)控制論中心的創(chuàng)始成員。這是一支十分有遠(yuǎn)見的團(tuán)隊，專注于神經(jīng)科學(xué)和人工智能交叉方向。

Barto，一位來自密歇根大學(xué)的博士，擔(dān)任該項目的博士后研究員。與此同時，在斯坦福大學(xué)攻讀計算機(jī)科學(xué)和心理學(xué)的本科生Sutton，就經(jīng)典條件反射中的刺激時機(jī)的作用這一話題和Harry產(chǎn)生了共同興趣。Harry向麻省大學(xué)提出建議，認(rèn)為Sutton可以成為該項目的一名重要補(bǔ)充人員。因此，Sutton成為了麻省大學(xué)的研究生，在成為副教授的Barto的指導(dǎo)下攻讀博士學(xué)位。

本書中對強(qiáng)化學(xué)習(xí)的研究都出自Harry推動的這一項目，且受其想法啟發(fā)而來。此外，也是通過Harry，作者們才得以聚到一起進(jìn)行長期愉快的合作。因此，我們將本書獻(xiàn)給Harry，以紀(jì)念他對于強(qiáng)化學(xué)習(xí)領(lǐng)域和我們合作的重要貢獻(xiàn)。我們也感謝Arbib、Kilmer和Spinelli教授為我們提供探索這些想法的機(jī)會。最后，感謝AFOSR在研究早期給予我們的慷慨支持，并感謝NSF(美國國家科學(xué)基金會)在接下來的幾年中給予的慷慨支持。

致謝

我們還要感謝在第2版中為我們提供靈感和幫助的許多人，同樣我們也要對第1版中致謝過的所有人再次表示深深的感謝，如果不是他們對第1版的貢獻(xiàn)，這一版也不會面世。在這個長長的致謝列表中，我們增加了許多特別為第2版作出貢獻(xiàn)的人。多年來在使用該教材的教授的課堂上，我們的學(xué)生以各種各樣的方式作出貢獻(xiàn)：指正錯誤，提供修改方案，也包括對我們沒解釋清楚的地方表達(dá)困惑。我們還要特別感謝Martha Steenstrup閱讀并提供詳細(xì)的意見。如果沒有這些心理學(xué)和神經(jīng)科學(xué)領(lǐng)域?qū)＜业膸椭�，相關(guān)章節(jié)將無法完成。感謝John Moore多年來在動物學(xué)習(xí)實(shí)驗(yàn)、理論和神經(jīng)科學(xué)方面的耐心指導(dǎo)，John仔細(xì)審閱了第14章和第15章的多版草稿。感謝Matt Botvinick、Nathaniel Daw、Peter Dayan和Yael Niv對這些章節(jié)的建議，對我們閱讀大量文獻(xiàn)給予的重要指導(dǎo)，以及對早期草稿中錯誤的斧正。當(dāng)然，這些章節(jié)一定還存在某些紕漏。我們感謝Phil Thomas幫助我們尋找非心理學(xué)、非神經(jīng)科學(xué)研究的人士來閱讀這些章節(jié)，感謝Peter Sterling幫助我們改進(jìn)注釋部分。感謝Jim Houk為我們介紹基底核神經(jīng)中樞進(jìn)行信息處理的過程，并提醒我們注意其他一些相關(guān)的神經(jīng)科學(xué)的內(nèi)容。在案例學(xué)習(xí)的章節(jié)，José Martínez、Terry Sejnowski、David Silver、Gerry Tesauro、Georgios Theocharous和Phil Thomas幫助我們了解他們的強(qiáng)化學(xué)習(xí)應(yīng)用程序的細(xì)節(jié)，并對這些章節(jié)的草稿提出了十分有用的意見。特別感謝David Silver幫助我們更好地理解蒙特卡洛樹搜索和DeepMind的圍棋程序(Go-playing program)。感謝George Konidaris在傅立葉基的相關(guān)章節(jié)提供的幫助，感謝Emilio Cartoni、Thomas Cederborg、Stefan Dernbach、Clemens Rosenbaum、Patrick Taylor、Thomas Colin和Pierre-Luc Bacon在多方面對我們提供的幫助。

Sutton還要感謝阿爾伯塔大學(xué)強(qiáng)化學(xué)習(xí)和人工智能實(shí)驗(yàn)室的成員對第2版的貢獻(xiàn)，特別是Rupam Mahmood對于第5章中關(guān)于離軌策略蒙特卡洛方法的重要貢獻(xiàn)，Hamid Maei在第11章中提出的關(guān)于離軌策略學(xué)習(xí)的觀點(diǎn)，Eric Graves在第13章中進(jìn)行的實(shí)驗(yàn)，Shangtong Zhang復(fù)現(xiàn)并驗(yàn)證了幾乎所有的實(shí)驗(yàn)結(jié)果，Kris De Asis在第7章和第12章中提供的新技術(shù)內(nèi)容，以及Harm van Seijen提出的n步方法與資格跡分離的觀點(diǎn)，(和Hado van Hasselt一起)和第12章中涉及的資格跡前向、后向等價性的觀點(diǎn)。Sutton 也非常感謝阿爾伯塔省政府和加拿大國家科學(xué)與工程研究委員會在整個第2版的構(gòu)思和編寫期間給予的支持和自由。特別感謝Randy Goebel在阿爾伯塔省創(chuàng)建的包容支持、具有遠(yuǎn)見的基礎(chǔ)研究環(huán)境。同時，也還要感謝在撰寫本書的最后6個月中DeepMind給予的支持。

最后，我們要感謝許多閱讀網(wǎng)絡(luò)發(fā)布的第2版的細(xì)心讀者們，他們發(fā)現(xiàn)了許多我們忽視的錯誤，提醒我們注意可能出現(xiàn)的混淆點(diǎn)。