前言
強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）是人工智能的一個(gè)流行且有前景的分支，它涉及建立更智能的模型和智能體，可以根據(jù)不斷變化的需求自動(dòng)確定理想的行為。本書(shū)將幫助讀者掌握強(qiáng)化學(xué)習(xí)算法，并通過(guò)構(gòu)建自學(xué)習(xí)智能體，理解算法的實(shí)現(xiàn)。
本書(shū)首先介紹在強(qiáng)化學(xué)習(xí)環(huán)境中工作所需的工具、庫(kù)和設(shè)置，涵蓋強(qiáng)化學(xué)習(xí)的構(gòu)成模塊，深入探討基于值的方法，如Q-learning和SARSA算法的應(yīng)用。讀者將學(xué)習(xí)如何結(jié)合使用Q-learning和神經(jīng)網(wǎng)絡(luò)來(lái)解決復(fù)雜問(wèn)題。此外，在學(xué)習(xí)*d*dPG和TD3確定性算法之前，讀者將學(xué)習(xí)策略梯度方法，如TRPO和PPO，以提高性能和穩(wěn)定性。本書(shū)還介紹模仿學(xué)習(xí)的原理，以及Dagger如何教智能體飛行。讀者將探索進(jìn)化策略和黑盒優(yōu)化技術(shù)。最后，讀者將掌握探索方法，如UCB和UCB1，并開(kāi)發(fā)一個(gè)名為ESBAS的元算法。
在本書(shū)結(jié)束時(shí)，讀者將使用關(guān)鍵的強(qiáng)化學(xué)習(xí)算法，克服現(xiàn)實(shí)應(yīng)用中的挑戰(zhàn)，并成為強(qiáng)化學(xué)習(xí)研究社區(qū)的一員。
本書(shū)的目標(biāo)讀者
如果你是人工智能研究者、深度學(xué)習(xí)用戶，或者希望從頭開(kāi)始學(xué)習(xí)強(qiáng)化學(xué)習(xí)的人，那么這本書(shū)就很適合你。如果你想了解該領(lǐng)域的進(jìn)展，也會(huì)發(fā)現(xiàn)這本書(shū)很有幫助。當(dāng)然，Python的基礎(chǔ)知識(shí)是必需的。
本書(shū)涵蓋的內(nèi)容
第1章，強(qiáng)化學(xué)習(xí)概貌。本章引導(dǎo)讀者進(jìn)入強(qiáng)化學(xué)習(xí)領(lǐng)域。它描述了強(qiáng)化學(xué)習(xí)擅長(zhǎng)解決的問(wèn)題以及強(qiáng)化學(xué)習(xí)算法已經(jīng)得到應(yīng)用的領(lǐng)域，也介紹了后續(xù)各章完成各項(xiàng)任務(wù)所需的工具、庫(kù)和設(shè)置。
第2章，強(qiáng)化學(xué)習(xí)過(guò)程與OpenAI Gym。本章介紹強(qiáng)化學(xué)習(xí)算法的主流程、用于開(kāi)發(fā)算法的工具箱以及不同類型的環(huán)境。讀者可以開(kāi)發(fā)使用OpenAI Gym接口的隨機(jī)智能體來(lái)玩利用隨機(jī)動(dòng)作的倒立擺（CartPole）游戲，也將了解如何使用OpenAI Gym接口運(yùn)行其他環(huán)境。
第3章，基于動(dòng)態(tài)規(guī)劃的問(wèn)題求解。本章介紹強(qiáng)化學(xué)習(xí)的核心思想、術(shù)語(yǔ)和方法。讀者將了解強(qiáng)化學(xué)習(xí)的主功能塊，掌握開(kāi)發(fā)強(qiáng)化學(xué)習(xí)算法解決問(wèn)題的一般思路；也將了解基于模型的算法與無(wú)模型算法的區(qū)別，以及強(qiáng)化學(xué)習(xí)算法的分類。動(dòng)態(tài)規(guī)劃將用于解決FrozenLake游戲問(wèn)題。
第4章，Q-learning與SARSA的應(yīng)用。本章探討基于值的方法，特別是Q-learning和SARSA這兩種不同于動(dòng)態(tài)規(guī)劃而且適合處理大型問(wèn)題的算法。為了切實(shí)掌握這些算法，讀者可以將它們用于FrozenLake游戲，并研究與動(dòng)態(tài)規(guī)劃方法的差異。
第5章，深度Q神經(jīng)網(wǎng)絡(luò)。本章介紹如何將神經(jīng)網(wǎng)絡(luò)，特別是卷積神經(jīng)網(wǎng)絡(luò)用于Q-learning。讀者將了解為什么Q-learning與神經(jīng)網(wǎng)絡(luò)的結(jié)合產(chǎn)生了難以置信的結(jié)果，以及這種結(jié)合如何打開(kāi)了通向更多問(wèn)題的大門；另外，讀者也將利用OpenAI Gym接口將DQN用于解決雅達(dá)利游戲問(wèn)題。
第6章，隨機(jī)策略梯度優(yōu)化。本章介紹一種新的無(wú)模型算法策略梯度方法。讀者將了解策略梯度方法與基于值的方法的區(qū)別以及兩者各自的優(yōu)缺點(diǎn)，也將實(shí)現(xiàn)REINFORCE和行動(dòng)者-評(píng)判者（AC）算法來(lái)解決新的LunarLander游戲問(wèn)題。
第7章，信賴域策略優(yōu)化和近端策略優(yōu)化。本章提出了使用新機(jī)制控制策略改進(jìn)的策略梯度方法。這些機(jī)制用于改進(jìn)策略梯度算法的穩(wěn)定性和收斂性。特別是，讀者將了解和實(shí)現(xiàn)兩種采用這些技術(shù)的主要策略梯度方法TRPO和PPO，并將這些方法應(yīng)用于具有連續(xù)動(dòng)作空間的環(huán)境Roboschool。
第8章，確定性策略梯度方法。本章介紹一類新的、結(jié)合策略梯度和Q-learning的算法確定性策略算法。讀者將了解其基本概念并在一個(gè)新環(huán)境中應(yīng)用兩個(gè)深度確定性算法DDPG和TD3。
第9章，基于模型的強(qiáng)化學(xué)習(xí)。本章介紹學(xué)習(xí)環(huán)境模型去規(guī)劃未來(lái)動(dòng)作或?qū)W習(xí)策略的強(qiáng)化學(xué)習(xí)算法。讀者將了解這些算法的工作原理、優(yōu)點(diǎn)以及廣泛應(yīng)用的原因。為了掌握這些算法，讀者將在Roboschool環(huán)境應(yīng)用這些基于模型的算法。
第10章，模仿學(xué)習(xí)與DAgger算法。本章解釋模仿學(xué)習(xí)的工作原理以及如何適用于一個(gè)問(wèn)題。讀者將了解最有名的模仿學(xué)習(xí)算法DAgger。為了掌握這一算法，讀者將在FlappyBird環(huán)境中應(yīng)用該算法以提高智能體學(xué)習(xí)過(guò)程的速度。
第11章，黑盒優(yōu)化算法。本章討論進(jìn)化算法一類不依賴反向傳播的黑盒優(yōu)化算法。這些算法之所以引人注目，是因?yàn)樗鼈兊挠?xùn)練速度快且易于在成百上千個(gè)CPU核上并行化。本章通過(guò)聚焦進(jìn)化策略算法（一種進(jìn)化算法），提供了進(jìn)化算法的理論和實(shí)踐知識(shí)。
第12章，開(kāi)發(fā)ESBAS算法。本章介紹強(qiáng)化學(xué)習(xí)特有的探索 ? 利用困境問(wèn)題。本章利用多臂老虎機(jī)問(wèn)題解釋了探索 ? 利用困境，并利用UCB和UCB1等方法解決了這個(gè)困境；接著介紹了算法選擇問(wèn)題，并開(kāi)發(fā)了一種名為ESBAS的元算法。該算法利用UCB1，為每種情況選擇最適合的強(qiáng)化學(xué)習(xí)算法。
第13章，應(yīng)對(duì)強(qiáng)化學(xué)習(xí)挑戰(zhàn)的實(shí)踐。本章歸納了強(qiáng)化學(xué)習(xí)領(lǐng)域的重大挑戰(zhàn)問(wèn)題，介紹了克服這些問(wèn)題的一些實(shí)踐與方法；還介紹了將強(qiáng)化學(xué)習(xí)應(yīng)用到現(xiàn)實(shí)問(wèn)題所面臨的一些挑戰(zhàn)、深度強(qiáng)化學(xué)習(xí)的未來(lái)發(fā)展以及將會(huì)產(chǎn)生的社會(huì)影響。
閱讀本書(shū)的必要準(zhǔn)備
必須具備Python知識(shí)。了解一些強(qiáng)化學(xué)習(xí)知識(shí)和強(qiáng)化學(xué)習(xí)有關(guān)的各種工具也將是有益的。
下載示例代碼文件
你可以在www.packt.com登錄自己的賬戶下載本書(shū)的示例代碼文件。如果你是從別處購(gòu)得本書(shū)，可以訪問(wèn)www.packtpub.com/support頁(yè)面并注冊(cè)賬號(hào)，文件將直接通過(guò)電子郵件發(fā)送給你。
你可以按照以下步驟下載代碼文件：
（1） 登錄或注冊(cè)網(wǎng)站www.packt.com。
（2） 選擇Support標(biāo)簽。
（3） 點(diǎn)擊Code Downloads按鈕。
（4） 在Search框中輸入書(shū)名，然后按照屏顯指令操作。
一旦文件下載完畢，請(qǐng)用以下最新版本工具進(jìn)行文件解壓或文件夾提取。
● WinRAR/7-Zip for Windows。
● Zipeg/iZip/UnRarX for Mac。
● 7-Zip/PeaZip for Linux。
本書(shū)所帶代碼包也存放在GitHub庫(kù)中，網(wǎng)址是https://github.com/PacktPublishing/ Reinforcement-Learning-Algorithms-with-Python。如果代碼有更新，那么GitHub庫(kù)中的代碼也會(huì)同步更新。
此外，配套其他大量著作和視頻的代碼包，可從https：//github.com/PacktPublishing/獲得。敬請(qǐng)查閱！
下載彩色插圖
本書(shū)使用的彩色圖表和截屏圖片已經(jīng)匯集成一個(gè)PDF格式文件，可提供給讀者。讀者可從http：//www.packtpub.com/sites/default/files/downloads/9781789131116_ColorImages.pdf下載。
文本格式約定
本書(shū)采用以下若干文本格式約定。
CodeInText：表示代碼文本、數(shù)據(jù)庫(kù)表名、文件夾名、文件名、文件擴(kuò)展名、路徑名、虛擬URL、用戶輸入以及推特用戶名（Twitter handle）。例如，本書(shū)使用Python 3.7，不過(guò)3.5以上版本都可用。另外設(shè)定讀者已經(jīng)安裝了numpy和matplotlib。
一段代碼設(shè)置如下：

import gym

# create the environment
env = gym.make("CartPole-v1")
# reset the environment before starting
env.reset()

# loop 10 times
for i in range(10):
# take a random action
env.step(env.action_space.sample())
# render the game
env.render()

# close the environment
env.close()

命令行的輸入輸出標(biāo)記為粗體格式：

$ git clone https://github.com/pybox2d/pybox2d
$ cd pybox2d
$ pip install-e.

Bold：（粗體）表示新概念、關(guān)鍵詞或者出現(xiàn)在屏幕上菜單/對(duì)話框里的詞。例如，在強(qiáng)化學(xué)習(xí)（reinforcement learning，RL）里，算法被稱為智能體，從環(huán)境提供的數(shù)據(jù)中學(xué)習(xí)。
表示警告或重要說(shuō)明。
表示提示或技巧。
聯(lián)系方式
歡迎讀者積極反饋。
一般反饋：如果讀者對(duì)本書(shū)的任何方面有問(wèn)題，可以在郵件主題中注明書(shū)名，反饋至郵箱customercare@packtpub.com。
勘誤：雖然我們已盡力確保著作內(nèi)容的準(zhǔn)確性，但錯(cuò)誤仍難以避免。如果讀者發(fā)現(xiàn)書(shū)中錯(cuò)誤，煩請(qǐng)告知。請(qǐng)?jiān)L問(wèn)www.packtpub.com/support/errata，選定圖書(shū)，點(diǎn)擊勘誤提交表格鏈接，填入具體信息。
盜版：如果讀者在互聯(lián)網(wǎng)上發(fā)現(xiàn)我們的圖書(shū)被以任何形式非法復(fù)制，煩請(qǐng)告知網(wǎng)址或網(wǎng)站名。請(qǐng)通過(guò)copyright@packt.com聯(lián)系我們，并提供盜版材料的鏈接。
如果愿意成為作者：如果讀者有熟悉的主題而且愿意寫書(shū)或參與出書(shū)，請(qǐng)?jiān)L問(wèn)authors. packtpub.com。
撰寫書(shū)評(píng)
請(qǐng)讀者留言評(píng)論。如果你讀過(guò)或使用過(guò)本書(shū)，何不在你購(gòu)書(shū)處留下寶貴的意見(jiàn)？潛在的讀者將會(huì)看到并根據(jù)你公正客觀的評(píng)論意見(jiàn)，決定是否購(gòu)書(shū)。我們也能了解你對(duì)我們產(chǎn)品的想法，而我們的作者能夠獲悉你對(duì)他們著作的反饋。不勝感激！
更多有關(guān)Packt的信息，請(qǐng)?jiān)L問(wèn)packt.com。