2017年5月，AlphaGo擊敗世界圍棋冠軍柯潔，標(biāo)志著人工智能進(jìn)入一個(gè)新的階段。AlphaGo背后的核心算法深度強(qiáng)化學(xué)習(xí)成為繼深度學(xué)習(xí)之后廣泛受人關(guān)注的前沿?zé)狳c(diǎn)。與深度學(xué)習(xí)相比，深度強(qiáng)化學(xué)習(xí)具有更寬泛的應(yīng)用背景，可應(yīng)用于機(jī)器人、游戲、自然語(yǔ)言處理、圖像處理、視頻處理等領(lǐng)域。深度強(qiáng)化學(xué)習(xí)算法被認(rèn)為是最有可能實(shí)現(xiàn)通用人工智能計(jì)算的方法。不過(guò)，由于深度強(qiáng)化學(xué)習(xí)算法融合了深度學(xué)習(xí)、統(tǒng)計(jì)、信息學(xué)、運(yùn)籌學(xué)、概率論、優(yōu)化等多個(gè)學(xué)科的內(nèi)容，因此強(qiáng)化學(xué)習(xí)的入門(mén)門(mén)檻比較高，并且，到目前為止，市面上沒(méi)有一本零基礎(chǔ)全面介紹強(qiáng)化學(xué)習(xí)算法的書(shū)籍。

本書(shū)是筆者在南開(kāi)大學(xué)計(jì)算機(jī)與控制工程學(xué)院做博士后期間，每周在課題組內(nèi)講解強(qiáng)化學(xué)習(xí)知識(shí)的講義合集。在學(xué)習(xí)強(qiáng)化學(xué)習(xí)基本理論的時(shí)候，我深深地感受到強(qiáng)化學(xué)習(xí)理論中的很多概念和公式都很難理解。經(jīng)過(guò)大量資料和文獻(xiàn)的查閱并終于理解一個(gè)全新的概念時(shí)，內(nèi)心涌現(xiàn)的那種喜悅和興奮，鼓動(dòng)著我將這些知識(shí)分享給大家。為此，我在知乎開(kāi)辟了《強(qiáng)化學(xué)習(xí)知識(shí)大講堂》專(zhuān)欄，并基本保持了每周一次更新的速度。該專(zhuān)欄得到大家的關(guān)注，很多知友反映受益良多，本書(shū)的雛形正是來(lái)源于此。在成書(shū)時(shí)，考慮到書(shū)的邏輯性和完整性，又添加了很多數(shù)學(xué)基礎(chǔ)和實(shí)例講解。希望本書(shū)能幫助更多的人入門(mén)強(qiáng)化學(xué)習(xí)，開(kāi)啟自己的人工智能之旅。

在寫(xiě)作過(guò)程中，博士后合作導(dǎo)師方勇純教授給了大量的建議，包括書(shū)的整體結(jié)構(gòu)、每一章的講述方式，甚至每個(gè)標(biāo)題的選擇。寫(xiě)作后，方老師細(xì)致地審閱了全文，給出了詳細(xì)的批注，并多次當(dāng)面指導(dǎo)書(shū)稿的修改。正是因?yàn)榉嚼蠋煹哪托闹笇?dǎo)與辛勤付出，本書(shū)才得以順利完成。

同時(shí)，非常感謝組內(nèi)的研究生丁杰、朱威和趙銘慧三位同學(xué)，通過(guò)與他們的交流，我學(xué)會(huì)了如何更明晰地講解一個(gè)概念。本書(shū)的很多講解方式都是在與他們的交流中產(chǎn)生的。

本書(shū)在寫(xiě)作過(guò)程中參考了很多文獻(xiàn)資料，這些文獻(xiàn)資料是無(wú)數(shù)科研工作者們?nèi)杖找挂箠^斗的成果。本書(shū)對(duì)這些成果進(jìn)行加工并形成了一套自成體系的原理入門(mén)教程。可以說(shuō)沒(méi)有這些科研工作者們的豐碩成果就沒(méi)有今天蓬勃發(fā)展的人工智能，也就沒(méi)有這本書(shū)，在此對(duì)這些科學(xué)工作者們表示由衷的敬意。

本書(shū)前六章的內(nèi)容及組織思路很大部分參考了David Silver的網(wǎng)絡(luò)課程，同時(shí)參考了強(qiáng)化學(xué)習(xí)鼻祖 Richard S. Sutton等人所著的Reinforcement Learning: An Introduction，在此向Silver和Sutton致敬。

本書(shū)第8章介紹了置信域強(qiáng)化學(xué)習(xí)算法，主要參考了John Shulman的博士論文，在此向John Shulman博士及其導(dǎo)師Pieter Abbeel致敬。第10章主要介紹了Sergey Levine博士的工作，在此對(duì)其表示感謝。在強(qiáng)化學(xué)習(xí)前沿部分，本書(shū)介紹了最近一年該領(lǐng)域很優(yōu)秀的研究工作，如Donoghue的組合策略梯度和Qlearning方法，Tamar的值迭代網(wǎng)絡(luò)，Deisenroth的PILCO方法和McAllister的PILCO擴(kuò)展方法，在此對(duì)這些作者表示感謝。當(dāng)然，本書(shū)還介紹了很多其他科研工作者的工作，在此對(duì)他們一并致謝。

本書(shū)闡述的主要是前人提出的強(qiáng)化學(xué)習(xí)算法的基本理論，并沒(méi)有介紹筆者個(gè)人的工作，但在此仍然要感謝目前我負(fù)責(zé)的兩項(xiàng)基金的支持：國(guó)家自然科學(xué)基金青年基金（61603200）和中國(guó)博士后基金面上項(xiàng)目（2016M601256）。這兩個(gè)項(xiàng)目都和強(qiáng)化學(xué)習(xí)有關(guān)，本書(shū)也可看成是這兩個(gè)項(xiàng)目的前期調(diào)研和積累。關(guān)于更多筆者個(gè)人的工作，留待以后再與大家分享。

由于個(gè)人水平有限，書(shū)稿中難免有錯(cuò)誤，歡迎各位同行和讀者批評(píng)指正。

感謝我的家人，感謝我的愛(ài)人王凱女士，感謝她長(zhǎng)時(shí)間對(duì)我的理解和支持，沒(méi)有她的幫助，我一無(wú)所有，一事無(wú)成。這本書(shū)獻(xiàn)給她。

郭憲

2017年11月