前言
What I cannot create, I do not understand.
——Richard Feynman
創(chuàng)造能力是人類的先天優(yōu)勢之一。從最早的穴居人開始，我們一直尋找機會創(chuàng)造美麗的作品。早期的人類在洞穴的墻壁上描繪野生動物和抽象的圖案，他們小心而有條理地將顏料涂到巖石上。浪漫主義時代的人類創(chuàng)造了柴可夫斯基交響曲，聲波與美麗的旋律以及和聲交織在一起，澎湃而又悲傷的情緒襲上每個人的心頭。如今這個時代，有時我們會在深夜匆匆趕往書店，購買一本虛構(gòu)的故事書，因為許許多多的文字凝聚的故事讓我們欲罷不能地翻動著書頁，只為了看看主人公接下來的命運。
因此，人類開始思考有關(guān)創(chuàng)造力的終極問題：能否創(chuàng)造出本身具有創(chuàng)造力的東西？
這便是生成建模旨在解決的問題。隨著方法與技術(shù)的日益發(fā)展，如今我們能夠讓機器按照一定的風(fēng)格繪制藝術(shù)畫作，撰寫內(nèi)容連貫的長篇巨作，創(chuàng)作悅耳的樂曲，并通過生成想象的場景制訂出高端游戲制勝策略。這僅僅是生成式革命的開端，我們別無選擇，唯有尋找有關(guān)創(chuàng)造力難題的答案，并最終挑戰(zhàn)人類。
長話短說，現(xiàn)在就是學(xué)習(xí)生成建模的最佳時機，那么下面就讓我們開始吧！
本書的組織結(jié)構(gòu)
本書涵蓋了近年來在生成建模領(lǐng)域占主導(dǎo)地位的關(guān)鍵技術(shù)，我們通過這些技術(shù)在創(chuàng)作任務(wù)方面取得了令人矚目的進(jìn)步。除了介紹生成建模的核心理論之外，我們還會完整地示范如何構(gòu)建各大文獻(xiàn)中提及的關(guān)鍵模型，并逐步介紹每個模型的代碼庫。
本書還講述了一些簡短的寓言故事，這些故事有助于我們理解將要構(gòu)建的某些模型的機制。我認(rèn)為，講解抽象理論的最佳方式之一就是將其轉(zhuǎn)化為不太抽象的事物（例如故事），然后再深入講解技術(shù)。在故事的背景下，理論的各個步驟更為清晰，因為這些故事融合了人、動作和情感，非常便于理解，不像神經(jīng)網(wǎng)絡(luò)、反向傳播和損失函數(shù)那么晦澀難懂（它們是抽象的結(jié)構(gòu)）。故事和模型講解只是在兩個不同領(lǐng)域中講解同一個機制。因此，你可以在學(xué)習(xí)每種模型時回顧相關(guān)的故事。如果你已經(jīng)非常熟悉某個技術(shù)，則可以在故事中找到每個模型元素的對應(yīng)部分！
本書的第一部分將介紹構(gòu)建生成模型的關(guān)鍵技術(shù)，包括深度學(xué)習(xí)、變分自動編碼器以及生成對抗網(wǎng)絡(luò)的概述。在第二部分中，我們將利用這些技術(shù)來解決一些創(chuàng)造性的任務(wù)，例如通過CycleGAN、編碼器- 解碼器模型和MuseGAN 等模型來完成繪畫、寫作和作曲。此外，我們還將介紹如何利用生成建模來優(yōu)化玩游戲的策略（世界模型），并了解當(dāng)今最尖端的生成架構(gòu)，例如StyleGAN、BigGAN、BERT、GPT-2 和MuseNet 等。
本書面向的讀者對象
我們希望本書的讀者擁有一定的Python 編程經(jīng)驗。如果你不熟悉Python，那么最好先從LearningPython.org 開始學(xué)習(xí)。有關(guān)Python 學(xué)習(xí)的免費在線資源非常多，可以幫助你積累足夠的Python 基礎(chǔ)知識，以更好地理解本書中的示例。此外，由于部分模型的描述用到了數(shù)學(xué)符號，因此讀者最好對線性代數(shù)（例如矩陣乘法等）和一般概率論有扎實的了解。
最后，讀者還需要一個環(huán)境，能夠在其中運行本書GitHub 代碼庫中的示例。作者盡最大努力確保書中的所有示例都無須耗費大量的計算資源。
雖然有人說訓(xùn)練深度學(xué)習(xí)模型需要GPU，盡管GPU 確實有幫助，而且可以加快訓(xùn)練速度，但不是必需條件。實際上，如果你不熟悉深度學(xué)習(xí)，那么我建議你先花些時間在筆記本電腦上嘗試一些小示例，等到掌握基礎(chǔ)知識后，再投入時間和精力研究如何利用硬件加快訓(xùn)練速度。
其他資源
我強烈推薦以下兩本書作為機器學(xué)習(xí)和深度學(xué)習(xí)的入門書籍：
?? 《Hands-on Machine Learning with Scikit-Learn, Keras, and TensorFlow:Concepts, Tools, and Techniques to Build Intelligent Systems》，作者：Aurelien Geron，O’Reilly 出版。
?? 《Deep Learning with Python》，作者： Francois Chollet，Manning 出版。
本書中的大多數(shù)論文都來自arXiv（這是一個免費的科學(xué)研究論文存儲庫）。如今，在論文經(jīng)過全面的同行評審之前，通常作者都會先將論文發(fā)布到arXiv。查閱最新提交的論文是掌握該領(lǐng)域最前沿發(fā)展的一種好方法。
此外，我還強烈推薦網(wǎng)站Papers with Code（地址：https://paperswithcode.com/），你可以在這個網(wǎng)站上找到各種機器學(xué)習(xí)任務(wù)的最新技術(shù)成果，以及論文和GitHub 官方代碼庫的鏈接。如果你想要快速了解目前哪些技術(shù)在各項任務(wù)中的表現(xiàn)最佳，那么這是一個非常好的資源，而且該網(wǎng)站也幫助我決定了本書涵蓋的技術(shù)。
最后， 有關(guān)在加速硬件上訓(xùn)練深度學(xué)習(xí)模型的資源， 我推薦Google Colaboratory（地址：https://colab.research.google.com/notebooks/intro.ipynb#recent=true）。這是一個免費的Jupyter Notebook 環(huán)境，無需任何設(shè)置即可在云中運行。你可以在免費的GPU 運行notebook，最多12 個小時。雖然你不必在GPU 上運行本書中的示例，但GPU 可以加快訓(xùn)練過程。不管怎樣，Colab 都是免費訪問GPU 資源的絕佳方法。
排版約定
本書使用了下述排版約定。
斜體（Italic）
表示新術(shù)語、URL、示例電子郵件地址、文件名和擴展名。
等寬字體（Constant Width）
表示代碼，在段內(nèi)用以表示與代碼相關(guān)的元素，例如變量或函數(shù)名、數(shù)據(jù)庫、數(shù)據(jù)類型、環(huán)境變量、聲明和關(guān)鍵字。
等寬粗體字（Constant width bold）
表示命令或其他用戶輸入的文本。
斜體等寬字體（Constant Width Italic）
表示該文本應(yīng)當(dāng)由用戶提供的值或由用戶根據(jù)上下文決定的值替換。
使用代碼示例
你可以通過以下網(wǎng)址下載本書的補充材料（代碼示例，練習(xí)等）：https://github.com/davidADSP/GDL_code。
本書的目的是幫助你完成工作。一般來說，在自己的程序或者文檔中使用本書附帶的示例代碼。你無須聯(lián)系我們獲得使用許可，除非你要復(fù)制大量的代碼。
例如，使用本書中的多個代碼片段編寫程序就無需獲得許可。但以CD-ROM的形式銷售或者分發(fā)O’Reilly 書中的示例代碼則需要獲得許可�；卮饐栴}時援引本書內(nèi)容以及書中示例代碼，無需獲得許可。在你自己的項目文檔中使用本書大量的示例代碼時，則需要獲得許可。
我們不強制要求署名，但如果你這么做，我們深表感激。署名一般包括書名、作者、出版社和國際標(biāo)準(zhǔn)書號。例如：“Generative Deep Learning by David Foster (O’Reilly). Copyright 2019 Applied Data Science Partners Ltd., 978-1-492-04194-8”。
如果你覺得自身情況不在合理使用或上述允許的范圍內(nèi)，請通過郵件和我們聯(lián)系，地址是 permissions@oreilly.com。
O’Reilly 在線學(xué)習(xí)平臺（O’Reilly Online Learning）
近40 年來，O’Reilly Media 致力于提供技術(shù)和商業(yè)培訓(xùn)、知識和卓越見解，來幫助眾多公司取得成功。
我們擁有獨一無二的專家和革新者組成的龐大網(wǎng)絡(luò)，他們通過圖書、文章、會議和我們的在線學(xué)習(xí)平臺分享他們的知識和經(jīng)驗。O’Reilly 的在線學(xué)習(xí)平臺允許你按需訪問現(xiàn)場培訓(xùn)課程、深入的學(xué)習(xí)路徑、交互式編程環(huán)境，以及O’Reilly 和200 多家其他出版商提供的大量文本和視頻資源。有關(guān)的更多信息，請訪問http://oreilly.com。
意見和疑問
請把你對本書的意見和疑問發(fā)給出版社：
美國：
O’Reilly Media, Inc.
1005 Gravenstein Highway North
Sebastopol, CA 95472
中國：
北京市西城區(qū)西直門南大街2號成銘大廈C座807室（100035）
奧萊利技術(shù)咨詢（北京）有限公司
這本書有專屬網(wǎng)頁，你可以在上面找到本書的勘誤、示例和其他信息。網(wǎng)址是：http://shop.oreilly.com/product/0636920189817.do。
如果你對本書有一些評論或技術(shù)上的建議， 請發(fā)送電子郵件到
bookquestions@oreilly.com。
要了解O’Reilly 圖書、培訓(xùn)課程、會議和新聞的更多信息，請訪問我們的網(wǎng)站，網(wǎng)址是：http://www.oreilly.com。
我們的Facebook：http://facebook.com/oreilly。
我們的Twitter：http://twitter.com/oreillymedia。
我們的Youtube：http://www.youtube.com/oreillymedia。
致謝
本書得以付梓，我要感謝很多人給予的幫助。
首先， 我要感謝所有的技術(shù)審查人員， 特別感謝Luba Elliott、Darren Richardson、Eric George、Chris Schon、Sigurður Skúli Sigurgeirsson、Hao-Wen Dong、David Ha 和Lorna Barclay。
此外，我要感謝Applied Data Science Partners 的同事Ross Witeszczak、Chris Schon、Daniel Sharp 和Amy Bull。感謝你們在創(chuàng)作本書過程中的耐心等待，我非常期待未來我們攜手共同完成的所有機器學(xué)習(xí)項目！我還要特別感謝Ross，如果當(dāng)初我們沒有決定一起開展業(yè)務(wù)，那么也就沒有這本書的問世，所以感謝你信任我作為你的業(yè)務(wù)合作伙伴！
還要感謝那些曾經(jīng)教過我數(shù)學(xué)的所有人，我有幸在學(xué)校遇到了最優(yōu)秀的數(shù)學(xué)老師，在他們的引導(dǎo)下我對數(shù)學(xué)產(chǎn)生了濃厚的興趣，并鼓勵我在大學(xué)繼續(xù)深造。我要感謝你們的付出，并毫無保留地教授該主題的知識。
非常感謝O’Reilly 的工作人員指導(dǎo)我完成本書的創(chuàng)作。特別感謝Michele Cronin 一路相伴，為我提供了很多反饋，并友好地提醒我完成每個章節(jié)！我要感謝Katie Tozer、Rachel Head 和Melanie Yarbrough 對本書的付出，還有Mike Loukides 第一個拋出橄欖枝，詢問我是否對寫書感興趣。你們給予了本書如此大力的支持，我要感謝各位為我提供了一個自由創(chuàng)作的平臺。
在本書的創(chuàng)作過程中，我的家人一直是鼓勵和支持的源泉。非常感謝我的媽媽Gillian Foster，她幫助我檢查了每一行的錯字，當(dāng)初也是她教我學(xué)習(xí)數(shù)學(xué)加法！您在審閱本書時對細(xì)節(jié)的關(guān)注至關(guān)重要，對于您和爸爸為我創(chuàng)造的所有機遇，我深表感謝。還有我的父親Clive Foster，他是我學(xué)習(xí)計算機編程的啟蒙老師，這本書大量的實例都要歸功于他早期給予我的耐心，當(dāng)初我曾嘗試用BASIC 制作足球游戲。我的兄弟Rob Foster 是這個世界上最謙虛的天才，尤其是在語言學(xué)領(lǐng)域，與他談?wù)揂I 以及基于文本的機器學(xué)習(xí)的未來給予了我很多啟發(fā)。最后，我要感謝我的Nana，她是我們所有人的靈感和樂趣之源。她對文學(xué)的熱愛是我迷上寫書的原因之一。
最后，我要感謝我的未婚妻（即將成為我的妻子）Lorna Barclay。她不僅認(rèn)真地審閱了本書中的每個單詞，而且還在整個創(chuàng)作過程中提供了源源不斷的支持，為我泡茶，帶來各種零食，而且她對細(xì)節(jié)的關(guān)注以及統(tǒng)計和機器學(xué)習(xí)的專業(yè)知識幫助我撰寫出了優(yōu)秀的生成建模指南。沒有你，我就無法完成本書的創(chuàng)作，感謝你投入大量時間來幫我組織和擴展書中需要進(jìn)一步解釋的內(nèi)容。我向你保證，在這本書出版之后的（至少）幾周內(nèi)，我不會在餐桌上談?wù)撋�成模型�?/p>