本書簡潔且全面地介紹了現代神經網絡、人工智能和深度學習技術，專門為軟件工程師和數據科學家設計。它是另外兩本著作Deep Learning with Keras[1]和TensorFlow 1.x Deep Learning Cookbook[2]的延續(xù)。
本書目標
本書對過去幾年中深度學習技術的演進做了概括，并給出了用Python寫的數十種可運行的深度神經網絡代碼，它們都是用基于類Keras[1] API的模塊化深度網絡庫TensorFlow 2.0實現的。
本書將循序漸進地介紹有監(jiān)督學習算法，包括簡單線性回歸、經典多層感知器，以及更為復雜的深度卷積網絡和生成對抗網絡。本書還涵蓋無監(jiān)督學習算法，包括自編碼器和生成網絡，并對循環(huán)網絡和長短期記憶網絡進行詳細解釋。此外，本書還會對深度強化學習進行全面介紹，并涵蓋深度學習加速器（GPU和TPU）、云開發(fā)以及在桌面系統、云服務、移動設備/物聯網（IoT）和瀏覽器上的多環(huán)境部署。
實際應用包括將文本分類為預定義類別、語法分析、語義分析、文本合成以及詞性標注。書中我們還會探討圖像處理，包括手寫數字圖像識別、圖像分類以及具有相關圖像注釋的高級對象識別。
聲音分析包括識別來自多個揚聲器的離散語音。本書還介紹使用自編碼器和GAN生成圖像，使用強化學習技術構建能夠自主學習的深度Q學習網絡。實驗是本書的精髓。每個網絡都增加了多種變體，這些變體通過更改輸入參數、網絡形狀、損失函數和優(yōu)化算法來逐步提高學習性能。本書還提供在CPU、GPU和TPU上進行訓練的對比。本書將介紹新領域AutoML，在該領域中，我們將學習如何高效和自動地構建深度學習模型。第15章專門介紹機器學習相關的數學知識。
機器學習、人工智能和深度學習寒武紀爆炸
人工智能（Artificial Intelligence，AI）為本書討論的所有內容奠定了基礎。機器學習（Machine Learning，ML）是AI的一個分支，而深度學習（Deep Learning，DL）又是ML中的一個子集。下面簡要討論本書中經常出現的這三個概念。
AI表示機器模仿人類通常表現出的智能行為的任何活動。更正式地說，這是一個研究領域，機器旨在復制認知能力，例如學習行為、與環(huán)境的主動交互、推理和演繹、計算機視覺、語音識別、問題求解、知識表示和感知。AI建立在計算機科學、數學和統計學以及心理學和其他研究人類行為的科學的基礎上。建立AI有多種策略。在20世紀70年代和20世紀80年代，專家系統變得非常流行。這些系統的目標是通過用大量手動定義的if-then規(guī)則表示知識來解決復雜的問題。這種方法適用于非常特定的領域中的小問題，但無法擴展到較大的問題和多領域中。后來，AI越來越關注基于統計的方法。
ML是AI的一個子學科，它專注于教授計算機如何對特定任務進行學習而無須編程。ML背后的關鍵思想是可以創(chuàng)建從數據中學習并做出預測的算法。ML有三類：
有監(jiān)督學習，向機器提供輸入數據及期望輸出，目的是從這些訓練實例中學習，以使機器可以對從未見過的數據做出有意義的預測。
無監(jiān)督學習，僅向機器提供輸入數據，機器隨后必須自己尋找一些有意義的結構，而無須外部監(jiān)督或輸入。
增強學習，機器充當代理，與環(huán)境交互。如果機器的行為符合要求，就會有獎勵；否則，就會受到懲罰。機器試圖通過學習相應地發(fā)展其行為來化獎勵。
DL在2012年席卷全球。在那一年，ImageNet 2012挑戰(zhàn)賽[3]發(fā)起，其目的是使用大型手工標記數據集的子集來預測照片的內容。名為AlexNet[4]的深度學習模型達到了15.3%的top-5錯誤率，這與早前的結果相比有了顯著改進。根據《經濟學人》 [5]的說法，突然之間，人們開始關注深度學習，不僅是在AI社區(qū)內部，而且是整個技術行業(yè)。 自2012年以來，我們看到了對ImageNet圖像進行分類的多個模型的持續(xù)進展[5]（見圖1），錯誤率低于2%，優(yōu)于5.1%的預計人為錯誤率。
那僅僅是開始。如今，DL技術已成功應用于異構領域，包括但不限于醫(yī)療保健、環(huán)境工程、綠色能源、計算機視覺、文本分析、多媒體、金融、零售、游戲、模擬、工業(yè)、機器人技術和自動駕駛汽車。在每一個領域中，DL技術都可以以一定的準確度解決問題，而這是以前的方法無法實現的。
毫無疑問，人們對DL的興趣也在增加。有報告[9]顯示，每20分鐘就會有新的ML論文發(fā)表。機器學習論文的增長率約為每月3.5%，每年50%。在過去的三年中，我們好像生活在DL的寒武紀大爆炸中，arXiv上論文數量的增長速度超過了摩爾定律（見圖2）。正如評論所說：這使你感到人們相信這是計算的未來價值的來源。

圖1　ImageNet 2012上不同的深度學習模型實現的top-5準確度

圖2　arXiv上ML論文數量似乎比摩爾定律增長更快（源自：https://www.kdnuggets.com/2018/12/deep-learning-major-advances-review.html）
arXiv是電子預印本的存儲庫，預印本尚未進行完整的同行評審。
深度學習模型的復雜性也在增加。ResNet-50是一種圖像識別模型（參見第4章和第5章），具有約2600萬個參數。每個參數都是用于微調模型的權重。Transformer、gpt-1、bert和gpt-2[7]都是自然語言處理模型（參見第8章），具備在文本上執(zhí)行各種任務