I　Introducing Deep Learning / 深度學(xué)習(xí)簡介　　　1 1　Biological and Machine Vision / 生物與機器視角　3 Biological　Vision / 生物視角　3 Machine　Vision / 機器視角　8 The　Neocognitron / 新認知機　8 LeNet-5　/ 卷積神經(jīng)網(wǎng)絡(luò) LeNet-5　9 The　Traditional Machine Learning Approach / 傳統(tǒng)機器學(xué)習(xí)方法　12 ImageNet　and the ILSVRC / 大規(guī)模視覺數(shù)據(jù)庫ImageNet和視覺識別挑戰(zhàn)賽ILSVRC　13 AlexNet　/ 卷積神經(jīng)網(wǎng)絡(luò) AlexNet　14 TensorFlow　Playground/ 開源軟件庫TensorFlow　17 Quick,　Draw! / 涂鴉小游戲Quick, Draw!　19 小結(jié)　19 2　Human and Machine Language / 人機語言　21 Deep　Learning for Natural Language Processing / 自然語言處理中的深度學(xué)習(xí)　21 Deep　Learning Networks Learn Representations Automatically / 深度學(xué)習(xí)網(wǎng)絡(luò)自動學(xué)習(xí)表示　22 Natural　Language Processing / 自然語言處理　23 A　Brief History of Deep Learning for NLP/自然語言處理深度學(xué)習(xí)簡史24 Computational　Representations of Language / 語言的計算表示　25 One-Hot　Representations of Words / 單詞的獨熱表示　25 Word　Vectors / 詞向量　26 Word-Vector　Arithmetic / 詞向量算法　29 word2viz　/ 詞向量工具 word2viz　30 Localist　Versus Distributed Representations / 局部化與分布式表示32 Elements　of Natural Human Language / 自然人類語言要素　33 Google　Duplex / Google Duplex　35 Summary　/ 小結(jié)　37 3　Machine Art / 機器藝術(shù)　39 A　Boozy All-Nighter / 一個熱鬧的通宵　39 Arithmetic　on Fake Human Faces / 假人臉算法　41 Style　Transfer: Converting Photos into Monet (and Vice Versa)　/ 風(fēng)格遷移：照片與莫奈風(fēng)格間的相互轉(zhuǎn)移　44 Make　Your Own Sketches Photorealistic / 讓草圖更加真實　45 Creating　Photorealistic Images from Text / 基于文本創(chuàng)建真實圖片　45 Image　Processing Using Deep Learning / 基于深度學(xué)習(xí)的圖像處理　46 Summary　/ 小結(jié)　48 4　Game-Playing Machines / 人機博弈　49 Deep　Learning, AI, and Other Beasts / 深度學(xué)習(xí)、人工智能和其他技術(shù)49 Artificial　Intelligence / 人工智能　49 Machine　Learning / 機器學(xué)習(xí)　50 Representation　Learning / 表示學(xué)習(xí)　51 Artificial　Neural Networks / 人工神經(jīng)網(wǎng)絡(luò)　51 Deep　Learning / 深度學(xué)習(xí)　51 Machine　Vision / 機器視覺　52 Natural　Language Processing / 自然語言處理　53 Three　Categories of Machine Learning Problems / 機器學(xué)習(xí)問題的3種類型　53 Supervised　Learning / 監(jiān)督學(xué)習(xí)　53 Unsupervised　Learning / 無監(jiān)督學(xué)習(xí)　54 Reinforcement　Learning / 強化學(xué)習(xí)　54 Deep　Reinforcement Learning / 深度強化學(xué)習(xí)　56 Video　Games / 視頻游戲　57 Board　Games / 棋盤游戲　59 AlphaGo　/ AlphaGo　59 AlphaGo　Zero / AlphaGo Zero　62 AlphaZero　/ AlphaZero　65 Manipulation　of Objects / 目標操控　67 Popular　Deep Reinforcement Learning Environments / 流行的深度強化學(xué)習(xí)環(huán)境　68 OpenAI　Gym / OpenAI Gym　68 DeepMind　Lab / DeepMind 實驗室　69 Unity　ML-Agents / Unity ML-Agents　71 Three　Categories of AI / 人工智能的3種類型　71 Artificial　Narrow Intelligence / 狹義人工智能　72 Artificial　General Intelligence / 廣義人工智能　72 Artificial　Super Intelligence / 超級人工智能　72 Summary　/ 小結(jié)　72 II　Essential Theory Illustrated / 圖解深度學(xué)習(xí)基本理論　73 5　The (Code) Cart Ahead of the (Theory) Horse / 先代碼后理論　75 Prerequisites　/ 預(yù)備知識　75 Installation　/ 安裝　76 A　Shallow Network in Keras / Keras構(gòu)建淺層網(wǎng)絡(luò)　76 The　MNIST Handwritten Digits / MNIST 手寫數(shù)字　76 A　Schematic Diagram of the Network / 網(wǎng)絡(luò)示意圖　77 Loading　the Data / 加載數(shù)據(jù)　79 Reformatting　the Data / 重新格式化數(shù)據(jù)　81 Designing　a Neural Network Architecture / 設(shè)計神經(jīng)網(wǎng)絡(luò)架構(gòu)　83 Training　a Deep Learning Model / 訓(xùn)練深度學(xué)習(xí)模型　83 Summary　/ 小結(jié)　84 6　Artificial Neurons Detecting Hot Dogs / 人工神經(jīng)元熱狗感知機85 Biological　Neuroanatomy 101 / 生物神經(jīng)元　85 The　Perceptron / 感知機　86 The　Hot Dog / Not Hot Dog Detector / 熱狗感知機/非熱狗感知機　86 The　Most Important Equation in This Book / 本書最重要的等式　90 Modern　Neurons and Activation Functions / 現(xiàn)代神經(jīng)元與激活函數(shù)　91 The　Sigmoid Neuron / Sigmoid 神經(jīng)元　92 The　Tanh Neuron / Tanh 神經(jīng)元　94 ReLU:　Rectified Linear Units / ReLU 神經(jīng)元　94 Choosing　a Neuron / 選擇神經(jīng)元　96 Summary　/ 小結(jié)　96 Key　Concepts / 核心概念　97 7　神經(jīng)網(wǎng)絡(luò)　99 The　Input Layer / 輸入層　99 Dense　Layers / 全連接層　99 A　Hot Dog-Detecting Dense Network / 熱狗感知全連接網(wǎng)絡(luò)　101 Forward　Propagation Through the First Hidden Layer / 第　一個隱藏層的正向傳播　102 Forward　Propagation Through Subsequent Layers / 其他層的正向傳播　103 The　Softmax Layer of a Fast Food-Classifying Network / 快餐分類網(wǎng)絡(luò)的Softmax層　106 Revisiting　Our Shallow Network / 回歸淺層網(wǎng)絡(luò)　108 Summary　/ 小結(jié)　109 Key　Concepts / 核心概念　110 8　Training Deep Networks / 深度網(wǎng)絡(luò)訓(xùn)練　110 Cost　Functions / 損失函數(shù)　111 Quadratic　Cost / 二次方損失函數(shù)　112 Saturated　Neurons / 神經(jīng)元飽和　112 Cross-Entropy　Cost / 交叉熵損失函數(shù)　113 Optimization:　Learning to Minimize Cost / 優(yōu)化：學(xué)習(xí)最小化損失　115 Gradient　Descent / 梯度下降　115 Learning　Rate / 學(xué)習(xí)率　117 Batch　Size and Stochastic Gradient Descent / 批量大小和隨機梯度下降　119 Escaping　the Local Minimum / 解決局部最小問題　122 Backpropagation　/ 反向傳播　124 Tuning　Hidden-Layer Count and Neuron Count / 調(diào)整隱藏層層數(shù)和神經(jīng)元數(shù)量　125 An　Intermediate Net in Keras / Keras構(gòu)建中等深度的神經(jīng)網(wǎng)絡(luò)　127 Summary　/ 小結(jié)　129 Key　Concepts / 核心概念　130 9　Improving Deep Networks / 深度網(wǎng)絡(luò)改進　131 Weight　Initialization / 權(quán)重初始化　131 Xavier　Glorot Distributions / Xavier Glorot 分布　135 Unstable　Gradients / 不穩(wěn)定梯度　137 Vanishing　Gradients / 梯度消失　137 Exploding　Gradients / 梯度爆炸　138 Batch　Normalization / 批量歸一化　138 Model　Generalization (Avoiding Overfitting) / 模型泛化（避免過擬合）140 L1　and L2 Regularization / L1 和 L2 正則化　141 Dropout　/ Dropout　142 Data　Augmentation / 數(shù)據(jù)增強　145 Fancy　Optimizers / 優(yōu)化器　145 Momentum　/ 動量　145 Nesterov　Momentum / Nesterov 動量　146 AdaGrad　/ AdaGrad　146 AdaDelta　and RMSProp / AdaDelta 和 RMSProp　146 Adam　/ Adam　147 A　Deep Neural Network in Keras / Keras構(gòu)建深度神經(jīng)網(wǎng)絡(luò)　147 Regression　/ 回歸　149 TensorBoard　/ TensorBoard　152 Summary　/ 小結(jié)　154 Key　Concepts / 核心概念　155 III　Interactive Applications of Deep Learning　/ 深度學(xué)習(xí)的交互應(yīng)用　157 10　Machine Vision / 機器視覺　159 Convolutional　Neural Networks / 卷積神經(jīng)網(wǎng)絡(luò)　159 The　Two-Dimensional Structure of Visual Imagery / 視覺圖像二維結(jié)構(gòu)　159 Computational　Complexity / 計算復(fù)雜度　160 Convolutional　Layers / 卷積層　160 Multiple　Filters / 多個卷積核　162 A　Convolutional Example / 卷積示例　163 Convolutional　Filter Hyperparameters /卷積核的超參數(shù)　168 Pooling　Layers / 池化層　169 LeNet-5　in Keras / Keras實現(xiàn)LeNet-5　171 AlexNet　and VGGNet in Keras / Keras實現(xiàn)AlexNet和VGGNet　176 Residual　Networks / 殘差網(wǎng)絡(luò)　179 Vanishing　Gradients: The Bête Noire of Deep CNNs / 梯度消失：深度　CNNs 最大的缺點　179 Residual　Connections / 殘差連接　180 ResNet　/ 殘差網(wǎng)絡(luò)　182 Applications　of Machine Vision / 機器視角的應(yīng)用　182 Object　Detection / 目標檢測　183 Image　Segmentation / 圖像分割　186 Transfer　Learning / 遷移學(xué)習(xí)　188 Capsule　Networks / 膠囊網(wǎng)絡(luò)　192 Summary　/ 小結(jié)　193 Key　Concepts / 核心概念　193 11　Natural Language Processing / 自然語言處理　195 Preprocessing　Natural Language Data / 自然語言數(shù)據(jù)預(yù)處理　195 Tokenization　/ 標記化　197 Converting　All Characters to Lowercase / 字符小寫轉(zhuǎn)換　199 Removing　Stop Words and Punctuation / 停用詞和符號的刪除　200 Stemming　/ 詞干提取　201 Handling　n-grams / 處理 n-grams　202 Preprocessing　the Full Corpus / 完整語料庫預(yù)處理　203 Creating　Word Embeddings with word2vec / word2vec實現(xiàn)詞嵌入　206 The　Essential Theory Behind word2vec / word2vec　背后的基本理論　206 Evaluating　Word Vectors / 詞向量評估　209 Running　word2vec / word2vec 的運行　209 Plotting　Word Vectors / 詞向量的繪制　213 The　Area under the ROC Curve / ROC曲線下的面積　217 The　Confusion Matrix / 混淆矩陣　218 Calculating　the ROC AUC Metric / 計算 ROC AUC　219 Natural　Language Classification with Familiar Networks / 常見網(wǎng)絡(luò)實現(xiàn)自然語言分類　222 Loading　the IMDb Film Reviews /加載 IMDb 電影評論　222 Examining　the IMDb Data / 檢查 IMDb 數(shù)據(jù)　226 Standardizing　the Length of the Reviews /評論長度標準化　228 Dense　Network / 全連接網(wǎng)絡(luò)　229 Convolutional　Networks / 卷積網(wǎng)絡(luò)　235 Networks　Designed for Sequential Data / 序列數(shù)據(jù)的網(wǎng)絡(luò)設(shè)計　240 Recurrent　Neural Networks / 循環(huán)神經(jīng)網(wǎng)絡(luò)　240 Long　Short-Term Memory Units / 長短期記憶網(wǎng)絡(luò)架構(gòu)　244 Bidirectional　LSTMs / 雙向 LSTM　247 Stacked　Recurrent Models / 堆疊循環(huán)神經(jīng)網(wǎng)絡(luò)　248 Seq2seq　and Attention / Seq2seq　模型和注意力機制　250 Transfer　Learning in NLP / 自然語言處理遷移學(xué)習(xí)　251 11.6　Non-sequential Architectures: The Keras Functional API　/ 非序列架構(gòu)——Keras功能性API　251 11.7　Summary / 小結(jié)　256 11.8　Key Concepts / 核心概念　257 12　Generative Adversarial Networks / 生成式對抗網(wǎng)絡(luò)　259 Essential　GAN Theory / 生成式對抗網(wǎng)絡(luò)基本理論　259 The　Quick, Draw! Dataset / 涂鴉小游戲The　Quick, Draw!數(shù)據(jù)集　263 The　Discriminator Network / 判別器網(wǎng)絡(luò)　266 The　Generator Network / 生成器網(wǎng)絡(luò)　269 The　Adversarial Network / 對抗網(wǎng)絡(luò)　272 GAN　Training / 生成式對抗網(wǎng)絡(luò)訓(xùn)練　275 Summary　/ 小結(jié)　281 Key　Concepts / 核心概念　282 13　Deep Reinforcement Learning /深度強化學(xué)習(xí)　283 Essential　Theory of Reinforcement Learning / 強化學(xué)習(xí)基本理論　283 The　Cart-Pole Game / Cart-Pole 游戲　284 Markov　Decision Processes / 馬爾可夫決策過程　286 The　Optimal Policy / 最優(yōu)策略　288 Essential　Theory of Deep Q-Learning Networks / 深度Q學(xué)習(xí)網(wǎng)絡(luò)基本理論　290 Value　Functions / 值函數(shù)　291 Q-Value　Functions / Q 值函數(shù)　291 Estimating　an Optimal Q-Value / 估計最優(yōu) Q 值　291 Defining　a DQN Agent / 定義DQN智能體　293 Initialization　Parameters / 初始化參數(shù)　295 Building　the Agent’s Neural Network Model / 構(gòu)建智能體的神經(jīng)網(wǎng)絡(luò)模型　297 Remembering　Gameplay / 記憶游戲　298 Training　via Memory Replay / 記憶重播訓(xùn)練　298 Selecting　an Action to Take / 選擇要采取的行動　299 Saving　and Loading Model Parameters / 保存和加載模型參數(shù)　300 Interacting　with an OpenAI Gym Environment / OpenAI　Gym環(huán)境交互　300 Hyperparameter　Optimization with SLM Lab / SLM　Lab超參數(shù)優(yōu)化　303 Agents　Beyond DQN / DQN以外智能體　306 Policy　Gradients and the REINFORCE Algorithm / 策略梯度和強化算法　307 The　Actor-Critic Algorithm / Actor-Critic 算法　307 Summary　/ 小結(jié)　308 Key　Concepts / 核心概念　309 IV　You and AI / 你與人工智能　311 14　Moving Forward with Your Own Deep Learning Projects　創(chuàng)建和推進專屬于你的深度學(xué)習(xí)項目　313 Ideas　for Deep Learning Projects / 深度學(xué)習(xí)項目思想　313 Machine　Vision and GANs / 機器視覺和生成式對抗網(wǎng)絡(luò)　313 Natural　Language Processing / 自然語言處理　315 Deep　Reinforcement Learning / 深度強化學(xué)習(xí)　316 Converting　an Existing Machine Learning Project / 轉(zhuǎn)換現(xiàn)有的機器學(xué)習(xí)項目　316 Resources　for Further Projects / 項目源　317 Socially　Beneficial Projects / 社會公益項目　318 The　Modeling Process, Including Hyperparameter Tuning / 建模和超參數(shù)調(diào)優(yōu)　318 Automation　of Hyperparameter Search / 超參數(shù)的自動搜索　321 Deep　Learning Libraries / 深度學(xué)習(xí)庫　321 Keras　and TensorFlow / Keras 和 TensorFlow　321 PyTorch　/ PyTorch　323 MXNet,　CNTK, Caffe, and So On / MXNet、CNTK、Caffe　等　324 Software　2.0 / 軟件2.0　324 Approaching　Artificial General Intelligence / 走進廣義人工智能　326 Summary　/ 小結(jié)　328 V　Appendices / 附錄　331 A　Formal Neural Network Notation / 神經(jīng)網(wǎng)絡(luò)符號　333 B　Backpropagation / 反向傳播　335 C　PyTorch / PyTorch　339 PyTorch　Features / Pytorch特征　339 Autograd　System / AutoGrade 機制　339 Define-by-Run　Framework / 運行定義框架　339 PyTorch　Versus TensorFlow / PyTorch　與 TensorFlow 對比　340 PyTorch　in Practice / PyTorch的實踐　341 PyTorch　Installation / PyTorch 的安裝　341 The　Fundamental Units Within PyTorch / PyTorch　的基本單位　341 Building　a Deep Neural Network in PyTorch / PyTorch　實現(xiàn)一個深度神經(jīng)網(wǎng)絡(luò)　343