前言
第1章深度學(xué)習(xí)理論基礎(chǔ)
1.1深度學(xué)習(xí)概況
1.1.1深度學(xué)習(xí)的歷史
1.1.2“無所不能”的深度學(xué)習(xí)
1.2深度學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)
1.2.1神經(jīng)網(wǎng)絡(luò)
1.2.2隱藏層
1.2.3梯度下降
1.2.4激活函數(shù)
1.2.5權(quán)重初始化
1.2.6正則化
1.2.7歸一化
第2章深度學(xué)習(xí)的軟件框架
2.1環(huán)境配置
2.1.1Anaconda
2.1.2英偉達(dá)GPU驅(qū)動(dòng)+CUDA+cuDNN
2.1.3PyTorch安裝
2.1.4Python IDE選擇
2.2PyTorch 入門
2.2.1Tensor基本概念
2.2.2Tensor的運(yùn)算
2.3PyTorch自動(dòng)求梯度
2.3.1基本概念
2.3.2Tensor樣例
2.3.3梯度計(jì)算
2.4PyTorch nn模塊
第3章語言模型與詞向量
3.1語言模型
3.1.1無處不在的語言模型
3.1.2神經(jīng)網(wǎng)絡(luò)語言模型
3.2詞向量
3.2.1one-hot
3.2.2word2vec
3.2.3GloVe
3.3代碼實(shí)戰(zhàn)
3.3.1任務(wù)1:應(yīng)用PyTorch搭建Skip-Gram
3.3.2任務(wù)2:基于GloVe的大規(guī)模中文語料的詞向量訓(xùn)練
第4章序列模型與梯度消失/爆炸
4.1循環(huán)神經(jīng)網(wǎng)絡(luò)
4.1.1模型結(jié)構(gòu)及計(jì)算過程
4.1.2應(yīng)用PyTorch搭建并訓(xùn)練RNN模型
4.2梯度消失與爆炸
4.2.1產(chǎn)生原因
4.2.2解決方法
4.3改進(jìn)方法
4.3.1LSTM
4.3.2GRU
4.4代碼實(shí)戰(zhàn)：搭建LSTM/GRU的文本分類器
第5章卷積神經(jīng)網(wǎng)絡(luò)在NLP領(lǐng)域的應(yīng)用
5.1卷積神經(jīng)網(wǎng)絡(luò)的概念
5.1.1輸入層
5.1.2卷積層
5.1.3池化層
5.1.4全連接層
5.2空洞卷積神經(jīng)網(wǎng)絡(luò)
5.2.1空洞卷積的基本定義
5.2.2空洞卷積在NLP中的應(yīng)用
5.2.3空洞卷積相關(guān)代碼
5.2.4多層卷積
5.3代碼實(shí)戰(zhàn)：CNN情感分類實(shí)戰(zhàn)
5.3.1數(shù)據(jù)處理
5.3.2程序主干部分
5.3.3模型部分
5.3.4模型訓(xùn)練與評(píng)估
第6章Seq2Seq模型與Attention機(jī)制
6.1Encoder-Decoder結(jié)構(gòu)
6.1.1Encoder
6.1.2Decoder
6.1.3Encoder-Decoder存在的問題
6.2Attention機(jī)制
6.3Seq2Seq訓(xùn)練與預(yù)測(cè)
6.3.1模型訓(xùn)練
6.3.2模型預(yù)測(cè)
6.3.3BLEU模型評(píng)估法
6.4代碼實(shí)戰(zhàn)：應(yīng)用PyTorch搭建機(jī)器翻譯模型
第7章大規(guī)模預(yù)訓(xùn)練模型
7.1ELMo
7.1.1模型結(jié)構(gòu)
7.1.2模型效果
7.1.3ELMo的優(yōu)點(diǎn)
7.1.4利用ELMo+CNN進(jìn)行分類的示例
7.2Transformer
7.2.1Encoder端及Decoder端總覽
7.2.2Encoder端各個(gè)子模塊
7.2.3Decoder端各個(gè)子模塊
7.2.4其他模塊
7.2.5完整模型
第8章預(yù)訓(xùn)練語言模型BERT
8.1BERT的基本概念
8.2BERT的工作原理
8.2.1BERT的預(yù)訓(xùn)練
8.2.2BERT模型結(jié)構(gòu)
8.2.3BERT的微調(diào)
8.3BERT的可解釋性
8.4其他預(yù)訓(xùn)練模型
8.4.1XLNet
8.4.2RoBERTa
8.4.3ALBERT
8.5代碼實(shí)戰(zhàn)：預(yù)訓(xùn)練模型
參考文獻(xiàn)