目 錄
第 1 部分 自然語言處理基礎(chǔ)
第 1 章 緒論 2
1.1 自然語言處理綜述 3
1.1.1 自然語言處理的基本概念 3
1.1.2 自然語言處理的發(fā)展歷程 4
1.1.3 自然語言處理的研究內(nèi)容 5
1.1.4 自然語言處理的挑戰(zhàn)與發(fā)展趨勢 7
1.2 文本處理技能 9
1.2.1 字符串處理 9
1.2.2 中文分詞及案例實現(xiàn) 11
1.3 文本數(shù)據(jù)處理 13
1.3.1 文本操作基礎(chǔ) 13
1.3.2 案例實現(xiàn)——文本數(shù)據(jù)統(tǒng)計 15
1.3.3 案例實現(xiàn)——詞云生成 17
本章總結(jié) 19
作業(yè)與練習(xí) 19
第 2 章 詞向量技術(shù) 21
2.1 詞向量概述 22
2.1.1 詞向量基礎(chǔ) 22
2.1.2 詞向量表示的問題 22
2.2 詞向量離散表示 23
2.2.1 獨熱編碼 23
2.2.2 詞袋模型 24
2.2.3 詞頻-逆文本頻率 25
2.2.4 案例實現(xiàn)——文本離散表示 25
2.3 詞向量分布表示 29
2.3.1 神經(jīng)網(wǎng)絡(luò)語言模型 29
2.3.2 Word2vec 模型 31
2.3.3 案例實現(xiàn)——中文詞向量訓(xùn)練 33
本章總結(jié) 39
作業(yè)與練習(xí) 39
第 3 章 關(guān)鍵詞提取 41
3.1 關(guān)鍵詞提取概述 42
3.1.1 關(guān)鍵詞提取基礎(chǔ) 42
3.1.2 基于 TF-IDF 的關(guān)鍵詞提取 42
3.1.3 基于 TextRank 的關(guān)鍵詞提取 43
3.1.4 基于 Word2vec 詞聚類的關(guān)鍵詞提取 43
3.2 關(guān)鍵詞提取的實現(xiàn) 44
3.2.1 案例介紹 44
3.2.2 案例實現(xiàn)——關(guān)鍵詞提取綜合案例 45
本章總結(jié) 57
作業(yè)與練習(xí) 57
第 2 部分 自然語言處理核心技術(shù)
第 4 章 樸素貝葉斯中文分類 60 4.1 樸素貝葉斯分類算法概述 60
4.1.1 概率基礎(chǔ) 60
4.1.2 樸素貝葉斯分類器 62
4.2 機(jī)器學(xué)習(xí)庫 sklearn 64
4.2.1 sklearn 獲取數(shù)據(jù) 64
4.2.2 sklearn 數(shù)據(jù)預(yù)處理 64
4.2.3 sklearn 構(gòu)建模型 65
4.3 案例實現(xiàn)——樸素貝葉斯中文分類 65
本章總結(jié) 71
作業(yè)與練習(xí) 72
第 5 章 N-gram 語言模型 73
5.1 N-gram 概述 73
5.1.1 N-gram 語言模型簡介 73
5.1.2 N-gram 概率計算 74
5.1.3 案例——N-gram 的實現(xiàn) 75
5.2 案例實現(xiàn)——基于 N-gram 的新聞文本預(yù)測 77
本章總結(jié) 84
作業(yè)與練習(xí) 84
第 6 章 PyTorch 深度學(xué)習(xí)框架 85
6.1 PyTorch 基礎(chǔ) 85
6.1.1 PyTorch 的介紹與安裝 85
6.1.2 PyTorch 入門使用 87
6.1.3 梯度下降與反向傳播 92
6.1.4 案例——使用 PyTorch 實現(xiàn)線性回歸 95
6.2 PyTorch 數(shù)據(jù)加載 99
6.2.1 使用數(shù)據(jù)加載器的目的 99
6.2.2 DataSet 的使用方法 99
6.2.3 DataLoader 的使用方法 100
6.3 PyTorch 自帶數(shù)據(jù)集加載 101
本章總結(jié) 102
作業(yè)與練習(xí) 102
第 7 章 FastText 模型文本分類 104
7.1 FastText 模型簡介 104
7.1.1 FastText 模型原理 104
7.1.2 FastText 模型結(jié)構(gòu) 105
7.1.3 FastText 模型優(yōu)化 105
7.2 案例實現(xiàn)——FastText 模型文本分類 106
本章總結(jié) 118
作業(yè)與練習(xí) 118
第 8 章 基于深度學(xué)習(xí)的文本分類 119
8.1 基于 TextCNN 的文本分類 119
8.1.1 卷積神經(jīng)網(wǎng)絡(luò) 119
8.1.2 TextCNN 的原理 121
8.2 基于 TextRNN 的文本分類 122
8.2.1 LSTM 原理 122
8.2.2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu) 123
8.3 基于 TextRCNN 的文本分類 124
8.3.1 TextRCNN 原理 124
8.3.2 TextRCNN 網(wǎng)絡(luò)結(jié)構(gòu) 125
8.4 案例實現(xiàn)——基于深度學(xué)習(xí)的文本分類 126
本章總結(jié) 146
作業(yè)與練習(xí) 146
第 3 部分 序列標(biāo)注
第 9 章 HMM 的詞性標(biāo)注 148
9.1 詞性標(biāo)注簡介 149
9.1.1 詞性標(biāo)注的基本概念 149
9.1.2 中文詞性的分類及作用 149
9.1.3 詞性標(biāo)注體系 150
9.2 HMM 詞性標(biāo)注的原理和基本問題 151
9.2.1 HMM 詞性標(biāo)注的原理 151
9.2.2 HMM 的基本問題 151
9.3 案例實現(xiàn)——HMM 的中文詞性標(biāo)注 152
本章總結(jié) 158
作業(yè)與練習(xí) 158
第 10 章 HMM 的命名實體識別 159
10.1 命名實體識別 160
10.1.1 命名實體識別的概念 160
10.1.2 NER 的標(biāo)注方法 160
10.2 NER 的 HMM 162
10.3 案例實現(xiàn)——HMM 的中文命名實體識別 162
本章總結(jié) 175
作業(yè)與練習(xí) 175
第 11 章 BiLSTM-CRF 的命名實體識別 176
11.1 CRF 簡介 177
11.1.1 CRF 的基本概念 177
11.1.2 BiLSTM 的命名實體識別 177
11.1.3 CRF 的命名實體識別 178
11.2 BiLSTM-CRF 的原理 179
11.3 案例實現(xiàn)——BiLSTM-CRF 的中文命名實體識別 180
本章總結(jié) 189
作業(yè)與練習(xí) 189
第 4 部分 預(yù)訓(xùn)練模型
第 12 章 ALBERT 的命名實體識別 192
12.1 預(yù)訓(xùn)練模型簡介 193
12.1.1 預(yù)訓(xùn)練模型的基本概念 193
12.1.2 經(jīng)典的預(yù)訓(xùn)練模型 193
12.2 預(yù)訓(xùn)練模型 Hugging Face 195
12.2.1 Hugging Face 簡介 195
12.2.2 案例實現(xiàn)——使用 Hugging Face完成情感分析 196
12.3 案例實現(xiàn)——ALBERT 的中文命名實體識別 198
本章總結(jié) 207
作業(yè)與練習(xí) 207
第 13 章 Transformer 的文本分類 209
13.1 Transformer 概述 210
13.1.1 Encoder-Decoder 模型 210
13.1.2 Transformer 簡介 210
13.1.3 Transformer 總體結(jié)構(gòu) 211
13.2 Self-Attention 機(jī)制 213
13.2.1 Self-Attention 機(jī)制的原理 213
13.2.2 Self-Attention 的計算過程 214
13.2.3 位置編碼和 Layer Normalization 215
13.3 案例實現(xiàn)——Transformer 的文本分類 217
本章總結(jié) 234
作業(yè)與練習(xí) 234
第 14 章 BERT 的文本相似度計算 236
14.1 文本相似度簡介 237
14.1.1 文本相似度的應(yīng)用場景 237
14.1.2 文本相似度計算的方法 237
14.2 BERT 的文本相似度簡介 238
14.3 案例實現(xiàn)——BERT 的文本相似度計算 239
本章總結(jié) 251
作業(yè)與練習(xí) 251
第 15 章 ERNIE 的情感分析 253
15.1 情感分析簡介 254
15.1.1 情感分析的基本概念 254
15.1.2 情感分析的方法 254
15.2 ERNIE 簡介 255
15.3 案例實現(xiàn)——ERNIE 的中文情感分析 257
本章總結(jié) 271
作業(yè)與練習(xí) 272