本書從傳統(tǒng)的機器學(xué)習(xí),如線性回歸、邏輯回歸、樸素貝葉斯、支持向量機、集成學(xué)習(xí),到前沿的深度學(xué)習(xí)和神經(jīng)網(wǎng)絡(luò),如DNN、CNN、BERT、ResNet等,對人工智能技術(shù)進行零基礎(chǔ)講解,內(nèi)容涵蓋數(shù)學(xué)原理、公式推導(dǎo)、圖表展示、企業(yè)應(yīng)用案例。本書面向初中級讀者,能幫助讀者迅速掌握機器學(xué)習(xí)技術(shù)的相關(guān)概念及原理。本書內(nèi)容結(jié)合作者多年的科研工作經(jīng)驗,理論和實踐并重,對科研、學(xué)習(xí)、面試等均有幫助。
2003年~2012年年就讀于北京科技大學(xué)本科碩士博士,2016年于北京大學(xué)博士后流動站出站,研究方向為:機器學(xué)習(xí),人工智能,計算機視覺和自然語言屬于。工作于騰訊,愛奇藝等頂級互聯(lián)網(wǎng)公司從事人工智能技術(shù)的應(yīng)用研發(fā)工作。曾獲得騰訊年度人工智能銅獎,所做項目涉及自然語言處理,推薦系統(tǒng),領(lǐng)導(dǎo)團隊參與多項公司級項目的搭建和優(yōu)化。工作之余,一直和培訓(xùn)機構(gòu)進行合作,主講人工智能課程,致力于人工智能在中國的普及推廣和應(yīng)用。
第1章 數(shù)據(jù)的量化和特征提取 1
1.1 機器學(xué)習(xí)概述 1
1.2 特征提取 2
1.3 向量距離計算 6
第2章 線性回歸 12
2.1 線性回歸的基本概念 13
2.2 損失函數(shù)和梯度下降法 14
2.3 訓(xùn)練集和測試集 19
2.4 多項式回歸 21
2.5 線性回歸的高級技巧 23
2.5.1 特征敏感性研究 23
2.5.2 損失函數(shù)的選擇 24
第3章 邏輯回歸 27
3.1 邏輯回歸的基本原理 28
3.2 交叉熵和KL距離 32
3.2.1 KL距離 32
3.2.2 梯度下降法 34
3.2.3 上采樣和下采樣 36
3.3 線性不可分及其解決方案 38
3.4 L1正則和L2正則 39
3.5 分類模型的評價標(biāo)準(zhǔn) 43
3.6 邏輯回歸的特征提升技巧 47
3.6.1 特征歸一化 47
3.6.2 特征分段 49
3.7 深入理解損失函數(shù)和邏輯函數(shù) 51
第4章 因子分解模型 55
4.1 基本原理和特征交叉 55
4.1.1 基本原理 55
4.1.2 特征交叉簡化 58
4.1.3 參數(shù)學(xué)習(xí) 59
4.2 因子分解模型和矩陣分解 61
第5章 經(jīng)典分類模型 63
5.1 支持向量機 63
5.1.1 支持向量機的基本原理 63
5.1.2 支持向量機和邏輯回歸的比較 68
5.2 核方法 70
5.2.1 核函數(shù) 70
5.2.2 核函數(shù)在支持向量機中的應(yīng)用 72
5.3 樸素貝葉斯 73
5.3.1 樸素貝葉斯原理 73
5.3.2 樸素貝葉斯的參數(shù)估計 76
5.4 維數(shù)災(zāi)難 78
5.5 奧卡姆剃刀定律的應(yīng)用 82
5.6 經(jīng)驗風(fēng)險、期望風(fēng)險和結(jié)構(gòu)風(fēng)險 83
第6章 無監(jiān)督學(xué)習(xí) 85
6.1 K-Means聚類 86
6.1.1 K-Means算法的基本原理 86
6.1.2 改進型K-Means算法 88
6.1.3 K-Means算法和邏輯回歸的結(jié)合應(yīng)用 91
6.2 主題模型 92
6.2.1 LDA模型的原理 93
6.2.2 LDA模型的訓(xùn)練 95
第7章 集成學(xué)習(xí) 100
7.1 決策樹 100
7.2 隨機森林 105
7.3 GBDT 108
第8章 深度神經(jīng)網(wǎng)絡(luò) 113
8.1 BP神經(jīng)網(wǎng)絡(luò)的基本原理 113
8.2 多分類與Softmax函數(shù) 118
8.3 梯度下降法和鏈?zhǔn)椒▌t 120
8.4 度量學(xué)習(xí) 125
第9章 神經(jīng)網(wǎng)絡(luò)調(diào)優(yōu) 130
9.1 激活函數(shù)選型 131
9.2 權(quán)重初始化 135
9.3 改進型梯度下降法 137
9.3.1 隨機梯度下降法 138
9.3.2 鞍點問題 141
9.3.3 梯度下降法的優(yōu)化 142
9.4 過擬合解決方案 145
9.4.1 正則化 145
9.4.2 Dropout 146
9.4.3 提前終止 147
9.4.4 批標(biāo)準(zhǔn)化和層標(biāo)準(zhǔn)化 148
9.4.5 Shortcut 151
9.4.6 標(biāo)簽平滑 151
9.4.7 人工制造數(shù)據(jù) 152
第10章 自然語言處理 154
10.1 自然語言處理模型 154
10.2 one-hot編碼和embedding技術(shù) 156
10.3 哈夫曼樹和負(fù)采樣 161
10.3.1 哈夫曼樹 161
10.3.2 負(fù)采樣 163
10.4 Word2vec的應(yīng)用 165
10.5 fastText模型的原理及應(yīng)用 166
第11章 卷積神經(jīng)網(wǎng)絡(luò) 169
11.1 卷積層和池化層 169
11.2 卷積神經(jīng)網(wǎng)絡(luò)在圖像處理中的應(yīng)用 177
11.3 卷積神經(jīng)網(wǎng)絡(luò)中的批標(biāo)準(zhǔn)化 179
11.4 TextCNN的原理及應(yīng)用 180
第12章 深入卷積層 185
12.1 1 × 1卷積 185
12.2 小尺寸卷積 186
12.3 寬度卷積和Inception 187
12.4 Depthwise卷積和Pointwise卷積 189
12.5 特征通道加權(quán)卷積 193
第13章 循環(huán)神經(jīng)網(wǎng)絡(luò)和LSTM模型 196
13.1 循環(huán)神經(jīng)網(wǎng)絡(luò)模型詳解 196
13.1.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的基本原理 196
13.1.2 循環(huán)神經(jīng)網(wǎng)絡(luò)存在的一些問題 199
13.2 LSTM模型詳解 202
13.3 LSTM模型的改進和應(yīng)用 206
13.4 CTC算法 208
第14章 Attention模型和Transformer模型 210
14.1 Attention模型詳解 210
14.1.1 注意力機制的基本原理 210
14.1.2 Attention模型概述 212
14.1.3 Attention模型的改進形式 214
14.1.4 Self-Attention模型 215
14.1.5 Multi-Head Attention模型 217
14.2 Transformer模型原理 219
14.3 BERT模型及應(yīng)用 221