第1章 機(jī)器學(xué)習(xí)概述 1
1.1 什么是機(jī)器學(xué)習(xí) 1
1.2 機(jī)器學(xué)習(xí)的作用領(lǐng)域 3
1.3 機(jī)器學(xué)習(xí)的分類(lèi) 4
1.4 機(jī)器學(xué)習(xí)理論基礎(chǔ) 6
1.5 機(jī)器學(xué)習(xí)應(yīng)用開(kāi)發(fā)的典型步驟 7
1.6 本章小結(jié) 8
1.7 復(fù)習(xí)題 8
第2章 機(jī)器學(xué)習(xí)之?dāng)?shù)據(jù)特征 9
2.1 數(shù)據(jù)的分布特征 9
2.1.1 數(shù)據(jù)分布集中趨勢(shì)的測(cè)度 9
2.1.2 數(shù)據(jù)分布離散程度的測(cè)定 14
2.1.3 數(shù)據(jù)分布偏態(tài)與峰度的測(cè)定 17
2.2 數(shù)據(jù)的相關(guān)性 19
2.2.1 相關(guān)關(guān)系 19
2.2.2 相關(guān)分析 22
2.3 數(shù)據(jù)的聚類(lèi)性 24
2.4 數(shù)據(jù)主成分分析 27
2.4.1 主成分分析的原理及模型 27
2.4.2 主成分分析的幾何解釋 29
2.4.3 主成分的導(dǎo)出 30
2.4.4 證明主成分的方差是依次遞減的 31
2.4.5 主成分分析的計(jì)算 32
2.5 數(shù)據(jù)動(dòng)態(tài)性及其分析模型 34
2.5.1 動(dòng)態(tài)數(shù)據(jù)及其特點(diǎn) 34
2.5.2 動(dòng)態(tài)數(shù)據(jù)分析模型分類(lèi) 35
2.5.3 平穩(wěn)時(shí)間序列建模 35
2.6 數(shù)據(jù)可視化 37
2.7 本章小結(jié) 39
2.8 復(fù)習(xí)題 39
第3章 用scikit-learn估計(jì)器分類(lèi) 40
3.1 scikit-learn基礎(chǔ) 40
3.1.1 sklearn包含的機(jī)器學(xué)習(xí)方式 40
3.1.2 sklearn的強(qiáng)大數(shù)據(jù)庫(kù) 41
3.1.3 sklearn datasets構(gòu)造數(shù)據(jù) 42
3.2 scikit-learn估計(jì)器 43
3.2.1 sklearn估計(jì)器的類(lèi)別 43
3.2.2 sklearn分類(lèi)器的比較 43
3.3 本章小結(jié) 47
3.4 復(fù)習(xí)題 48
第4章 樸素貝葉斯分類(lèi) 49
4.1 算法原理 49
4.1.1 樸素貝葉斯算法原理 49
4.1.2 樸素貝葉斯分類(lèi)法 50
4.1.3 拉普拉斯校準(zhǔn) 52
4.2 樸素貝葉斯分類(lèi) 52
4.2.1 高斯樸素貝葉斯 53
4.2.2 伯努利樸素貝葉斯 54
4.2.3 多項(xiàng)式樸素貝葉斯 55
4.3 樸素貝葉斯分類(lèi)實(shí)例 57
4.4 樸素貝葉斯連續(xù)值的處理 60
4.5 本章小結(jié) 62
4.6 復(fù)習(xí)題 63
第5章 線(xiàn)性回歸 64
5.1 簡(jiǎn)單線(xiàn)性回歸模型 64
5.1.1 一元線(xiàn)性回歸模型 64
5.1.2 損失函數(shù) 65
5.1.3 梯度下降算法 65
5.1.4 二元線(xiàn)性回歸模型 67
5.1.5 多元線(xiàn)性回歸模型 68
5.2 分割數(shù)據(jù)集 68
5.2.1 訓(xùn)練集和測(cè)試集 69
5.2.2 驗(yàn)證集 72
5.3 用簡(jiǎn)單線(xiàn)性回歸模型預(yù)測(cè)考試成績(jī) 73
5.3.1 創(chuàng)建數(shù)據(jù)集并提取特征和標(biāo)簽 73
5.3.2 模型訓(xùn)練 75
5.4 本章小結(jié) 78
5.5 復(fù)習(xí)題 78
第6章 用k近鄰算法分類(lèi)和回歸 79
6.1 k近鄰算法模型 79
6.1.1 k近鄰算法的原理 79
6.1.2 距離的度量 81
6.1.3 算法的優(yōu)缺點(diǎn)及算法的變種 81
6.2 用k近鄰算法處理分類(lèi)問(wèn)題 82
6.3 用k近鄰算法對(duì)鳶尾花進(jìn)行分類(lèi) 85
6.3.1 導(dǎo)入數(shù)據(jù)集 85
6.3.2 模型訓(xùn)練 86
6.4 用k近鄰算法進(jìn)行回歸擬合 88
6.5 本章小結(jié) 90
6.6 復(fù)習(xí)題 91
第7章 從簡(jiǎn)單線(xiàn)性回歸到多元線(xiàn)性回歸 92
7.1 多變量的線(xiàn)性模型 92
7.1.1 簡(jiǎn)單線(xiàn)性回歸模型 92
7.1.2 多元線(xiàn)性回歸模型的預(yù)測(cè)函數(shù) 93
7.1.3 向量形式的預(yù)測(cè)函數(shù) 93
7.1.4 向量形式的損失函數(shù) 94
7.1.5 梯度下降算法 94
7.2 模型的優(yōu)化 94
7.2.1 數(shù)據(jù)歸一化 94
7.2.2 欠擬合和過(guò)擬合 96
7.2.3 正則化 99
7.2.4 線(xiàn)性回歸與多項(xiàng)式 101
7.2.5 查準(zhǔn)率和召回率 102
7.3 用多元線(xiàn)性回歸模型預(yù)測(cè)波士頓房?jī)r(jià) 103
7.3.1 導(dǎo)入波士頓房?jī)r(jià)數(shù)據(jù) 104
7.3.2 模型訓(xùn)練 105
7.3.3 模型優(yōu)化 106
7.3.4 學(xué)習(xí)曲線(xiàn) 108
7.4 本章小結(jié) 110
7.5 復(fù)習(xí)題 110
第8章 從線(xiàn)性回歸到邏輯回歸 111
8.1 邏輯回歸模型 111
8.1.1 基本公式 112
8.1.2 邏輯回歸算法的代價(jià)函數(shù) 113
8.1.3 邏輯回歸算法的損失函數(shù) 114
8.1.4 梯度下降算法 114
8.2 多元分類(lèi)問(wèn)題 115
8.2.1 OVR 115
8.2.2 softmax函數(shù) 116
8.3 正則化項(xiàng) 118
8.3.1 線(xiàn)性回歸的正則化 118
8.3.2 邏輯回歸的正則化 119
8.4 模型優(yōu)化 119
8.4.1 判定邊界 119
8.4.2 L1和L2的區(qū)別 120
8.5 用邏輯回歸算法處理二分類(lèi)問(wèn)題 121
8.5.1 導(dǎo)入數(shù)據(jù)集 122
8.5.2 模型訓(xùn)練 123
8.5.3 學(xué)習(xí)曲線(xiàn) 125
8.6 識(shí)別手寫(xiě)數(shù)字的多元分類(lèi)問(wèn)題 128
8.6.1 導(dǎo)入數(shù)據(jù)集 128
8.6.2 模型訓(xùn)練 129
8.6.3 模型優(yōu)化 131
8.7 本章小結(jié) 132
8.8 復(fù)習(xí)題 132
第9章 非線(xiàn)性分類(lèi)和決策樹(shù)回歸 133
9.1 決策樹(shù)的特點(diǎn) 133
9.2 決策樹(shù)分類(lèi) 135
9.3 決策樹(shù)回歸 137
9.4 決策樹(shù)的復(fù)雜度及使用技巧 139
9.5 決策樹(shù)算法：ID3、C4.5和CART 140
9.5.1 ID3算法 140
9.5.2 C4.5算法 141
9.5.3 CART算法 142
9.6 本章小結(jié) 143
9.7 復(fù)習(xí)題 143
第10章 集成方法：從決策樹(shù)到隨機(jī)森林 144
10.1 Bagging元估計(jì)器 144
10.2 由隨機(jī)樹(shù)組成的森林 145
10.2.1 隨機(jī)森林 145
10.2.2 極限隨機(jī)樹(shù) 146
10.2.3 參數(shù) 146
10.2.4 并行化 147
10.2.5 特征重要性評(píng)估 147
10.3 AdaBoost 149
10.3.1 AdaBoost算法 149
10.3.2 AdaBoost使用方法 150
10.4 梯度提升回歸樹(shù) 150
10.4.1 分類(lèi) 151
10.4.2 回歸 151
10.4.3 訓(xùn)練額外的弱學(xué)習(xí)器 153
10.4.4 控制樹(shù)的大小 154
10.4.5 數(shù)學(xué)公式 154
10.4.6 正則化 155
10.4.7 投票分類(lèi)器 157
10.4.8 投票回歸器 159
10.5 本章小結(jié) 161
10.6 復(fù)習(xí)題 161
第11章 從感知機(jī)到支持向量機(jī) 162
11.1 線(xiàn)性支持向量機(jī)分類(lèi) 162
11.1.1 線(xiàn)性支持向量機(jī)分類(lèi)示例 163
11.1.2 軟間隔分類(lèi) 165
11.2 非線(xiàn)性支持向量機(jī)分類(lèi) 168
11.2.1 多項(xiàng)式內(nèi)核 169
11.2.2 相似特征 171
11.2.3 高斯RBF內(nèi)核 173
11.2.4 計(jì)算復(fù)雜度 175
11.3 支持向量機(jī)回歸 175
11.4 本章小結(jié) 178
11.5 復(fù)習(xí)題 178
第12章 從感知機(jī)到人工神經(jīng)網(wǎng)絡(luò) 179
12.1 從神經(jīng)元到人工神經(jīng)元 179
12.1.1 生物神經(jīng)元 180
12.1.2 神經(jīng)元的邏輯計(jì)算 181
12.2 感知機(jī) 182
12.3 多層感知機(jī) 186
12.3.1 反向傳播算法 187
12.3.2 激活函數(shù) 188
12.3.3 分類(lèi)MLP 189
12.3.4 回歸MLP 190
12.3.5 實(shí)用技巧 191
12.4 本章小結(jié) 192
12.5 復(fù)習(xí)題 192
第13章 主成分分析降維 193
13.1 數(shù)據(jù)的向量表示及降維問(wèn)題 193
13.2 向量的表示及基變換 194
13.2.1 內(nèi)積與投影 194
13.2.2 基 195
13.2.3 基變換的矩陣表示 196
13.3 協(xié)方差矩陣及優(yōu)化目標(biāo) 197
13.3.1 方差 198
13.3.2 協(xié)方差 199
13.3.3 協(xié)方差矩陣 199
13.3.4 協(xié)方差矩陣對(duì)角化 200
13.4 PCA算法流程 201
13.5 PCA實(shí)例 202
13.6 scikit-learn PCA降維實(shí)例 203
13.7 核主成分分析KPCA簡(jiǎn)介 208
13.8 本章小結(jié) 209
13.9 復(fù)習(xí)題 209
參考文獻(xiàn) 210