緒論 1

1　回歸模型 6
1.1　回歸算法分類 9
1.1.1　一般線性回歸 9
1.1.2　廣義線性回歸 10
1.1.3　非線性回歸 14
1.2　回歸模型的度量指標(biāo) 14
1.3　樣本權(quán)重系數(shù)的理解 17

2　線性回歸模型 18
2.1　普通最小二乘法 19
2.2　嶺回歸（L2正則化回歸） 24
2.2.1　嶺回歸評估器 24
2.2.2　嶺跡曲線 29
2.2.3　交叉驗證嶺回歸評估器 31
2.3　Lasso回歸（L1正則化回歸） 36
2.3.1　Lasso回歸評估器 37
2.3.2　Lasso路徑 42
2.3.3　交叉驗證Lasso回歸評估器 44
2.3.4　多任務(wù)Lasso回歸 50
2.3.5　最小角Lasso回歸 61
2.4　彈性網(wǎng)絡(luò)回歸 71
2.4.1　彈性網(wǎng)絡(luò)回歸評估器 71
2.4.2　交叉驗證彈性網(wǎng)絡(luò)回歸評估器 76
2.4.3　多任務(wù)彈性網(wǎng)絡(luò)回歸評估器 81
2.4.4　交叉驗證多任務(wù)彈性網(wǎng)絡(luò)回歸評估器 84
2.5　正交匹配追蹤回歸 86
2.6　貝葉斯線性回歸 92
2.7　廣義線性回歸 96
2.8　隨機(jī)梯度下降回歸 100
2.9　被動攻擊回歸 108
2.10 魯棒回歸 114
2.10.1　隨機(jī)抽樣一致性回歸 114
2.10.2　泰爾-森回歸 119
2.10.3　胡貝爾回歸 123
2.11 多項式回歸 127

3　非線性回歸模型 132
3.1　支持向量機(jī)回歸 133
3.2　核嶺回歸 145
3.3　最近鄰回歸 147
3.3.1　算法簡介 149
3.3.2　距離度量指標(biāo) 151
3.3.3　最近鄰回歸評估器 154
3.4　高斯過程回歸 159
3.5　決策樹 167
3.5.1　決策樹模型算法簡介 168
3.5.2　決策樹回歸評估器 185
3.6　神經(jīng)網(wǎng)絡(luò)模型 191
3.7　保序回歸 199

4　分類模型 203
4.1　廣義線性回歸分類與非線性分類模型 204
4.2　分類模型的度量指標(biāo) 209

5　線性分類模型 210
5.1　嶺分類 211
5.2　邏輯回歸分類 214
5.3　隨機(jī)梯度下降分類 219
5.4　感知機(jī) 222
5.5　被動攻擊分類 226

6　非線性分類模型 231
6.1　支持向量機(jī)分類 232
6.1.1　支持向量分類評估器SVC 232
6.1.2　支持向量分類評估器NuSVC 234
6.1.3　支持向量分類評估器LinearSVC 234
6.2　最近鄰分類 237
6.2.1　K最近鄰分類評估器KNeighborsClassifier 237
6.2.2　徑向基最近鄰分類評估器 240
6.3　高斯過程分類 241
6.4　樸素貝葉斯模型 244
6.4.1　樸素貝葉斯算法 246
6.4.2　樸素貝葉斯分類 250
6.5　決策樹分類 255
6.6　神經(jīng)網(wǎng)絡(luò)分類 259

7　無監(jiān)督學(xué)習(xí)及模型 263
7.1　聚類 264
7.1.1　聚類算法簡介 267
7.1.2　聚類模型 270
7.2　雙聚類 282
7.2.1　譜聯(lián)合聚類 283
7.2.2　譜雙聚類 286

8　半監(jiān)督學(xué)習(xí)及模型 287
8.1　標(biāo)簽傳播算法 289
8.2　標(biāo)簽蔓延算法 291
8.3　自訓(xùn)練分類器 292