第 1章　緒論1

　1.1 什么是機(jī)器學(xué)習(xí)1

　1.2 不同類型的學(xué)習(xí)1

　1.2.1 監(jiān)督學(xué)習(xí)1

　1.2.2 非監(jiān)督學(xué)習(xí)2

　1.2.3 半監(jiān)督學(xué)習(xí)3

　1.2.4 強(qiáng)化學(xué)習(xí)3

　1.3 監(jiān)督學(xué)習(xí)是如何工作的4

　1.4 為什么模型可以應(yīng)用于新數(shù)據(jù)9

第　2章 符號(hào)和定義10

　2.1 符號(hào)10

　2.1.1 數(shù)據(jù)結(jié)構(gòu)10

　2.1.2 大寫(xiě)西格瑪符號(hào)12

　2.1.3 大寫(xiě)派符號(hào)12

　2.1.4 集合運(yùn)算13

　2.1.5 向量運(yùn)算13

　2.1.6 函數(shù)14

　2.1.7 max和argmax16

　2.1.8 賦值運(yùn)算符16

　2.1.9 導(dǎo)數(shù)和梯度16

　2.2 隨機(jī)變量18

　2.3 無(wú)偏估計(jì)值20

　2.4 貝葉斯準(zhǔn)則21

　2.5 參數(shù)估計(jì)21

　2.6 參數(shù)與超參數(shù)23

　2.7 分類vs.回歸23

　2.8 基于模型學(xué)習(xí)vs.基于實(shí)例學(xué)習(xí)24

　2.9 淺層學(xué)習(xí)vs.深度學(xué)習(xí)24

第3章　基本算法26

　3.1 線性回歸26

　3.1.1 問(wèn)題陳述26

　3.1.2 解決方案28

　3.2 對(duì)數(shù)幾率回歸30

　3.2.1 問(wèn)題陳述31

　3.2.2 解決方案32

　3.3 決策樹(shù)學(xué)習(xí)34

　3.3.1 問(wèn)題陳述34

　3.3.2 解決方案34

　3.4 支持向量機(jī)37

　3.4.1 處理噪聲38

　3.4.2 處理固有非線性39

　3.5 k近鄰42

第4章　算法剖析43

　4.1 一個(gè)算法的組成部分43

　4.2 梯度下降44

　4.3 機(jī)器學(xué)習(xí)工程師如何工作50

　4.4 學(xué)習(xí)算法的特性51

第5章　基本實(shí)踐53

　5.1 特征工程53

　5.1.1 獨(dú)熱編碼54

　5.1.2 裝箱55

　5.1.3 歸一化56

　5.1.4 標(biāo)準(zhǔn)化56

　5.1.5 處理特征缺失值57

　5.1.6 數(shù)據(jù)補(bǔ)全技術(shù)58

　5.2 選擇學(xué)習(xí)算法59

　5.3 3個(gè)數(shù)據(jù)集61

　5.4 欠擬合與過(guò)擬合63

　5.5 正則化66

　5.6 模型效果評(píng)估67

　5.6.1 混淆矩陣69

　5.6.2 查準(zhǔn)率/查全率70

　5.6.3 準(zhǔn)確率71

　5.6.4 代價(jià)敏感準(zhǔn)確率71

　5.6.5 ROC曲線下面積72

　5.7 超參數(shù)調(diào)試73

　交叉驗(yàn)證75

第6章　神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)77

　6.1 神經(jīng)網(wǎng)絡(luò)77

　6.1.1 多層感知機(jī)例子78

　6.1.2 前饋神經(jīng)網(wǎng)絡(luò)80

　6.2 深度學(xué)習(xí)81

　6.2.1 卷軸神經(jīng)網(wǎng)絡(luò)83

　6.2.2 循環(huán)神經(jīng)網(wǎng)絡(luò)90

第7章　問(wèn)題與解決方案96

　7.1 核回歸96

　7.2 多類別分類98

　7.3 單類別分類99

　7.4 多標(biāo)簽分類102

　7.5 集成學(xué)習(xí)104

　7.5.1 提升法與裝袋法105

　7.5.2 隨機(jī)森林105

　7.5.3 梯度提升106

　7.6 學(xué)習(xí)標(biāo)注序列109

　7.7 序列到序列學(xué)習(xí)111

　7.8 主動(dòng)學(xué)習(xí)113

　7.9 半監(jiān)督學(xué)習(xí)115

　7.10 單樣本學(xué)習(xí)118

　7.11 零樣本學(xué)習(xí)120

第8章　進(jìn)階操作122

　8.1 處理不平衡的數(shù)據(jù)集122

　8.2 組合模型124

　8.3 訓(xùn)練神經(jīng)網(wǎng)絡(luò)125

　8.4 進(jìn)階正則化127

　8.5 處理多輸入128

　8.6 處理多輸出129

　8.7 遷移學(xué)習(xí)130

　8.8 算法效率131

第9章　非監(jiān)督學(xué)習(xí)135

　9.1 密度預(yù)估135

　9.2 聚類138

　9.2.1 k均值138

　9.2.2 DBSCAN和HDBSCAN140

　9.2.3 決定聚類簇個(gè)數(shù)141

　9.2.4 其他聚類算法145

　9.3 維度降低148

　9.3.1 主要成分分析149

　9.3.2 UMAP151

　9.4 異常值檢測(cè)153

第　10章 其他學(xué)習(xí)形式154

　10.1 質(zhì)量學(xué)習(xí)154

　10.2 排序?qū)W習(xí)156

　10.3 推薦學(xué)習(xí)159

　10.3.1 因子分解機(jī)161

　10.3.2 去噪自編碼器163

　10.4 自監(jiān)督學(xué)習(xí)：詞嵌入164

第　11章 結(jié)論167

　11.1 主題模型167

　11.2 高斯過(guò)程168

　11.3 廣義線性模型168

　11.4 概率圖模型168

　11.5 馬爾可夫鏈蒙特卡洛算法169

　11.6 基因算法170

　11.7 強(qiáng)化學(xué)習(xí)170

術(shù)語(yǔ)表172