第1章數(shù)據(jù)與大數(shù)據(jù)導(dǎo)論1
1.1大數(shù)據(jù)概述1
1.1.1大數(shù)據(jù)的來源1
1.1.2大數(shù)據(jù)的定義和特征3
1.1.3數(shù)據(jù)結(jié)構(gòu)類型4
1.1.4數(shù)據(jù)分析流程5
1.2大數(shù)據(jù)采集和預(yù)處理6
1.2.1大數(shù)據(jù)采集設(shè)備6
1.2.2大數(shù)據(jù)采集方法7
1.2.3大數(shù)據(jù)預(yù)處理技術(shù)7
1.3大數(shù)據(jù)的存儲(chǔ)20
1.3.1數(shù)據(jù)存儲(chǔ)設(shè)備20
1.3.2傳統(tǒng)大數(shù)據(jù)存儲(chǔ)22
1.3.3數(shù)據(jù)中心與云存儲(chǔ)23
1.3.4大數(shù)據(jù)存儲(chǔ)26
1.3.5數(shù)據(jù)倉(cāng)庫(kù)31
1.4云計(jì)算與大數(shù)據(jù)并行計(jì)算32
1.4.1云計(jì)算與云計(jì)算平臺(tái)32
1.4.2MapReduce計(jì)算模型35
1.4.3Hadoop36
1.4.4Spark37
1.5大數(shù)據(jù)分析38
1.5.1大數(shù)據(jù)分析概念38
1.5.2大數(shù)據(jù)分析方法39
1.5.3機(jī)器學(xué)習(xí)與特征選擇42
1.5.4機(jī)器學(xué)習(xí)算法45
1.5.5深度學(xué)習(xí)算法47
1.6大數(shù)據(jù)可視化51
1.6.1數(shù)據(jù)可視化概述51
1.6.2數(shù)據(jù)可視化技術(shù)51
1.6.3數(shù)據(jù)可視化工具54
1.6.4數(shù)據(jù)可視化案例56
1.7大數(shù)據(jù)應(yīng)用及挑戰(zhàn)58
1.7.1大數(shù)據(jù)應(yīng)用58
1.7.2大數(shù)據(jù)帶來的挑戰(zhàn)60
思考題61第2章Python基礎(chǔ)62
2.1Python編程環(huán)境62
2.1.1Anaconda概述62
2.1.2Anaconda的安裝63
2.1.3Anaconda的包管理63
2.1.4運(yùn)行Python代碼或程序64
2.2變量和內(nèi)置數(shù)據(jù)類型66
2.2.1變量和變量賦值66
2.2.2內(nèi)置數(shù)據(jù)類型68
2.2.3運(yùn)算符69
2.2.4注釋和編碼規(guī)范70
2.3列表、元組和字典70
2.3.1列表70
2.3.2元組79
2.3.3字典81
2.4選擇和循環(huán)86
2.4.1選擇結(jié)構(gòu)86
2.4.2for循環(huán)89
2.4.3while循環(huán)90
2.5函數(shù)和模塊92
2.5.1函數(shù)的定義和使用92
2.5.2模塊導(dǎo)入101
2.6文件操作101
2.6.1文件操作基礎(chǔ)101
2.6.2CSV文件操作103
2.6.3JSON文件操作105第3章Pandas數(shù)據(jù)處理和分析107
3.1Pandas基礎(chǔ)107
3.1.1Pandas簡(jiǎn)介107
3.1.2Series108
3.1.3DataFrame114
3.2文件讀寫122
3.2.1讀寫CSV文件123
3.2.2讀寫Excel文件125
3.3數(shù)據(jù)清洗126
3.3.1缺失值處理126
3.3.2重復(fù)值處理131
3.3.3異常值處理133
3.4數(shù)據(jù)操作135
3.4.1常規(guī)運(yùn)算135
3.4.2統(tǒng)計(jì)139
3.4.3排序142
3.5索引操作143
3.5.1索引重命名143
3.5.2索引設(shè)置144
3.5.3重新索引147
3.5.4索引排序149
3.6合并150
3.6.1concat()150
3.6.2merge()152
3.6.3join()155
3.7分組156
3.7.1groupby()156
3.7.2聚合操作159
3.7.3過濾與變換160
3.7.4apply()161
3.8變形162
3.8.1透視162
3.8.2啞變量與因子化164
3.8.3其他變形方法168
思考題171第4章Matplotlib數(shù)據(jù)可視化173
4.1Matplotlib的安裝和導(dǎo)入173
4.2繪制折線圖174
4.2.1導(dǎo)入數(shù)據(jù)174
4.2.2繪制圖表174
4.2.3增加基本修飾175
4.3圖表修飾176
4.3.1標(biāo)題176
4.3.2坐標(biāo)軸標(biāo)簽177
4.3.3坐標(biāo)軸刻度177
4.3.4圖例178
4.3.5線條和標(biāo)記178
4.3.6網(wǎng)格線180
4.3.7注釋180
4.4繪制條形圖183
4.4.1垂直條形圖183
4.4.2水平條形圖184
4.4.3組合條形圖表186
4.5繪制餅圖和環(huán)圖187
4.5.1餅圖187
4.5.2環(huán)圖189
4.6繪制散點(diǎn)圖和泡圖190
4.6.1散點(diǎn)圖190
4.6.2氣泡圖191
4.7繪制雷達(dá)圖、組合雷達(dá)圖、極坐標(biāo)散點(diǎn)圖和極坐標(biāo)條形圖191
4.7.1雷達(dá)圖191
4.7.2組合雷達(dá)圖195
4.7.3極坐標(biāo)散點(diǎn)圖196
4.7.4極坐標(biāo)條形圖197
4.8繪制箱線圖198
4.9多子圖布局200
4.10樣式選擇202
思考題204第5章回歸模型原理與應(yīng)用205
5.1線性回歸模型205
5.1.1回歸分析的含義205
5.1.2線性回歸模型的形式206
5.1.3線性回歸方程參數(shù)求解207
5.1.4線性回歸方程選擇209
5.1.5線性回歸方程預(yù)測(cè)214
5.2非線性回歸模型215
5.2.1可轉(zhuǎn)換為線性回歸模型的非線性回歸模型215
5.2.2非線性回歸模型216
5.3線性回歸模型實(shí)踐案例216
思考題228第6章聚類分析231
6.1聚類分析概述231
6.2聚類分析中的相似度計(jì)算方法232
6.2.1歐幾里得距離232
6.2.2曼哈頓距離232
6.2.3余弦相似度232
6.2.4切比雪夫距離232
6.2.5閔可夫斯基距離233
6.3劃分聚類算法233
6.3.1k�瞞eans聚類算法233
6.3.2k�瞞eans 算法235
6.3.3k�瞞edoids算法237
6.3.4肘法237
6.3.5輪廓系數(shù)238
6.4層次聚類算法242
6.5基于密度的聚類算法246
6.5.1DBSCAN算法246
6.5.2均值漂移聚類算法248
6.6聚類算法的評(píng)價(jià)指標(biāo)249
6.6.1內(nèi)部質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)250
6.6.2外部質(zhì)量評(píng)價(jià)標(biāo)準(zhǔn)252
6.7聚類分析應(yīng)用案例254
6.7.1非球形數(shù)據(jù)分布聚類分析254
6.7.2手寫體數(shù)字聚類分析257
6.7.3鳶尾花數(shù)據(jù)集聚類分析259
思考題263第7章分類模型264
7.1邏輯斯諦回歸分類模型264
7.1.1邏輯斯諦回歸模型簡(jiǎn)介264
7.1.2損失函數(shù)265
7.1.3損失函數(shù)求解方法266
7.1.4邏輯斯諦回歸分類應(yīng)用實(shí)例267
7.2決策樹分類模型268
7.2.1特征選擇268
7.2.2決策樹構(gòu)建269
7.2.3決策樹剪枝270
7.2.4決策樹分類應(yīng)用實(shí)例270
7.3樸素貝葉斯分類模型272
7.3.1樸素貝葉斯分類模型原理272
7.3.2樸素貝葉斯分類模型參數(shù)估計(jì)273
7.3.3貝葉斯分類應(yīng)用實(shí)例274
7.4支持向量機(jī)分類模型275
7.4.1SVM分類模型原理275
7.4.2損失函數(shù)275
7.4.3經(jīng)驗(yàn)風(fēng)險(xiǎn)與結(jié)構(gòu)風(fēng)險(xiǎn)276
7.4.4標(biāo)準(zhǔn)算法277
7.4.5算法求解278
7.4.6支持向量機(jī)分類應(yīng)用實(shí)例279
7.5綜合案例應(yīng)用280
7.5.1讀取數(shù)據(jù)文件281
7.5.2數(shù)據(jù)清洗282
7.5.3數(shù)據(jù)分析284
思考題291第8章集成學(xué)習(xí)293
8.1概述293
8.2序列集成方法294
8.2.1Boosting集成方法294
8.2.2AdaBoost集成方法295
8.3并行集成方法297
8.3.1Bagging集成方法297
8.3.2隨機(jī)森林集成方法298
8.4組合策略299
8.4.1平均法299
8.4.2投票法300
8.4.3學(xué)習(xí)法300
8.5集成學(xué)習(xí)應(yīng)用案例301
8.5.1集成學(xué)習(xí)用于分類任務(wù)301
8.5.2集成學(xué)習(xí)用于回歸任務(wù)302
思考題304第9章深度學(xué)習(xí)305
9.1神經(jīng)網(wǎng)絡(luò)與多層感知機(jī)305
9.1.1神經(jīng)元306
9.1.2激活函數(shù)306
9.1.3多層感知機(jī)307
9.1.4神經(jīng)網(wǎng)絡(luò)的參數(shù)學(xué)習(xí)309
9.2卷積神經(jīng)網(wǎng)絡(luò)309
9.2.1卷積層309
9.2.2池化層312
9.2.3全連接層313
9.3循環(huán)神經(jīng)網(wǎng)絡(luò)313
9.3.1循環(huán)神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)313
9.3.2雙向循環(huán)神經(jīng)網(wǎng)絡(luò)314
9.3.3其他類型的循環(huán)神經(jīng)網(wǎng)絡(luò)314
9.4深度學(xué)習(xí)模型的優(yōu)化316
9.4.1初始化參數(shù)優(yōu)化316
9.4.2逐層歸一化316
9.4.3超參數(shù)優(yōu)化317
9.4.4優(yōu)化算法317
9.5深度學(xué)習(xí)應(yīng)用案例318
9.5.1PyTorch的基本用法318
9.5.2PyTorch中的神經(jīng)網(wǎng)絡(luò)層321
9.5.3PyTorch神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程325
9.5.4深度學(xué)習(xí)模型實(shí)例325
思考題331參考文獻(xiàn)332