本書介紹了能源大數(shù)據(jù)分析的理論知識與實踐方法，主要內(nèi)容包括大數(shù)據(jù)處理與分析理論、能源系統(tǒng)與能源大數(shù)據(jù)應用、能源大數(shù)據(jù)處理與分析實踐三個部分。大數(shù)據(jù)處理與分析理論包括大數(shù)據(jù)的基本概念、應用流程、平臺技術(shù)、采集與處理，還包括回歸分析、分類分析、聚類分析和深度學習等機器學習的基本理論。能源系統(tǒng)與能源大數(shù)據(jù)應用介紹了能源系統(tǒng)的基本概念和能源大數(shù)據(jù)的典型應用，能源系統(tǒng)的基本概念包括能源分類、能源互聯(lián)網(wǎng)、智慧能源等，能源大數(shù)據(jù)的典型應用選取能源經(jīng)濟與管理大數(shù)據(jù)應用、煤炭大數(shù)據(jù)應用、油氣大數(shù)據(jù)應用和電力大數(shù)據(jù)應用進行了介紹。能源大數(shù)據(jù)處理與分析實踐選取了8個具體案例對能源大數(shù)據(jù)的具體應用方法進行了編程實現(xiàn)和介紹。
目錄
第一部分 大數(shù)據(jù)處理與分析理論
第1章 大數(shù)據(jù)概述 2
1.1 大數(shù)據(jù)概念 2
1.1.1 大數(shù)據(jù)定義與內(nèi)涵 2
1.1.2 大數(shù)據(jù)的特征 2
1.1.3 數(shù)據(jù)類型 4
1.2 大數(shù)據(jù)的應用 4
1.3 大數(shù)據(jù)的處理流程 7
1.3.1 大數(shù)據(jù)處理的基本流程 7
1.3.2 數(shù)據(jù)采集 7
1.3.3 數(shù)據(jù)預處理 8
1.3.4 數(shù)據(jù)統(tǒng)計分析和數(shù)據(jù)挖掘 8
1.3.5 數(shù)據(jù)可視化 10
1.4 大數(shù)據(jù)平臺技術(shù) 11
1.4.1 大數(shù)據(jù)系統(tǒng)生態(tài) 11
1.4.2 大數(shù)據(jù)存儲與管理 12
1.4.3 大數(shù)據(jù)計算與處理 15
思考題 19
本章參考文獻 19
第2章 數(shù)據(jù)獲取與預處理 21
2.1 數(shù)據(jù)獲取與預處理概述 21
2.1.1 數(shù)據(jù)獲取 21
2.1.2 數(shù)據(jù)清洗與數(shù)據(jù)轉(zhuǎn)換 22
2.1.3 數(shù)據(jù)加載 22
2.2 數(shù)據(jù)獲取技術(shù) 23
2.2.1 數(shù)據(jù)獲取技術(shù)概述 23
2.2.2 網(wǎng)絡爬蟲 24
2.3 數(shù)據(jù)預處理 28
2.3.1 數(shù)據(jù)質(zhì)量 28
2.3.2 數(shù)據(jù)清洗 29
2.3.3 數(shù)據(jù)集成 31
2.3.4 數(shù)據(jù)轉(zhuǎn)換 33
2.3.5 數(shù)據(jù)歸約 34
2.4 數(shù)據(jù)集的構(gòu)建 36
2.4.1 數(shù)據(jù)集的劃分 36
2.4.2 重抽樣方法 36
思考題 38
本章參考文獻 38
第3章 回歸分析 40
3.1 回歸分析概述 40
3.2 線性回歸 41
3.3 非線性回歸 42
3.4 分位數(shù)回歸 44
思考題 46
本章參考文獻 46
第4章 分類分析 48
4.1 分類分析概述 48
4.2 貝葉斯分類 50
4.2.1 貝葉斯分類的原理 50
4.2.2 貝葉斯分類的應用與實例 53
4.3 Logistic回歸 54
4.3.1 Logistic回歸的原理 54
4.3.2 Logistic回歸模型的訓練 55
4.3.3 帶正則項的Logistic回歸 56
4.3.4 Logistic回歸的應用 56
4.4 KNN 57
4.5 支持向量機 59
4.5.1 線性可分離數(shù)據(jù)的支持向量機 59
4.5.2 不可分離數(shù)據(jù)的支持向量機 62
4.5.3 非線性支持向量機 64
4.6 決策樹 65
4.6.1 決策樹簡介 65
4.6.2 ID3算法 66
4.6.3 C4.5算法 67
4.6.4 CART算法 69
4.7 集成學習 72
4.7.1 集成學習概述 72
4.7.2 隨機森林 73
4.7.3 AdaBoost 75
4.7.4 GBDT 76
4.7.5 XGBoost 77
4.8 分類器評估 80
思考題 84
本章參考文獻 84
第5章 聚類分析 86
5.1 聚類的特征提取 86
5.1.1 過濾器模型 87
5.1.2 包裝器模型 89
5.2 基于代表的聚類 90
5.2.1 K-Means算法 90
5.2.2 核K-Means算法 91
5.2.3 K-Medians算法 91
5.2.4 K-Medoids算法 92
5.3 層次聚類 93
5.3.1 自下而上的聚類 93
5.3.2 自上而下的聚類 96
5.4 基于網(wǎng)格和密度的聚類 97
5.4.1 基于網(wǎng)格的聚類算法 97
5.4.2 DBSCAN算法 99
5.4.3 DENCLUE算法 101
5.5 聚類的有效性 102
5.5.1 內(nèi)部驗證方法 102
5.5.2 外部驗證方法 103
思考題 104
本章參考文獻 105
第6章 深度學習 106
6.1 深度學習概述 106
6.2 BP神經(jīng)網(wǎng)絡 107
6.2.1 激活函數(shù) 107
6.2.2 BP算法的基本原理 110
6.3 卷積神經(jīng)網(wǎng)絡 113
6.3.1 從全連接到卷積 113
6.3.2 卷積層 113
6.3.3 匯聚層 117
6.3.4 典型的卷積神經(jīng)網(wǎng)絡 118
6.4 循環(huán)神經(jīng)網(wǎng)絡 122
6.4.1 RNN的展開 123
6.4.2 RNN的結(jié)構(gòu) 123
6.4.3 雙向RNN 125
6.4.4 基于門控的RNN 126
6.5 Word2Vec 128
6.6 圖神經(jīng)網(wǎng)絡 131
6.6.1 圖的概念 131
6.6.2 節(jié)點的中心性 131
6.6.3 圖嵌入 133
6.6.4 圖卷積神經(jīng)網(wǎng)絡 135
思考題 136
本章參考文獻 137
第二部分 能源系統(tǒng)與能源大數(shù)據(jù)應用
第7章 能源系統(tǒng) 140
7.1 能源的定義和分類 140
7.2 能源系統(tǒng)及其演化 144
7.2.1 能源系統(tǒng)概述 144
7.2.2 典型的能源系統(tǒng) 145
7.2.3 能源系統(tǒng)的演化 149
7.3 能源互聯(lián)網(wǎng)與智慧能源 151
7.3.1 能源互聯(lián)網(wǎng)的內(nèi)涵 151
7.3.2 能源互聯(lián)網(wǎng)的功能 155
7.3.3 能源互聯(lián)網(wǎng)的技術(shù)框架 157
7.3.4 智慧能源的內(nèi)涵 159
7.3.5 智慧能源的體系架構(gòu) 159
7.3.6 智慧能源的發(fā)展趨勢 161
思考題 163
本章參考文獻 163
第8章 能源大數(shù)據(jù)應用 164
8.1 能源大數(shù)據(jù)的內(nèi)涵 164
8.2 能源經(jīng)濟與管理大數(shù)據(jù)應用 166
8.2.1 能源經(jīng)濟與管理大數(shù)據(jù)應用概況 166
8.2.2 國內(nèi)外能源經(jīng)濟與管理大數(shù)據(jù)平臺介紹 167
8.3 煤炭大數(shù)據(jù)應用 170
8.3.1 煤炭大數(shù)據(jù)應用概況 170
8.3.2 智能礦山平臺 171
8.3.3 國內(nèi)外應用情況 176
8.4 油氣大數(shù)據(jù)應用 182
8.4.1 油氣大數(shù)據(jù)應用概況 182
8.4.2 油氣大數(shù)據(jù)體系架構(gòu) 184
8.4.3 油田應用情況 186
8.5 電力大數(shù)據(jù)應用 191
8.5.1 電力大數(shù)據(jù)應用概況 191
8.5.2 電力大數(shù)據(jù)體系架構(gòu) 193
8.5.3 國內(nèi)外應用情況 195
思考題 199
本章參考文獻 199
第三部分 能源大數(shù)據(jù)處理與分析實踐
第9章 能源經(jīng)濟與管理大數(shù)據(jù)處理與分析案例 202
9.1 能源政策文本分析 202
9.1.1 案例描述 202
9.1.2 能源政策文本數(shù)據(jù)采集 202
9.1.3 能源政策詞云圖 205
9.2 國際LNG貿(mào)易網(wǎng)絡分析 206
9.2.1 案例描述 206
9.2.2 數(shù)據(jù)預處理與圖的生成 206
9.2.3 LNG貿(mào)易網(wǎng)絡節(jié)點中心性 208
9.2.4 LNG貿(mào)易網(wǎng)絡的圖嵌入 209
第10章 煤炭大數(shù)據(jù)分析案例 211
10.1 煤炭類型識別 211
10.1.1 案例描述 211
10.1.2 實現(xiàn)步驟 211
10.1.3 程序?qū)崿F(xiàn)與結(jié)果分析 212
10.2 煤礦地震預測 215
10.2.1 案例描述 215
10.2.2 模型方法與數(shù)據(jù)集 215
10.2.3 程序?qū)崿F(xiàn)與結(jié)果分析 216
第11章 油氣大數(shù)據(jù)分析案例 219
11.1 油氣消費量的影響因素分析 219
11.1.1 案例描述 219
11.1.2 回歸分析 219
11.1.3 結(jié)果分析 221
11.2 石油管線事故損失預測 222
11.2.1 案例描述 222
11.2.2 隨機森林回歸的步驟 222
11.2.3 程序?qū)崿F(xiàn)與結(jié)果分析 223
第12章 電力大數(shù)據(jù)分析案例 226
12.1 基于LSTM方法的家庭用電量預測 226
12.1.1 案例描述 226
12.1.2 家庭用電量數(shù)據(jù)集 226
12.1.3 LSTM模型的應用與實現(xiàn) 227
12.2 基于Stacking融合方法的電網(wǎng)負荷預測 234
12.2.1 案例描述 234
12.2.2 Stacking融合方法 234
12.2.3 電網(wǎng)負荷數(shù)據(jù)集 235
12.2.4 Stacking模型的應用與實現(xiàn) 235
書單推薦
