目錄
前言
第1章 大數據概述 1
1.1 大數據定義 1
1.1.1 初識大數據 1
1.1.2 大數據的特征 2
1.1.3 大數據技術 3
1.2 大數據的結構類型 6
1.2.1 結構化數據 6
1.2.2 半結構化數據 7
1.2.3 非結構化數據 7
1.2.4 其他分類方式下的數據類型 8
1.3 大數據發(fā)展 9
1.3.1 大數據概念發(fā)展 9
1.3.2 大數據浪潮下數據存儲的發(fā)展 10
1.4 大數據應用及挑戰(zhàn) 11
1.4.1 大數據應用 11
1.4.2 大數據發(fā)展面臨的挑戰(zhàn) 15
本章小結 17
思考題 18
第2章 大數據采集 19
2.1 大數據來源 19
2.2 大數據采集設備 20
2.2.1 科研數據采集設備 20
2.2.2 網絡數據采集設備 21
2.3 大數據采集方法 21
2.3.1 科研大數據采集方法 21
2.3.2 網絡大數據采集方法 22
2.3.3 系統(tǒng)日志采集方法 24
2.4 大數據預處理技術 25
2.4.1 數據預處理技術基本概述 26
2.4.2 數據清理 27
2.4.3 數據集成 30
2.4.4 數據變換與數據離散化 31
本章小結 34
思考題 34
第3章 大數據存儲 35
3.1 云存儲 35
3.1.1 云存儲簡介 35
3.1.2 云存儲技術 38
3.2 大數據存儲 43
3.2.1 大數據存儲的特點與挑戰(zhàn) 43
3.2.2 存儲系統(tǒng)架構 44
3.2.3 新興數據庫技術 47
3.3 數據中心 50
3.3.1 數據中心概述 50
3.3.2 數據中心的演進 52
3.3.3 數據中心的分級 55
3.3.4 數據中心的體系結構 56
3.4 數據倉庫 59
3.4.1 數據倉庫的基本概念 59
3.4.2 數據倉庫的體系結構 62
本章小結 62
思考題 63
第4章 大數據計算平臺 64
4.1 云計算 64
4.1.1 云計算定義 64
4.1.2 云計算特點 64
4.1.3 云計算體系架構 65
4.1.4 云計算與相關計算形式 67
4.1.5 云計算的機遇與挑戰(zhàn) 68
4.2 云計算平臺 70
4.2.1 主流分布式計算系統(tǒng) 70
4.2.2 主流分布式計算平臺 70
4.3 MapReduce平臺 74
4.3.1 數據存儲技術 75
4.3.2 數據管理技術 76
4.3.3 編程模型 77
4.4 Hadoop平臺 78
4.4.1 Hadoop概述 78
4.4.2 Hadoop結構 79
4.4.3 Hadoop分布式文件系統(tǒng)HDFS 80
4.4.4 Hadoop中的MapReduce 80
4.4.5 Hadoop中MapReduce的任務調度 82
4.5 Spark平臺 82
4.5.1 Spark簡介 82
4.5.2 核心思想與編程模型 84
4.5.3 工作原理 85
4.5.4 Spark的優(yōu)勢 87
本章小結 87
思考題 88
第5章 大數據分析 89
5.1 大數據分析方法 89
5.1.1 布隆過濾器 89
5.1.2 散列法 91
5.1.3 索引法 93
5.1.4 字典樹 95
5.1.5 并行計算 96
5.2 大數據分析架構 98
5.2.1 實時分析與離線分析 98
5.2.2 不同層次的分析 100
5.2.3 不同復雜度的分析 102
5.3 大數據分析應用 103
5.3.1 R語言 103
5.3.2 Excel和SQL 103
5.3.3 RapidMiner 104
5.3.4 KNIME 105
5.3.5 Weka和Pentaho 105
本章小結 106
思考題 107
第6章 大數據挖掘 108
6.1 大數據挖掘算法 109
6.1.1 關聯(lián)規(guī)則 109
6.1.2 分類分析 114
6.1.3 聚類分析 119
6.2 大數據挖掘工具 123
6.2.1 RapidMiner 123
6.2.2 Weka 123
6.2.3 KNIME 124
6.2.4 Orange 124
6.2.5 R語言 125
6.3 大數據挖掘平臺 125
6.3.1 基于Hadoop的平臺 126
6.3.2 基于云計算的平臺 128
6.3.3 基于Spark的平臺 129
6.4 大數據挖掘應用 131
6.4.1 社交媒體 131
6.4.2 醫(yī)學 132
6.4.3 教育 132
6.4.4 金融 133
本章小結 134
思考題 134
第7章 大數據下的機器學習算法 135
7.1 大數據特征選擇 135
7.1.1 大數據特征選擇的必要性 135
7.1.2 大數據特征選擇方法 136
7.2 大數據分類 140
7.2.1 決策樹分類 140
7.2.2 樸素貝葉斯分類 142
7.2.3 貝葉斯網絡分類 143
7.2.4 支持向量機分類 144
7.3 大數據聚類 145
7.3.1 K-means算法 146
7.3.2 DBSCAN算法 150
7.3.3 層次聚類算法 151
7.4 大數據關聯(lián)分析 153
7.4.1 有趣關系 154
7.4.2 Apriori算法 154
7.4.3 FP-growth算法 156
7.5 大數據并行算法 158
7.5.1 基于MapReduce的并行算法設計 158
7.5.2 超越MapReduce的并行算法設計 160
本章小結 162
思考題 162
第8章 大數據可視化 163
8.1 大數據可視化之美 163
8.1.1 數據可視化的基本概念 163
8.1.2 大數據可視化的表現形式 164
8.2 大數據可視化技術 165
8.2.1 基于圖形的可視化方法 166
8.2.2 基于平行坐標法的可視化技術 168
8.2.3 其他數據可視化技術 169
8.3 大數據可視化工具 169
8.3.1 R語言在可視化中的應用 170
8.3.2 D3在可視化中的應用 171
8.3.3 Python在可視化中的應用 172
8.4 大數據可視化案例 173
8.4.1 波士頓地鐵數據可視化 173
8.4.2 實時風場可視化 175
8.4.3 GapMinder 176
8.4.4 死亡率與稅收 177
8.4.5 社交關系圖 177
8.5 大數據可視化的未來 178
8.5.1 數據可視化面臨的挑戰(zhàn) 178
8.5.2 數據可視化技術的發(fā)展方向 178
8.5.3 數據可視化未來的主要應用 178
本章小結 179
思考題 179
第9章 社交大數據 180
9.1 社交大數據 180
9.1.1 社交數據分析讓社交網站更懂用戶 180
9.1.2 大數據和社交網絡 181
9.2 社交大數據在國內社交網絡中的應用 182
9.2.1 在騰訊大數據中的應用 182
9.2.2 在微博大數據中的應用 185
9.2.3 在淘寶大數據中的應用 188
9.2.4 在滴滴大數據中的應用 189
9.2.5 在百度大數據中的應用 190
9.3 大數據與Facebook：人們情緒的分析 192
9.3.1 用大數據分析人們對品牌的情緒 192
9.3.2 關于人們在Facebook上懷舊情緒的分析 194
9.4 大數據和Twitter：實例分析 196
9.4.1 分析用戶消費習慣 196
9.4.2 預測熱門股票走勢 199
思考題 202
第10章 交通大數據 203
10.1 交通數據分類及其相關分析 203
10.1.1 社會信號數據 203
10.1.2 移動手機數據 205
10.1.3 刷卡數據 205
10.1.4 社交網絡數據 205
10.1.5 交通數據處理 206
10.2 交通情況監(jiān)測 207
10.2.1 交通事故數據集應用 208
10.2.2 監(jiān)測交通情況 210
10.3 預測人類移動行為 214
10.3.1 人類移動性分析與概述 215
10.3.2 人類移動性研究的數據基礎與方法 215
10.3.3 人類活動模式與移動行為預測 217
10.3.4 人類移動性研究及預測的挑戰(zhàn)及展望 218
10.4 其他應用 220
本章小結 225
思考題 225
第11章 醫(yī)療大數據 226
11.1 醫(yī)療大數據簡介 226
11.1.1 醫(yī)療大數據的來源 226
11.1.2 醫(yī)療大數據特點 226
11.1.3 大數據對醫(yī)療的影響 226
11.2 基于大數據的臨床決策分析 228
11.2.1 基于大數據的臨床決策支持系統(tǒng)的架構 228
11.2.2 基于大數據的臨床決策支持系統(tǒng)的功能應用 228
11.2.3 大數據在臨床決策中的價值 229
11.2.4 促進數據解鎖的示例 230
11.3 基于大數據的醫(yī)療數據系統(tǒng)分析 231
11.3.1 大數據在醫(yī)療信息化行業(yè)的應用研究 231
11.3.2 醫(yī)療健康數據來源 232
11.3.3 醫(yī)療大數據體系結構 232
11.4 基于大數據的遠程患者監(jiān)控 235
11.4.1 遠程醫(yī)療的應用領域 235
11.4.2 大數據在遠程醫(yī)療產業(yè)中的應用 236
11.4.3 大數據推動遠程醫(yī)療發(fā)展存在的問題 237
11.4.4 運用大數據推動遠程醫(yī)療發(fā)展的前景展望 237
本章小結 238
思考題 238
第12章 金融大數據 239
12.1 摩根大通信貸市場分析 241
12.1.1 摩根大通信貸市場介紹 241
12.1.2 金融科技助力摩根大通 243
12.1.3 金融大數據面臨的挑戰(zhàn) 244
12.2 瑞士銀行集合風險分析 244
12.2.1 集合風險分析 245
12.2.2 大數據分析信用風險 245
12.2.3 大數據對金融數據的處理 246
12.3 民生銀行新核心業(yè)務平臺分析 247
12.3.1 技術支持 248
12.3.2 新一代數據分析體系 248
12.3.3 大數據應用場景 250
12.3.4 面臨的挑戰(zhàn) 251
12.4 阿里信貸金融模式分析 251
12.4.1 阿里巴巴大數據平臺支持 252
12.4.2 阿里信貸金融模式的優(yōu)勢 253
12.4.3 阿里信貸金融模式所面臨的風險 254
本章小結 256
思考題 256
第13章 大數據教育 257
13.1 大數據教育簡介 257
13.2 微課教學 263
13.2.1 微課簡述 263
13.2.2 大數據背景下的微課 264
13.2.3 微課在編程語言類教學模式的應用 265
13.3 慕課教學 266
13.3.1 慕課簡述 266
13.3.2 大數據背景下的慕課 267
13.3.3 慕課中的大數據應用實例 269
13.4 云教育 270
13.4.1 云教育平臺簡述 270
13.4.2 基于大數據的云教學環(huán)境 272
13.4.3 大數據背景下的智慧教育云的應用 273
本章小結 275
思考題 275
參考文獻 276