第1篇 基礎(chǔ)篇
第1章 緒論 2
1.1 量化投資與數(shù)據(jù)挖掘的關(guān)系 2
1.1.1 什么是量化投資 2
1.1.2 量化投資的特點(diǎn) 3
1.1.3 量化投資的核心——量化模型 4
1.1.4 量化模型的主要產(chǎn)生方法——數(shù)據(jù)
挖掘 6
1.2 數(shù)據(jù)挖掘的概念和原理 7
1.2.1 什么是數(shù)據(jù)挖掘 7
1.2.2 數(shù)據(jù)挖掘的原理 8
1.3 數(shù)據(jù)挖掘在量化投資中的應(yīng)用 9
1.3.1 宏觀經(jīng)濟(jì)分析 9
1.3.2 估價 11
1.3.3 量化選股 11
1.3.4 量化擇時 11
1.3.5 算法交易 12
1.4 本章小結(jié) 13
參考文獻(xiàn) 13
第2章 數(shù)據(jù)挖掘的內(nèi)容、過程及
工具 14
2.1 數(shù)據(jù)挖掘的內(nèi)容 14
2.1.1 關(guān)聯(lián) 14
2.1.2 回歸 15
2.1.3 分類 16
2.1.4 聚類 17
2.1.5 預(yù)測 18
2.1.6 診斷 19
2.2 數(shù)據(jù)挖掘的過程 20
2.2.1 數(shù)據(jù)挖掘過程的概述 20
2.2.2 目標(biāo)的定義 20
2.2.3 數(shù)據(jù)的準(zhǔn)備 21
2.2.4 數(shù)據(jù)的探索 22
2.2.5 模型的建立 24
2.2.6 模型的評估 27
2.2.7 模型的部署 28
2.3 數(shù)據(jù)挖掘工具 29
2.3.1 MATLAB 29
2.3.2 SAS 30
2.3.3 SPSS 31
2.3.4 WEKA 32
2.3.5 R 33
2.3.6 工具的比較與選擇 34
2.4 本章小結(jié) 35
參考文獻(xiàn) 35
第3章 MATLAB快速入門及
實(shí)用技巧 36
3.1 MATLAB快速入門 36
3.1.1 MATLAB概要 36
3.1.2 MATLAB的功能 37
3.1.3 快速入門案例 38
3.1.4 入門后的提高 45
3.2 MATLAB常用技巧 45
3.2.1 常用標(biāo)點(diǎn)的功能 45
3.2.2 常用操作指令 45
3.2.3 指令編輯操作鍵 46
3.2.4 MATLAB中的數(shù)據(jù)類型 46
3.3 MATLAB的開發(fā)模式 47
3.3.1 命令行模式 47
3.3.2 腳本模式 47
3.3.3 面向?qū)ο竽Ｊ?47
3.3.4 三種模式的配合 48
3.4 本章小結(jié) 48
第2篇 技術(shù)篇
第4章 數(shù)據(jù)的準(zhǔn)備 51
4.1 數(shù)據(jù)的收集 51
4.1.1 認(rèn)識數(shù)據(jù) 51
4.1.2 數(shù)據(jù)挖掘的數(shù)據(jù)源 52
4.1.3 數(shù)據(jù)抽樣 53
4.1.4 量化投資的數(shù)據(jù)源 54
4.1.5 從雅虎獲取交易數(shù)據(jù) 56
4.1.6 從大智慧獲取公司財(cái)務(wù)數(shù)據(jù) 58
4.1.7 從Wind中獲取高質(zhì)量數(shù)據(jù) 59
4.2 數(shù)據(jù)質(zhì)量分析 61
4.2.1 數(shù)據(jù)質(zhì)量分析的必要性 61
4.2.2 數(shù)據(jù)質(zhì)量分析的目的 61
4.2.3 數(shù)據(jù)質(zhì)量分析的內(nèi)容 61
4.2.4 數(shù)據(jù)質(zhì)量分析的方法 62
4.2.5 數(shù)據(jù)質(zhì)量分析的結(jié)果及應(yīng)用 66
4.3 數(shù)據(jù)預(yù)處理 66
4.3.1 為什么需要數(shù)據(jù)預(yù)處理 66
4.3.2 數(shù)據(jù)預(yù)處理的主要任務(wù) 67
4.3.3 數(shù)據(jù)清洗 68
4.3.4 數(shù)據(jù)集成 71
4.3.5 數(shù)據(jù)歸約 72
4.3.6 數(shù)據(jù)變換 73
4.4 本章小結(jié) 74
參考文獻(xiàn) 75
第5章 數(shù)據(jù)的探索 76
5.1 衍生變量 77
5.1.1 衍生變量的定義 77
5.1.2 變量衍生的原則和方法 77
5.1.3 常用的股票衍生變量 78
5.1.4 評價型衍生變量 82
5.1.5 衍生變量數(shù)據(jù)的收集與集成 83
5.2 數(shù)據(jù)的統(tǒng)計(jì) 84
5.2.1 基本描述性統(tǒng)計(jì) 85
5.2.2 分布描述性統(tǒng)計(jì) 86
5.3 數(shù)據(jù)可視化 86
5.3.1 基本可視化方法 86
5.3.2 數(shù)據(jù)分布形狀可視化 87
5.3.3 數(shù)據(jù)關(guān)聯(lián)情況可視化 89
5.3.4 數(shù)據(jù)分組可視化 90
5.4 樣本選擇 91
5.4.1 樣本選擇的方法 91
5.4.2 樣本選擇應(yīng)用實(shí)例 91
5.5 數(shù)據(jù)降維 93
5.5.1 主成分分析（PCA）的基本原理 93
5.5.2 PCA應(yīng)用實(shí)例：企業(yè)綜合實(shí)力
排序 96
5.5.3 相關(guān)系數(shù)降維 98
5.6 本章小結(jié) 99
第6章 關(guān)聯(lián)規(guī)則方法 101
6.1 關(guān)聯(lián)規(guī)則概要 101
6.1.1 關(guān)聯(lián)規(guī)則的提出背景 101
6.1.2 關(guān)聯(lián)規(guī)則的基本概念 102
6.1.3 關(guān)聯(lián)規(guī)則的分類 103
6.1.4 關(guān)聯(lián)規(guī)則挖掘常用算法 104
6.2 Apriori算法 104
6.2.1 Apriori算法的基本思想 104
6.2.2 Apriori算法的步驟 105
6.2.3 Apriori算法的實(shí)例 105
6.2.4 Apriori算法的程序?qū)崿F(xiàn) 107
6.2.5 Apriori算法的優(yōu)缺點(diǎn) 110
6.3 FP-Growth算法 110
6.3.1 FP-Growth算法的步驟 110
6.3.2 FP-Growth算法的實(shí)例 111
6.3.3 FP-Growth算法的優(yōu)缺點(diǎn) 113
6.4 應(yīng)用實(shí)例：行業(yè)關(guān)聯(lián)選股法 113
6.5 本章小結(jié) 114
參考文獻(xiàn) 115
第7章 數(shù)據(jù)回歸方法 116
7.1 一元回歸 117
7.1.1 一元線性回歸 117
7.1.2 一元非線性回歸 120
7.1.3 一元多項(xiàng)式回歸 124
7.2 多元回歸 125
7.2.1 多元線性回歸 125
7.2.2 多元多項(xiàng)式回歸 127
7.3 逐步回歸 130
7.3.1 逐步回歸的基本思想 130
7.3.2 逐步回歸的步驟 131
7.3.3 逐步回歸的MATLAB方法 131
7.4 邏輯斯蒂回歸 133
7.4.1 邏輯斯蒂回歸模型 133
7.4.2 邏輯斯蒂回歸實(shí)例 134
7.5 應(yīng)用實(shí)例：多因子選股模型的
實(shí)現(xiàn) 136
7.5.1 多因子模型的基本思想 136
7.5.2 多因子選股模型的實(shí)現(xiàn) 137
7.6 本章小結(jié) 140
第8章 分類方法 141
8.1 分類方法概要 141
8.1.1 分類的概念 141
8.1.2 分類的原理 142
8.1.3 常用的分類方法 143
8.2 K-近鄰分類 143
8.2.1 K-近鄰分類的原理 143
8.2.2 K-近鄰分類的實(shí)例 145
8.2.3 K-近鄰分類的特點(diǎn) 147
8.3 貝葉斯分類 147
8.3.1 貝葉斯分類的原理 147
8.3.2 樸素貝葉斯分類的原理 148
8.3.3 樸素貝葉斯分類的實(shí)例 150
8.3.4 樸素貝葉斯分類的特點(diǎn) 150
8.4 神經(jīng)網(wǎng)絡(luò) 151
8.4.1 神經(jīng)網(wǎng)絡(luò)的原理 151
8.4.2 神經(jīng)網(wǎng)絡(luò)的實(shí)例 153
8.4.3 神經(jīng)網(wǎng)絡(luò)的特點(diǎn) 153
8.5 邏輯斯蒂分類 154
8.5.1 邏輯斯蒂分類的原理 154
8.5.2 邏輯斯蒂分類的實(shí)例 154
8.5.3 邏輯斯蒂分類的特點(diǎn) 154
8.6 判別分析 155
8.6.1 判別分析的原理 155
8.6.2 判別分析的實(shí)例 156
8.6.3 判別分析的特點(diǎn) 156
8.7 支持向量機(jī)（SVM） 156
8.7.1 SVM的基本思想 157
8.7.2 SVM的理論基礎(chǔ) 157
8.7.3 SVM的實(shí)例 159
8.7.4 SVM的特點(diǎn) 160
8.8 決策樹 160
8.8.1 決策樹的基本概念 160
8.8.2 決策樹建構(gòu)的步驟 161
8.8.3 決策樹的實(shí)例 164
8.8.4 決策樹的特點(diǎn) 164
8.9 分類的評判 165
8.9.1 正確率 165
8.9.2 ROC曲線 166
8.10 應(yīng)用實(shí)例：分類選股法 168
8.10.1 實(shí)例背景 168
8.10.2 實(shí)現(xiàn)方法 169
8.11 延伸閱讀：其他分類方法 171
8.12 本章小結(jié) 172
第9章 聚類方法 173
9.1 聚類方法概要 173
9.1.1 聚類的概念 173
9.1.2 類的度量方法 175
9.1.3 聚類方法的應(yīng)用場景 176
9.1.4 聚類方法的分類 177
9.2 K-means聚類 177
9.2.1 K-means算法的原理和步驟 177
9.2.2 K-means聚類實(shí)例1：自主編程 178
9.2.3 K-means聚類實(shí)例2：集成函數(shù) 180
9.2.4 K-means算法的特點(diǎn) 183
9.3 層次聚類 183
9.3.1 層次聚類的原理和步驟 183
9.3.2 層次聚類的實(shí)例 185
9.3.3 層次聚類的特點(diǎn) 187
9.4 神經(jīng)網(wǎng)絡(luò)聚類 187
9.4.1 神經(jīng)網(wǎng)絡(luò)聚類的原理和步驟 187
9.4.2 神經(jīng)網(wǎng)絡(luò)聚類的實(shí)例 187
9.4.3 神經(jīng)網(wǎng)絡(luò)聚類的特點(diǎn) 188
9.5 模糊C均值（FCM）方法 188
9.5.1 模糊C均值的原理和步驟 188
9.5.2 模糊C均值方法的應(yīng)用實(shí)例 189
9.5.3 模糊C均值算法的特點(diǎn) 190
9.6 高斯混合聚類方法 190
9.6.1 高斯混合聚類的原理和步驟 190
9.6.2 高斯聚類的實(shí)例 192
9.6.3 高斯聚類的特點(diǎn) 193
9.7 類別數(shù)的確定方法及實(shí)例 193
9.7.1 類別數(shù)的確定方法 193
9.7.2 類別數(shù)的確定實(shí)例 194
9.8 應(yīng)用實(shí)例：股票聚類分池 196
9.8.1 聚類的目標(biāo)和數(shù)據(jù)描述 196
9.8.2 實(shí)現(xiàn)過程 196
9.8.3 結(jié)果及分析 198
9.9 延伸閱讀 199
9.9.1 目前聚類分析研究的主要內(nèi)容 199
9.9.2 SOM智能聚類算法 200
9.10 本章小結(jié) 201
參考文獻(xiàn) 201
第10章 預(yù)測方法 202
10.1 預(yù)測方法概要 202
10.1.1 預(yù)測的概念 202
10.1.2 預(yù)測的基本原理 202
10.1.3 量化投資中預(yù)測的主要內(nèi)容 203
10.1.4 預(yù)測的準(zhǔn)確度評價及影響因素 204
10.1.5 常用的預(yù)測方法 205
10.2 灰色預(yù)測 206
10.2.1 灰色預(yù)測的原理 206
10.2.2 灰色預(yù)測的實(shí)例 208
10.3 馬爾可夫預(yù)測 209
10.3.1 馬爾可夫預(yù)測的原理 209
10.3.2 馬爾可夫過程的特性 210
10.3.3 馬爾可夫預(yù)測的實(shí)例 211
10.4 應(yīng)用實(shí)例：大盤走勢預(yù)測 214
10.4.1 數(shù)據(jù)的選取及模型的建立 214
10.4.2 預(yù)測過程 216
10.4.3 預(yù)測結(jié)果與分析 216
10.5 本章小結(jié) 217
參考文獻(xiàn) 218
第11章 診斷方法 219
11.1 離群點(diǎn)診斷概要 219
11.1.1 離群點(diǎn)診斷的定義 219
11.1.2 離群點(diǎn)診斷的作用 220
11.1.3 離群點(diǎn)診斷方法的分類 221
11.2 基于統(tǒng)計(jì)的離群點(diǎn)診斷 221
11.2.1 理論基礎(chǔ) 221
11.2.2 應(yīng)用實(shí)例 223
11.2.3 優(yōu)點(diǎn)與缺點(diǎn) 224
11.3 基于距離的離群點(diǎn)診斷 225
11.3.1 理論基礎(chǔ) 225
11.3.2 應(yīng)用實(shí)例 226
11.3.3 優(yōu)點(diǎn)與缺點(diǎn) 227
11.4 基于密度的離群點(diǎn)診斷 227
11.4.1 理論基礎(chǔ) 227
11.4.2 應(yīng)用實(shí)例 228
11.4.3 優(yōu)點(diǎn)與缺點(diǎn) 229
11.5 基于聚類的離群點(diǎn)診斷 230
11.5.1 理論基礎(chǔ) 230
11.5.2 應(yīng)用實(shí)例 230
11.5.3 優(yōu)點(diǎn)與缺點(diǎn) 232
11.6 應(yīng)用實(shí)例：離群點(diǎn)診斷量化
擇時 232
11.7 延伸閱讀：新興的離群點(diǎn)挖掘診斷
方法 233
11.7.1 基于關(guān)聯(lián)的離群點(diǎn)挖掘 233
11.7.2 基于粗糙集的離群點(diǎn)挖掘 234
11.7.3 基于人工神經(jīng)網(wǎng)絡(luò)的離群點(diǎn)挖掘 234
11.8 本章小結(jié) 235
參考文獻(xiàn) 235
第12章 時間序列方法 236
12.1 時間序列的基本概念 236
12.1.1 時間序列的定義 236
12.1.2 時間序列的組成因素 237
12.1.3 時間序列的分類 238
12.1.4 時間序列分析方法 238
12.2 平穩(wěn)時間序列分析方法 239
12.2.1 移動平均法 239
12.2.2 指數(shù)平滑法 240
12.3 季節(jié)指數(shù)預(yù)測法 240
12.3.1 季節(jié)性水平模型 240
12.3.2 季節(jié)性趨勢模型 241
12.4 時間序列模型 242
12.4.1 ARMA模型 242
12.4.2 ARIMA模型 242
12.4.3 ARCH模型 243
12.4.4 GARCH模型 243
12.5 應(yīng)用實(shí)例：基于時間序列的股票
預(yù)測 244
12.6 本章小結(jié) 247
參考文獻(xiàn) 247
第13章 智能優(yōu)化方法 248
13.1 智能優(yōu)化方法概要 248
13.1.1 智能優(yōu)化方法的概念 248
13.1.2 智能優(yōu)化方法在量化投資領(lǐng)域的
作用 249
13.1.3 常用的智能優(yōu)化方法 249
13.2 遺傳算法 250
13.2.1 遺傳算法的原理 250
13.2.2 遺傳算法的步驟 251
13.2.3 遺傳算法的實(shí)例 257
13.2.4 遺傳算法的特點(diǎn) 258
13.3 模擬退火算法 259
13.3.1 模擬退火算法的原理 259
13.3.2 模擬退火算法的步驟 260
13.3.3 模擬退火算法的實(shí)例 262
13.3.4 模擬退火算法的特點(diǎn) 267
13.4 應(yīng)用實(shí)例：組合投資優(yōu)化 268
13.4.1 問題描述 268
13.4.2 求解過程 268
13.5 延伸閱讀：其他智能方法 269
13.5.1 粒子群算法 269
13.5.2 蟻群算法 271
13.6 本章小結(jié) 272
參考文獻(xiàn) 272
第3篇 實(shí)踐篇
第14章 統(tǒng)計(jì)套利策略的挖掘與
優(yōu)化 274
14.1 統(tǒng)計(jì)套利策略概述 274
14.1.1 統(tǒng)計(jì)套利的定義 274
14.1.2 統(tǒng)計(jì)套利策略的基本思想 274
14.1.3 統(tǒng)計(jì)套利策略挖掘的方法 275
14.2 基本策略的挖掘 276
14.2.1 準(zhǔn)備數(shù)據(jù) 276
14.2.2 探索交易策略 276
14.2.3 驗(yàn)證交易策略 277
14.2.4 選擇最佳的參數(shù) 278
14.2.5 參數(shù)掃描方法 279
14.2.6 考慮交易費(fèi) 281
14.3 高頻交易策略及優(yōu)化 282
14.3.1 高頻交易的基本思想 282
14.3.2 高頻交易的實(shí)現(xiàn) 284
14.4 多交易信號策略的組合及優(yōu)化 286
14.4.1 多交易信號策略 286
14.4.2 交易信號的組合優(yōu)化機(jī)理 287
14.4.3 交易信號的組合優(yōu)化實(shí)現(xiàn) 288
14.5 本章小結(jié) 290
參考文獻(xiàn) 291
第15章 配對交易策略的挖掘與
實(shí)現(xiàn) 292
15.1 配對交易概述 292
15.1.1 配對交易的定義 292
15.1.2 配對交易的特點(diǎn) 293
15.1.3 配對選取步驟 293
15.2 協(xié)整檢驗(yàn)的理論基礎(chǔ) 294
15.2.1 協(xié)整關(guān)系的定義 294
15.2.2 EG兩步協(xié)整檢驗(yàn)法 295
15.2.3 Johansen協(xié)整檢驗(yàn)法 295
15.3 配對交易的實(shí)現(xiàn) 296
15.3.1 協(xié)整檢驗(yàn)的實(shí)現(xiàn) 296
15.3.2 配對交易函數(shù) 297
15.3.3 協(xié)整配對中的參數(shù)優(yōu)化 300
15.4 延伸閱讀：配對交易的三要素 301
15.4.1 配對交易的前提 301
15.4.2 配對交易的關(guān)鍵 301
15.4.3 配對交易的假設(shè) 301
15.5 本章小結(jié) 302
參考文獻(xiàn) 302
第16章 基于Wind數(shù)據(jù)的程序化
交易 303
16.1 程序化交易概述 303
16.1.1 程序化交易的定義 303
16.1.2 程序化交易的實(shí)現(xiàn)過程 304
16.1.3 程序化交易的分類 305
16.2 數(shù)據(jù)的處理及探索 306
16.2.1 獲取股票日交易數(shù)據(jù) 306
16.2.2 計(jì)算指標(biāo) 309
16.2.3 數(shù)據(jù)標(biāo)準(zhǔn)化 315
16.2.4 變量篩選 316
16.3 模型的建立及評估 318
16.3.1 股票預(yù)測的基本思想 318
16.3.2 模型的訓(xùn)練及評價 318
16.4 組合投資的優(yōu)化 321
16.4.1 組合投資的理論基礎(chǔ) 321
16.4.2 組合投資的實(shí)現(xiàn) 323
16.5 程序化交易的實(shí)施 327
16.6 本章小結(jié) 327
參考文獻(xiàn) 328
第17章 基于Quantrader平臺的
量化投資 329
17.1 量化平臺概述 329
17.1.1 量化平臺現(xiàn)狀 329
17.1.2 Quantrader平臺的構(gòu)成 330
17.1.3 Quantrader的工作流程 331
17.2 基于Quantrader平臺的量化實(shí)現(xiàn)
過程 331
17.2.1 獲取交易數(shù)據(jù) 331
17.2.2 計(jì)算衍生變量 333
17.2.3 數(shù)據(jù)標(biāo)準(zhǔn)化 333
17.2.4 變量優(yōu)選 333
17.2.5 訓(xùn)練模型 334
17.2.6 策略回測 334
17.3 延伸閱讀：Quantrader平臺的
拓展 335
第18章 趨勢跟蹤策略及實(shí)現(xiàn)過程 338
18.1 趨勢跟蹤策略簡介 338
18.2 趨勢跟蹤策略的基本設(shè)定 339
18.2.1 策略準(zhǔn)則的設(shè)定 339
18.2.2 策略主要參數(shù)的設(shè)定 340
18.2.3 有效突破的設(shè)定 340
18.3 均線-收盤價策略的實(shí)現(xiàn)過程 340
18.3.1 均線-收盤價策略的MATLAB
實(shí)現(xiàn) 341
18.3.2 參數(shù)討論 343
18.4 雙均線策略 343
18.4.1 雙均線策略的MATLAB實(shí)現(xiàn) 343
18.4.2 參數(shù)討論 345
18.5 上升支撐線策略 346
18.5.1 上升支撐線策略的MATLAB
實(shí)現(xiàn) 347
18.5.2 參數(shù)討論 349
18.6 下跌壓力線策略 349
18.6.1 下跌壓力線策略的MATLAB
實(shí)現(xiàn) 349
18.6.2 參數(shù)討論 351
18.7 本章小結(jié) 352
第19章 基于數(shù)據(jù)挖掘技術(shù)的量化交易
系統(tǒng) 353
19.1 交易系統(tǒng)概述 353
19.1.1 交易系統(tǒng)的定義 353
19.1.2 交易系統(tǒng)的作用 354
19.2 DM交易系統(tǒng)總體設(shè)計(jì) 355
19.2.1 系統(tǒng)目標(biāo) 355
19.2.2 相關(guān)約定 355
19.2.3 系統(tǒng)結(jié)構(gòu) 355
19.3 短期交易子系統(tǒng) 356
19.3.1 子系統(tǒng)功能描述 356
19.3.2 數(shù)據(jù)預(yù)處理模塊 356
19.3.3 量化選股模塊 356
19.3.4 策略回測模塊 357
19.4 中長期交易子系統(tǒng) 357
19.4.1 子系統(tǒng)功能描述 357
19.4.2 導(dǎo)入數(shù)據(jù)模塊 357
19.4.3 投資組合優(yōu)化模塊 358
19.5 系統(tǒng)的拓展與展望 359
19.6 本章小結(jié) 360