數據分析方法就是解決大數據分析與應用的重要方法,已成為自然科學和社會科學各個學科研究者必備的知識。MATLAB是一套高性能的數值計算和可視化軟件,是實現數據分析與處理的有效工具。全書共分7章,主要內容包括:MATLAB軟件簡介,數據處理的基本方法、回歸模型、判別分析、主成分分析與典型相關分析、聚類分析、數據模擬方法、應用神經網絡進行模式識別和預測。此外,每章除了習題還安排了緊密聯系實際的綜合性、分析性實驗內容。
前言自本書第1版出版以來,我們的社會已進入大數據時代,數據分析方法越來越受到人們的重視,許多學校選用了本書作為教材,并取得了良好的教學效果。同時分析數據的MATLAB軟件也在不斷地升級與更新,功能越來越強大、越來越智能化。為了讓讀者更好地學習與掌握數據分析方法,我們對第1版進行了修訂。這次修訂仍然保持原教材的基本框架與內容體系,但對部分章節(jié)的例題數據進行了更新,涉及軟件更新的部分也對原書的程序進行改編與優(yōu)化,補充了部分更具有現實意義的數據分析例題與習題,力求體現三方面的特點:
第一,通過例題或案例進一步加強數據分析理論與方法的應用,著重培養(yǎng)學生解決實際數據分析問題的能力,提高綜合分析問題的素質。
第二,通過對原教材的例題、實驗問題與習題進行調整,更新數據和增加不同領域的數據分析問題,使得涉及的問題更貼近實際,從而進一步提高學生的學習興趣和學習效率。
第三,通過補充、完善原教材的理論與方法內容,以適應軟件工具的升級與更新,使得教學更簡便、過程更有效,進一步培養(yǎng)學生的創(chuàng)新能力。
這次修訂工作仍由吳禮斌、李柏年擔任主編,所有例題程序均在MATLAB(2014a)中驗證通過,并打包放在華章網站(http://www.hzbook.com)供下載使用。
編者教學建議在教學過程中,一要重視數據分析原理的介紹,二要重視MATLAB程序編寫的算法分析,三要重視每章的綜合性實驗教學。學生應具有計算機高級語言編程基礎,學習過高等數學、線性代數、概率論與數理統(tǒng)計等課程。建議總教學時數為54學時,其中綜合實驗為24學時。建議課堂教學在計算機多媒體機房內完成,實現講與練結合,實驗課要求學生提交實驗報告。具體各章的教學時數、內容和要求可作如下安排:
第1章 MATLAB基礎 (6學時,其中2學時實驗)教學內容:MATLAB與數據分析;MATLAB的基本界面操作;矩陣的基本運算;MATLAB編程與M文件;MATLAB與Excel數據的讀寫交換。
教學要求:熟練掌握MATLAB的基本界面操作;理解運算符、操作符、基本數學函數命令等的功能與調用格式;掌握矩陣的運算;熟練掌握選擇、循環(huán)語句的編程;掌握建立M文件的方法;了解MATLAB與Excel數據的讀寫交換。
第2章 數據描述性分析(8學時,其中2學時實驗)教學內容:基本統(tǒng)計量(如均值、方差、分位數等)與數據可視化;數據分布與檢驗(一元與多元數據);數據變換(無量綱化、Box-Cox變換等)。
教學要求:熟練掌握利用MATLAB計算基本統(tǒng)計量與數據可視化;掌握jbtest與lillietest關于數據的正態(tài)性檢驗;掌握協方差矩陣相等的檢驗方法;理解數據變換的意義與方法。
第3章 回歸分析(8學時,其中4學時實驗)教學內容:一元回歸模型(線性與非線性回歸模型);多元線性回歸模型;逐步回歸分析;殘差分析。
教學要求:理解回歸分析的原理;熟練掌握MATLAB回歸分析的命令;會應用MATLAB回歸模型類建立回歸模型;掌握非線性回歸的基本方法以及MATLAB實現;掌握逐步回歸的MATLAB方法;掌握殘差分析。
第4章 判別分析(8學時,其中4學時實驗)教學內容:距離判別分析;貝葉斯判別分析;判別準則的評價。
教學要求:理解判別分析的原理;熟練掌握MATLAB軟件進行距離判別與貝葉斯判別的方法和步驟;掌握判別分析的回代誤判率與交叉誤判率的計算;掌握解決實際判別問題的建模方法。
第5章 主成分分析與典型相關分析(8學時,其中4學時實驗)教學內容:主成分分析的原理(總體主成分的定義、計算、性質,樣本主成分計算方法);主成分分析的應用(基于主成分分析的綜合評價、分類、信號分離等);典型相關分析(原理,典型相關系數計算、檢驗,樣本數據典型相關變量);典型相關分析應用實例;時間序列的趨勢性與列聯表分析。
教學要求:理解主成分與典型相關分析的原理;熟練掌握利用MATLAB進行主成分分析的計算步驟;掌握MATLAB進行典型相關分析的計算步驟;掌握具體實際問題典型相關分析結果的合理解釋;了解趨勢性與列聯表分析。
第6章 聚類分析(8學時,其中4學時實驗)教學內容:距離聚類分析(向量距離、類間距離);譜系聚類與K均值聚類;模糊均值聚類(模糊C均值聚類,模糊減法聚類);聚類的有效性。
教學要求:理解聚類的思想與原理;熟練掌握MATLAB關于各種樣品距離與類間距離的計算方法;會作譜系聚類圖;掌握應用MATLAB計算各種聚類的命令;掌握聚類效果分析方法及程序的實現。
第7章 數值模擬分析(8學時,其中4學時實驗)教學內容:蒙特卡羅方法與應用(思想及應用、MATLAB的偽隨機數);BP神經網絡與應用(神經網絡的概念、BP神經網絡、MATLAB神經網絡工具箱、BP神經網絡的預測與判別)。
教學要求:理解蒙特卡羅方法;掌握用MATLAB生成偽隨機數的方法;掌握偽隨機數的應用;理解神經網絡的基本思想;掌握MATLAB實現神經網絡的預測與判別。
安徽財經大學統(tǒng)計與應用數學學院信息與計算科學系教授,曾任數據分析實驗室主任。主講課程:高等數學,經濟數學基礎,概率論與數理統(tǒng)計,線性代數,MATLAB數學建模與實驗,C語言程序設計,時間序列分析等。研究領域:數理統(tǒng)計,金融數據計量分析。
目錄
前言
教學建議
第1章 MATLAB基礎1
1.1 數據分析與MATLAB1
1.1.1 數據分析概述1
1.1.2 MATLAB在數據分析中的作用2
1.2 MATLAB基礎概述3
1.2.1 MATLAB的影響3
1.2.2 MATLAB的特點與主要功能3
1.2.3 MATLAB主界面與常用窗口4
1.2.4 MATLAB的聯機幫助7
1.2.5 工具箱及其在線幫助8
1.3 MATLAB基本語法10
1.3.1 數據類型10
1.3.2 操作符與運算符12
1.3.3 MATLAB命令函數14
1.4 數組和矩陣運算14
1.4.1 數組的創(chuàng)建與運算14
1.4.2 矩陣的輸入與運算15
1.5 M文件與編程20
1.5.1 M文件編輯/調試器窗口20
1.5.2 M文件21
1.5.3 控制語句的編程22
1.6 MATLAB通用操作實例25
習題128
第2章 數據描述性分析29
2.1 基本統(tǒng)計量與數據可視化29
2.1.1 一維樣本數據的基本統(tǒng)計量29
2.1.2 多維樣本數據的統(tǒng)計量36
2.1.3 樣本數據可視化39
2.2 數據分布及其檢驗45
2.2.1 一維數據的分布與檢驗45
2.2.2 多維數據的正態(tài)分布檢驗48
2.3 數據變換52
2.3.1 數據屬性變換52
2.3.2 Box-Cox變換55
2.3.3 基于數據變換的綜合評價模型57
習題259
實驗1 數據統(tǒng)計量及其分布檢驗61
第3章 回歸分析63
3.1 一元回歸模型63
3.1.1 一元線性回歸模型63
3.1.2 一元多項式回歸模型67
3.1.3 一元非線性回歸模型69
3.1.4 一元回歸建模實例76
3.2 多元線性回歸模型79
3.2.1 多元線性回歸模型及其表示79
3.2.2 MATLAB的回歸分析命令82
3.2.3 多元線性回歸實例89
3.3 逐步回歸92
3.3.1 最優(yōu)回歸方程的選擇92
3.3.2 引入變量和剔除變量的依據93
3.3.3 逐步回歸的MATLAB實現94
3.4 回歸診斷96
3.4.1 異常點與強影響點診斷96
3.4.2 殘差分析100
3.4.3 多重共線性診斷102
習題3106
實驗2 多元線性回歸與逐步回歸110
第4章 判別分析111
4.1 距離判別分析111
4.1.1 判別分析的概念111
4.1.2 距離的定義111
4.1.3 兩個總體的距離判別分析114
4.1.4 多個總體的距離判別分析119
4.2 判別準則的評價121
4.3 貝葉斯判別分析124
4.3.1 兩個總體的貝葉斯判別124
4.3.2 多個總體的貝葉斯判別128
4.3.3 平均誤判率130
4.4 K近鄰判別與支持向量機135
習題4141
實驗3 距離判別與貝葉斯判別分析145
第5章 主成分分析與典型相關分析147
5.1 主成分分析147
5.1.1 主成分分析的基本原理147
5.1.2 樣本主成分分析154
5.2 主成分分析的應用158
5.2.1 主成分分析用于綜合評價158
5.2.2 主成分分析用于分類161
5.2.3 主成分分析用于信號分離163
5.3 典型相關分析166
5.3.1 典型相關分析的基本原理166
5.3.2 樣本的典型變量與典型相關系數169
5.3.3 典型相關系數的顯著性檢驗170
5.3.4 典型相關分析實例172
5.4 趨勢性與屬性相關分析應用實例177
5.4.1 Cox-Stuart趨勢檢驗177
5.4.2 屬性數據分析178
習題5180
實驗4 主成分分析與典型相關分析184
第6章 聚類分析187
6.1 距離聚類187
6.1.1 聚類的思想187
6.1.2 樣品間的距離188
6.1.3 變量間的相似系數190
6.1.4 類間距離與遞推公式192
6.2 譜系聚類193
6.2.1 譜系聚類的思想193
6.2.2 譜系聚類的步驟194
6.2.3 譜系聚類的MATLAB實現196
6.3 K均值聚類200
6.3.1 K均值聚類的思想200
6.3.2 K均值聚類的步驟200
6.3.3 K均值聚類的MATLAB實現201
6.4 模糊均值聚類203
6.4.1 模糊C均值聚類203
6.4.2 模糊減法聚類205
6.5 聚類的有效性207
6.5.1 譜系聚類的有效性207
6.5.2 K均值聚類的有效性209
6.5.3 模糊聚類的有效性211
習題6212
實驗5 聚類方法與聚類有效性215
第7章 數值模擬分析217
7.1 蒙特卡羅方法與應用217
7.1.1 蒙特卡羅方法的基本思想217
7.1.2 隨機數的產生與MATLAB的偽隨機數218
7.1.3 蒙特卡羅方法應用實例219
7.2 BP神經網絡及應用227
7.2.1 人工神經元及人工神經元網絡227
7.2.2 BP神經網絡228
7.2.3 MATLAB神經網絡工具箱230
7.2.4 BP神經網絡應用實例232
習題7239
實驗6 數值模擬240
參考文獻241