基于R語言的小波方法在大數(shù)據(jù)統(tǒng)計中的應(yīng)用
定 價:45 元
- 作者:楊炯
- 出版時間:2020/10/1
- ISBN:9787560657622
- 出 版 社:西安電子科技大學(xué)出版社
- 中圖法分類:C819
- 頁碼:232
- 紙張:膠版紙
- 版次:1
- 開本:小16開
本書較全面地介紹了小波方法在統(tǒng)計學(xué)中的應(yīng)用以及R語言的實現(xiàn)過程。 書中首先介紹了小波理論,詳細(xì)討論了小波的重要特性,為小波方法在統(tǒng)計學(xué)中的應(yīng)用奠定理論基礎(chǔ)。然后以統(tǒng)計學(xué)的知識內(nèi)容為背景,具體說明了小波在統(tǒng)計學(xué)中的應(yīng)用方法:一是介紹了具有高斯噪聲的等間隔數(shù)據(jù)在非參數(shù)回歸問題中使用小波估計的多種方法;二是討論了互相關(guān)聯(lián)的非高斯數(shù)據(jù)問題,討論了如何用小波進(jìn)行置信區(qū)間估計、密度估計、生存和危險率估計等,以及相應(yīng)逆問題的解決方案和函數(shù)稀疏性問題;三是分析了小波方法用于平穩(wěn)和非平穩(wěn)時間序列的問題;四是討論了如何用小波的有效方差穩(wěn)定性來估計非高斯數(shù)據(jù)的均值問題。
本書適合作為高等學(xué)校相關(guān)專業(yè)的教材,也可供相關(guān)領(lǐng)域的科研人員參考。
當(dāng)有人問周恩來總理對法國大革命(1789—1799)的看法時,他回答說:“現(xiàn)在來說這件事還為時過早”(Rosenberg,1999)。我相信,對于小波來說也是如此。雖然在很多年前人們就提出了一些特定的小波,但是直到20世紀(jì)80年代才出現(xiàn)了構(gòu)成“小波理論”的大量研究文獻(xiàn)。小波理論在20世紀(jì)80年代末90年代初被引入到統(tǒng)計學(xué),最初在曲線估計這類研究文獻(xiàn)中得到廣泛應(yīng)用,并由此發(fā)展開來,且以多種方式擴展到統(tǒng)計學(xué)中的更多領(lǐng)域,例如生存分析、統(tǒng)計時間序列分析、統(tǒng)計圖像處理、逆問題分析以及方差穩(wěn)定化等。
據(jù)Westheimer(2001)所言,法國大革命是傅里葉級數(shù)引入及推廣的歷史大背景,
盡管在當(dāng)時傅里葉級數(shù)本身遭到了科學(xué)界的強烈反對。傅里葉理論發(fā)展的早期充滿質(zhì)疑聲,但在200多年后的今天看來,傅里葉理論及其發(fā)展得到的各種傅里葉方法在眾多科學(xué)領(lǐng)域中得到了廣泛應(yīng)用。小波理論的發(fā)展可以說是一場科學(xué)革命。小波的一些有趣特性很容易理解,例如多尺度性、局部化和速率。其他一些重要性質(zhì),如無條件基性質(zhì),也應(yīng)當(dāng)進(jìn)一步去了解。筆者希望,本書能在某種程度上幫助大家去創(chuàng)建更多的小波新方法,同時也希望小波方法能在下一個200年得到更大的發(fā)展,并發(fā)揮更重要的作用!
本書主要介紹小波方法的應(yīng)用。 筆者撰寫本書主要有兩個目的:一個是想介紹統(tǒng)計學(xué)中已經(jīng)應(yīng)用了小波方法或具有應(yīng)用小波方法潛力的主要領(lǐng)域;另一個是希望能推動小波方法的普及及應(yīng)用。出于這樣的目的, 本書的主要內(nèi)容將圍繞免費的統(tǒng)計軟件R及WaveThresh軟件包展開。 通過這些軟件工具,讀者不僅可以學(xué)習(xí)和應(yīng)用統(tǒng)計學(xué)中的小波方法,還可以根據(jù)自己的需求修改及利用這些方法。本書試圖以傳統(tǒng)專著的方式覆蓋較為廣泛的技術(shù)領(lǐng)域,但在內(nèi)容安排上仍不可避免地受限于筆者的學(xué)識以及WaveThresh的應(yīng)用范圍。本書的一個特點是書中幾乎所有的計算都有相應(yīng)的代碼,并可從WaveThresh網(wǎng)站下載這些代碼。因此,筆者希望本書至少在某種程度上達(dá)到了由Buckheit和Donoho(1995)所提出的可重復(fù)性研究(reproducible research)的標(biāo)準(zhǔn)。
本書中的大部分WaveThresh代碼是筆者編寫的,但書中也有許多他人編寫的代碼。 這些代碼的編寫者貢獻(xiàn)并慷慨地同意在WaveThresh中發(fā)布這些代碼。在此,筆者要感謝Felix Abramovich(FDR閾值處理)、Stuart Barber(復(fù)值小波和閾值處理,貝葉斯小波可信區(qū)間)、Tim Downie(多小波)、Idris Eckley(2D局部平穩(wěn)小波過程)、Piotr Fryzlewicz(泊松過程的HaarFisz變換)、Arne Kovac(不規(guī)則數(shù)據(jù)的小波收縮)、Todd Ogden(變點閾值處理)、Theofanis Sapatinas(Donoho和Johnstone測試函數(shù),一些小波包時間序列碼,BayesThresh閾值)、Bernard Silverman(實數(shù)FFT)、David Herrick(小波密度估計)和Brani Vidakovic(DaubechiesLagarias算法)。還有許多其他人員,有的編寫了附件,有的進(jìn)行了改進(jìn)和擴展。此外,我還要感謝Anthony Davison提供了他的團(tuán)隊編寫的SBand代碼。
感謝布里斯托爾大學(xué)麻醉科的A.Black和D.Moshal所提供的體積描記數(shù)據(jù),感謝布里斯托爾兒童健康研究所的P.Fleming、A.Sawczenko和J.Young所提供的嬰兒心電/睡眠狀態(tài)數(shù)據(jù),感謝蒙特塞拉特火山觀測臺和Aspinall and Associates的Willy Aspinall所提供的RSAM數(shù)據(jù)。
感謝Springer的John Kimmel鼓勵筆者成為“Springer UseR!”系列圖書的作者, 在此期間,筆者有幸與小波、數(shù)學(xué)和統(tǒng)計學(xué)領(lǐng)域的許多著名人士一起工作和討論。最后,筆者還要感謝Felix Abramovich、Anestis Antoniadis、Dan Bailey*、 Rich Baraniuk、Stuart Barber、Jeremy Burn、Alessandro Cardinali、Nikki Carlton、Merlise Clyde、Veronique Delouille、David Donoho、Tim Downie、Idris Eckley、Piotr Fryzlewicz*、Gérard Grégoire、Peter Green、Peter Hall、David Herrick、Katherine Hunt、Maarten Jansen、Iain Johnstone、 Eric Kolaczyk、Marina Knight*、Gerald Kroisandt、Thomas Lee、Emma McCoy、David Merritt、Robert Morgan、Makis Motakis、 Mahadevan Naventhan、Matt Nunes*、Sofia Olhede、HeeSeok Oh、Marianna Pensky、Howell Peregrine、Don Percival、Marc Raimondo、Theofanis Sapatinas、Sylvain Sardy、Andrew Sawczenko、Robin Sibson、Glenn Stone、Suhasini Subba Rao、Kostas Triantafyllopoulos、Brani Vidakovic、Sebastien Van Bellegem、Rainer von Sachs、Andrew Walden、Xue Wang、Brandon Whitcher。特別感謝姓名上標(biāo)有“*”的人士,他們閱讀了本書的初稿,并提出了一系列寶貴建議。特別感謝Bernard Silverman引導(dǎo)筆者進(jìn)入小波領(lǐng)域,在筆者職業(yè)生涯的早期階段提供了很多明智的建議。
第1章 引言 1
1.1 什么是小波 1
1.2 為什么使用小波 2
1.3 小波在統(tǒng)計學(xué)中的應(yīng)用 9
1.4 關(guān)于本書及其應(yīng)用軟件 11
第2章 小波 12
2.1 多尺度變換 12
2.1.1 序列的多尺度分析 12
2.1.2 離散Haar小波 17
2.1.3 矩陣表示 21
2.2 Haar小波 24
2.2.1 尺度和平移量 24
2.2.2 細(xì)尺度逼近 24
2.2.3 從較細(xì)尺度計算較粗尺度的c 26
2.2.4 尺度近似函數(shù)間的差——小波 28
2.2.5 Haar小波變換與離散表示之間的聯(lián)系 29
2.2.6 離散小波變換的系數(shù)結(jié)構(gòu) 30
2.2.7 離散Haar小波變換的例子 30
2.3 多分辨率分析 33
2.3.1 多分辨率分析 33
2.3.2 投影表示 34
2.3.3 擴張方程和小波構(gòu)造 34
2.4 消失矩 36
2.5 WaveThresh小波 36
2.5.1 Daubechies的緊支撐小波 36
2.5.2 復(fù)值Daubechies小波 40
2.6 其他小波 41
2.6.1 Shannon小波 41
2.6.2 Meyer小波 42
2.6.3 樣條小波 42
2.6.4 Coiflets小波 44
2.6.5 雙正交小波 44
2.7 通用(快速)離散小波變換 45
2.7.1 正向變換 45
2.7.2 濾波、二元抽樣和降采樣 46
2.7.3 獲得初始細(xì)尺度父系數(shù) 46
2.7.4 離散小波逆變換 48
2.8 邊界條件 50
2.9 非抽樣小波 51
2.9.1 ε-抽樣小波變換 51
2.9.2 非抽樣小波變換(NDWT) 52
2.9.3 時間和數(shù)據(jù)包NDWT排序 54
2.9.4 對非抽樣小波的補充說明 58
2.10 多小波 58
2.11小波包變換 60
2.11.1 最佳基算法 61
2.11.2 WaveThresh示例 63
2.12 非抽樣小波包變換 65
2.13 多元小波變換 66
2.14 其他問題 69
第3章 小波收縮 71
3.1 概述 71
3.2 小波收縮 72
3.3 一個假設(shè) 74
3.4 測試函數(shù) 75
3.5 通用閾值 76
3.6 初始分辨率 82
3.7 SURE閾值 82
3.8 交叉驗證 83
3.9 錯誤發(fā)現(xiàn)率 85
3.10 貝葉斯小波收縮 86
3.10.1 先驗高斯混合 87
3.10.2 點質(zhì)量分布和高斯分布的混合 88
3.10.3 超參數(shù)和Besov空間 89
3.10.4 點質(zhì)量分布和重尾分布的混合 90
3.11 線性小波平滑 93
3.12 非抽樣小波收縮 94
3.12.1 平移不變小波收縮 94
3.12.2 基的選擇 98
3.13 多小波收縮(多小波) 101
3.14 復(fù)小波收縮 103
3.15 分塊閾值 109
3.16 雜項和討論 111
第4章 小波平滑相關(guān)技術(shù) 113
4.1 概述 113
4.2 相關(guān)數(shù)據(jù) 113
4.3 非高斯噪聲 118
4.4 多維數(shù)據(jù) 120
4.5 不規(guī)則間隔數(shù)據(jù) 124
4.6 置信區(qū)間 129
4.6.1 小波的冪近似 131
4.6.2 更精確的區(qū)間 131
4.7 分布密度估計 132
4.8 生存函數(shù)估計 135
4.9 反問題 140
第5章 多尺度時間序列分析 143
5.1 概述 143
5.2 平穩(wěn)時間序列 144
5.2.1 平穩(wěn)模型 144
5.2.2 平穩(wěn)時間序列的尺度分析 147
5.3 局部平穩(wěn)時間序列 149
5.3.1 離散非抽樣小波 150
5.3.2 局部平穩(wěn)小波(LSW)過程 151
5.3.3 LSW仿真 153
5.3.4 局部自協(xié)方差和自相關(guān)小波 155
5.3.5 LSW估計 156
5.3.6 更多關(guān)于小波周期圖平滑的信息 160
5.3.7 嬰兒心電圖數(shù)據(jù)的LSW分析 160
5.3.8 RSAM數(shù)據(jù)的LSW分析 163
5.4 局部平穩(wěn)小波模型在預(yù)測中的應(yīng)用 163
5.4.1 LSW預(yù)測軟件的應(yīng)用 165
5.4.2 LSW非平穩(wěn)預(yù)測的基礎(chǔ) 167
5.5 基于小波包的時間序列分析 168
5.6 相關(guān)主題和討論 169
第6章 多尺度方差穩(wěn)定變換 170
6.1 平方根在泊松過程中的應(yīng)用 170
6.2 Fisz變換 172
6.3 泊松分布密度估計 175
6.4 泊松數(shù)據(jù)的HaarFisz變換 175
6.4.1 最細(xì)尺度下小波系數(shù)的Fisz變換 175
6.4.2 較粗尺度下小波系數(shù)的Fisz變換 176
6.4.3 HaarFisz系數(shù)的均值 176
6.4.4 HaarFisz的多尺度性質(zhì) 177
6.4.5 Haar小波逆變換 177
6.4.6 HaarFisz變換的公式 178
6.4.7 HaarFisz小波逆變換 178
6.4.8 WaveThresh中的HaarFisz變換 179
6.4.9 去噪和強度估計 183
6.4.10 循環(huán)移位 184
6.5 數(shù)據(jù)驅(qū)動的HaarFisz變換 185
6.5.1 h已知 185
6.5.2 h未知 186
6.5.3 例1:航空公司乘客數(shù)據(jù) 187
6.5.4 例2:GOES8 X射線數(shù)據(jù) 190
6.6 討論 190
附錄 191
附錄A 用于小波和統(tǒng)計學(xué)的R軟件 191
附錄B 符號和數(shù)學(xué)概念 192
B.1 函數(shù)空間 192
B.2 函數(shù)的支集 193
B.3 內(nèi)積、范數(shù)和距離 193
B.4 正交性和希爾伯特空間 193
B.5 向量空間的和 193
B.6 傅里葉變換 194
B.7 傅里葉級數(shù) 194
B.8 Besov空間 194
B.9 Landau符號 195
附錄C 生存函數(shù)代碼 195
參考文獻(xiàn) 197