關于我們
書單推薦
新書推薦
|
分位回歸與復雜分層結構數(shù)據(jù)分析
具有復雜分層結構的數(shù)據(jù)在現(xiàn)實生活中很普遍,剖析這類數(shù)據(jù),發(fā)現(xiàn)該類數(shù)據(jù)表象下的潛在規(guī)律對于統(tǒng)計學等科研領域很有意義。本書致力于介紹復雜分層數(shù)據(jù)分析的前沿知識,側重于算法、仿真與實證研究,主要包括兩大塊內(nèi)容:分位回歸與分層—分位回歸。
本書可作為統(tǒng)計學及其相關領域大學生、研究生的教學參考書,亦可供教師和科技人員參考。
本書致力于介紹復雜分層數(shù)據(jù)分析的前沿知識,側重于算法、仿真與實證研究
很多分層數(shù)據(jù)具有以下分層結構:我們用變量來描述個體,而個體嵌套在更大單元里,形成金字塔形狀。以教育方面的數(shù)據(jù)為例,學生被分成班級,班級嵌套在學校里。學校上面有社區(qū),社區(qū)上面還有省、國家等。
自20世紀70年代以來,人們開始研究分層結構數(shù)據(jù)的統(tǒng)計模型。比如,作為對線性模型貝葉斯估計學術方面的貢獻,Lindley&Smith(1972)和Smith(1973)引入了分層線性模型(HierarchicalLinearModel)這一術語。然而,近年來分層模型在不同的領域有不同的稱謂:在社會學研究里,叫作多水平模型(MultilevelModel),參見Mason,Wong&Entwistle(1983),Goldstein(1995);生物統(tǒng)計上則稱為混合效應模型(Mixed-e.ectsModel)或者隨機效應模型(Random-e.ectsModel),參見Elston(1962),Laird(1982),Longford(1987)以及Singer(1998);計量經(jīng)濟學上稱為隨機系數(shù)回歸模型(Random-coe.cientRegressionModel),參見Rosenberg(1973)和Longford(1993);在貝葉斯統(tǒng)計里,我們稱之為條件獨立分層模型(ConditionallyIndependentHierarchicalModel),參Kass&Ste.ey(1989)。一般的統(tǒng)計文獻則稱之為協(xié)方差成分模型(CovarianceComponentsModel),DempsterRubin&Tsutakawa(1981)。Hobert(2000)給出了目前有關擬合分層模型計算方面的熱點問題綜述。 在上述所提到的各種模型背后,現(xiàn)有的分層模型理論主要關注的是在給定預測變量X的條件下,擬合響應變量Y的條件期望。盡管在很多應用中,這些理論能夠應付了,然而它們卻不能完全刻畫響應變量在各分位點上的情況。例如,學校平均成績有時候可能會隱藏一些涉及差生與優(yōu)等生方面的問題,因為平均數(shù)本身不能對學生成績提供一個“譜視”(SpectralView)。 分位回歸(QuantileRegression,QR)方法,亦稱分位數(shù)回歸,產(chǎn)生于30年前。由于它能夠全面刻畫一個條件隨機變量的各分位點隨協(xié)變量的變化情況,所以近年來它逐漸發(fā)展成為一種綜合的分析線性和非線性模型的統(tǒng)計方法。目前,有大量的文獻是關于分位回歸研究的。在本書中,我們充分利用了分層模擬與分位回歸的優(yōu)點,提出分層分位回歸模型(HierarchicalQuantileRegressionModels)。這類模型具有如下特點:①能夠全面刻畫出給定高維解釋變量的條件下響應變量的各分位點情況;②估計出來的系數(shù)向量,即邊際效應,對于響應變量的離群觀測值來說,是穩(wěn)健的;③在不同分位點上潛在的不同解具有很有用的解釋意義;④沿襲了分層模擬與分位回歸模型二者所有的優(yōu)點。 本書致力于介紹復雜分層數(shù)據(jù)分析前沿的知識,側重于算法、仿真與實證研究,以給讀者提供一些復雜分層數(shù)據(jù)的分位回歸建模知識。 自2004年中國人民大學統(tǒng)計學院在全國首開《分位回歸》課程以來,筆者一直擔任本課程的主講老師。本書的大部分材料在課堂上討論過。本書在寫作過程中,自始至終有以下碩士生、博士生參加過翻譯、校正等工作:李遠、周朋朋、范潔瑜、張寧、戴成、錢政超、石恒澤、周健、安姝靜、陳博鈺、范博文、范燕、姜春波、馬維華、蘇宇楠、張圓圓、陳彥靚、郭潔、康雁飛、榮耀華、王偉、羅幼喜、儲昭霽、封達道、李兆媛、司世景、夏文濤、熊巍、何靜、胡亞南、黃雅麗、李茜、劉甦倩、呂爽、朱倩倩、田玉柱、梁曉琳、馬春桃、馬綽欣、孟令賓、王榛、楊亞琦、張亞麗、李二倩、羅靜、史普欣、王曉荷、袁夢、吳延科、晏振等。在此,我對他們表示衷心的感謝! 本書獲得以下基金部分資助:國家自然科學基金(No.11271368),北京市社會科學基金重大項目(No.15ZDA17),教育部高等學校博士學科點專項科研基金(No.20130004110007),國家社會科學基金重點項目(No.13AZD064),中國人民大學科學研究基金(中央高校基本科研業(yè)務費專項資金資助)項目成果(No.15XNL008),教育部科學技術研究重點項目(No.108120),北京市社會科學基金項目(No.12JGB051)以及蘭州商學院“飛天學者特聘計劃”。同時感謝教育部人文社會科學重點研究基地中國人民大學應用統(tǒng)計研究中心的大力支持。
田茂再,湖南鳳凰人,南開大學概率統(tǒng)計博士,中國人民大學統(tǒng)計學院教授、博士生導師,統(tǒng)計學家,教育部人文社會科學重點研究基地中國人民大學應用統(tǒng)計科學研究中心副主任。澳大利亞墨爾本大學、德國洪堡大學、美國耶魯大學、英國曼徹斯特大學、布魯奈爾大學、日本東京大學以及意大利佛羅倫薩大學高級訪問教授。
研究領域:復雜數(shù)據(jù)建模理論。研究成果頗具創(chuàng)新性,深刻推動了統(tǒng)計學科的進步,并影響了相關學科的發(fā)展,在實踐領域發(fā)揮著重要作用,得到了國際同行專家的廣泛認可。
第1 章分位回歸引論..........................................................3
1.1 引言....................................................................3 1.1.1 分位數(shù)............................................................3 1.1.2 分位回歸..........................................................4 1.1.3 分位回歸方法的演變............................................... 7 1.2 估計方法和算法.......................................................12 1.2.1 參數(shù)分位回歸模型................................................ 12 1.2.2Box-Cox變換分位數(shù)模型..........................................12 1.2.3 非參分位回歸模型................................................ 13 1.2.4 窗寬選擇........................................................ 15 1.2.5 半?yún)⒎治换貧w模型................................................ 16 1.2.6 兩步法...........................................................17 1.3 分位回歸應用領域.................................................... 17 1.3.1 執(zhí)行總裁年報酬與公司股本的市場價值關系......................... 17 1.3.2分位數(shù)恩格爾曲線(EngelCurve).................................. 18 1.3.3 分位回歸和嬰兒體重的決定因素....................................20 1.3.4 醫(yī)學中參考圖表的應用............................................ 22 1.3.5 在生存分析方面的應用............................................ 23 1.3.6 風險值、分布尾部及分位數(shù)........................................ 24 1.3.7 經(jīng)濟.............................................................24 1.3.8 環(huán)境模型的應用.................................................. 24 1.3.9 在檢測異方差性上的應用.......................................... 25 1.4 其他方面的進展.......................................................25 1.4.1 時間序列的分位回歸.............................................. 25 1.4.2 擬合優(yōu)度........................................................ 26 1.4.3 貝葉斯分位回歸.................................................. 27 1.5 軟件和標準誤差.......................................................27 1.6 文獻介紹.............................................................. 28 第2 章線性分位回歸模擬.................................................... 30 2.1 基本概念.............................................................. 30 2.1.1 基于條件分位函數(shù)的定義.......................................... 30 2.1.2 基于分位回歸模型的定義.......................................... 30 2.1.3 基于損失函數(shù)的定義.............................................. 30 2.1.4 基于非對稱拉普拉斯密度的定義....................................31 2.2 家庭背景因素的影響.................................................. 31 2.3 數(shù)據(jù)...................................................................32 2.4 估計結果.............................................................. 34 2.4.1 10 年級的影響估計............................................... 34 2.4.2 11 年級的影響估計............................................... 35 2.4.3 12 年級的影響估計............................................... 36 2.5 置信區(qū)間和相關解釋.................................................. 39 2.5.1 哪一個是最好的?雙親、單親還是沒有父母.......................... 39 2.5.2 為什么我們要關注兄弟姐妹關系....................................40 2.5.3 父親和母親之間的影響的區(qū)別是什么............................... 40 2.5.4 性別上有差異嗎.................................................. 40 2.5.5 表現(xiàn)差距在哪里.................................................. 40 2.5.6 語言問題是很嚴重的問題嗎........................................ 41 2.5.7 本地學生從數(shù)學教學中獲益了嗎....................................41 2.6 結論...................................................................41 2.7 文獻介紹.............................................................. 42 第3 章非參數(shù)分位回歸模擬................................................. 43 3.1 穩(wěn)健局部逼近......................................................... 43 3.1.1 介紹.............................................................43 3.1.2 LAM 估計的相合性............................................... 44 3.1.3 LAM 估計的漸近分布............................................. 46 3.1.4I=2條件下關于K和β的最優(yōu)估計.............................. 46 3.1.5 文獻介紹........................................................ 48 3.2 非參數(shù)函數(shù)估計.......................................................48 3.2.1 引言.............................................................48 3.2.2 漸近性質(zhì)........................................................ 50 3.2.3 百分位回歸和預測區(qū)間............................................ 51 3.2.4 文獻介紹........................................................ 53 3.3 局部線性分位回歸.................................................... 53 3.3.1 引言.............................................................53 3.3.2 局部線性檢驗函數(shù)的最小化........................................ 56 3.3.3 局部線性雙核平滑................................................ 60 3.3.4 實際性能........................................................ 63 3.3.5 文獻介紹........................................................ 66 3.4 教育數(shù)據(jù)分析......................................................... 67 3.4.1 數(shù)據(jù).............................................................68 3.4.2 方法.............................................................69 3.4.3 科學成績........................................................ 70 3.4.4 數(shù)學成績........................................................ 73 3.4.5 科學成績和數(shù)學成績的關系........................................ 75 3.4.6 文獻介紹........................................................ 77 第4 章適應性分位回歸模擬................................................. 78 4.1 局部常數(shù)適應性分位回歸............................................. 78 4.1.1 引言.............................................................78 4.1.2 適應性估計...................................................... 79 4.1.3 實現(xiàn).............................................................81 4.1.4 理論性質(zhì)........................................................ 82 4.1.5 蒙特卡洛研究.................................................... 83 4.1.6 不同方法的比較.................................................. 87 4.1.7 局部適應性窗寬的自動選擇........................................ 88 4.1.8 應用.............................................................91 4.1.9 文獻介紹........................................................ 91 4.2 局部線性適應性分位回歸............................................. 92 4.2.1 介紹.............................................................92 4.2.2 局部線性適應性估計.............................................. 93 4.2.3 算法.............................................................95 4.2.4 理論性質(zhì)........................................................ 96 4.2.5 蒙特卡洛模擬.................................................... 97 4.2.6 文獻介紹........................................................ 99 第5 章可加性分位回歸模擬................................................ 100 5.1 高維協(xié)變量下可加條件分位回歸..................................... 100 5.1.1 引言............................................................100 5.1.2 方法............................................................102 5.1.3 漸近性質(zhì)....................................................... 105 5.1.4 與后擬合方法在數(shù)值表現(xiàn)上的比較................................ 108 5.1.5 例子............................................................111 5.1.6 文獻介紹....................................................... 115 5.2 可加分位回歸的非參數(shù)估計..........................................115 5.2.1 介紹............................................................116 5.2.2 估計量的正式描述............................................... 118 5.2.3 一個經(jīng)驗例子................................................... 119 5.2.4 漸近結果....................................................... 121 5.2.5 蒙特卡洛實驗................................................... 125 5.2.6 文獻介紹....................................................... 127 第6 章變系數(shù)分位回歸模擬................................................ 128 6.1 適應性變系數(shù)分位回歸.............................................. 128 6.1.1 引言............................................................128 6.1.2 自適應估計..................................................... 129 6.1.3 理論性質(zhì)....................................................... 134 6.1.4 實證例子....................................................... 136 6.1.5 文獻介紹....................................................... 141 6.2 異方差變系數(shù)分位回歸.............................................. 141 6.2.1 引言............................................................141 6.2.2局部線性CQR-AQR估計........................................143 6.2.3局部二次CQR-AQR估計........................................147 6.2.4 窗寬選擇....................................................... 148 6.2.5 假設檢驗....................................................... 149 6.2.6 數(shù)值模擬....................................................... 150 6.2.7 經(jīng)驗應用....................................................... 157 6.2.8局部m次多項式CQR-AQR估計................................ 159 6.2.9 文獻介紹....................................................... 161 第7 章單指數(shù)分位回歸模擬................................................ 162 7.1 引言................................................................. 162 7.2 模型與估計.......................................................... 163 7.2.1 模型與局部線性估計............................................. 163 7.2.2 帶寬選擇....................................................... 166 7.3 大樣本性質(zhì).......................................................... 167 7.3.1 非參部分的漸近性............................................... 167 7.3.2 參數(shù)部分的漸近性............................................... 168 7.4 數(shù)值研究.............................................................169 7.4.1 模擬............................................................169 7.4.2 波士頓房價數(shù)據(jù)應用............................................. 173 7.5 文獻介紹.............................................................176 第8 章分位自回歸模擬..................................................... 177 8.1 引言................................................................. 177 8.2 模型................................................................. 178 8.2.1 模型界定....................................................... 178 8.2.2 分位自回歸過程的性質(zhì)........................................... 179 8.3 估計................................................................. 181 8.4 分位單調(diào)性.......................................................... 183 8.5 分位自回歸過程的統(tǒng)計推斷..........................................186 8.5.1回歸Wald檢驗過程與相關檢驗...................................187 8.5.2 非對稱動態(tài)性檢驗............................................... 187 8.6 蒙特卡洛.............................................................189 8.7 實證運用.............................................................191 8.7.1 失業(yè)率......................................................... 192 8.7.2 汽油零售價的動態(tài)性............................................. 192 8.8 文獻介紹.............................................................194 第9 章復合分位回歸模擬...................................................195 9.1 復合分位回歸與模型選擇............................................ 195 9.1.1 介紹和動機..................................................... 195 9.1.2 復合分位回歸................................................... 197 9.1.3 漸近相對有效性................................................. 198 9.1.4 CQR-Oracular 估計量........................................... 203 9.1.5 模擬研究....................................................... 204 9.1.6 文獻介紹....................................................... 205 9.2 局部復合分位回歸................................................... 205 9.2.1 引言............................................................205 9.2.2 回歸函數(shù)的估計................................................. 206 9.2.3 導數(shù)的估計..................................................... 210 9.2.4 數(shù)值比較和例子................................................. 214 9.2.5局部p階多項式復合分位回歸光滑和證明.......................... 220 9.2.6 討論............................................................221 9.2.7 文獻介紹....................................................... 222 第10章高維分位回歸模擬................................................. 223 10.1 引言................................................................ 223 10.2 非凸懲罰的分位回歸................................................224 10.2.1 方法.......................................................... 224 10.2.2 差分凸規(guī)劃及充分局部最優(yōu)性條件............................... 226 10.2.3 漸近性質(zhì)...................................................... 226 10.3 模擬與實際數(shù)據(jù)例子................................................229 10.3.1 模擬研究...................................................... 230 10.3.2 應用.......................................................... 232 10.4 文獻介紹............................................................236 第11章貝葉斯分位回歸模擬............................................... 237 11.1 引言................................................................ 237 11.2 非對稱拉普拉斯分布................................................238 11.3 貝葉斯分位回歸.................................................... 239 11.4 參數(shù)的不合適先驗.................................................. 240 11.5 應用................................................................ 240 11.5.1 模擬數(shù)據(jù)...................................................... 240 11.5.2免疫球蛋白IgG................................................ 242 11.5.3 煙囪損失...................................................... 242 11.6 文獻介紹............................................................244 下篇分層分位回歸模擬 第12章分層樣條分位回歸模擬.............................................247 12.1 引言................................................................ 247 12.2 條件分位函數(shù)的非參估計........................................... 248 12.3回歸分位數(shù)模型的Wald檢驗.......................................250 12.4 條件分位分層模型及其在家庭用電量需求上的應用.................252 12.4.1第一階段:家庭需求周期的時間序列模型..........................252 12.4.2第二階段:需求周期的橫截面模型................................ 253 12.4.3 條件分位數(shù)分層模型............................................ 254 12.5 數(shù)據(jù)的描述......................................................... 255 12.5.1 第一階段結果.................................................. 256 12.5.2 第二階段結果.................................................. 257 12.6 文獻介紹............................................................262 第13章分層線性分位回歸模擬.............................................264 13.1 引言................................................................ 264 13.2 分層分位回歸模型.................................................. 264 13.3 EQ 算法............................................................ 265 13.3.1 Q 步.......................................................... 265 13.3.2 E 步.......................................................... 266 13.3.3 迭代.......................................................... 267 13.3.4 初始值選取的基本方法.......................................... 267 13.4 漸近性質(zhì)............................................................267 13.5 真實數(shù)據(jù)分析舉例.................................................. 269 13.5.1 數(shù)據(jù)描述...................................................... 269 13.5.2 分位回歸...................................................... 269 13.5.3 兩水平分層分位回歸模型........................................270 13.5.4 部分結果...................................................... 272 13.6 文獻介紹............................................................274 第14章分層半?yún)?shù)分位回歸模擬.......................................... 275 14.1 介紹................................................................ 275 14.2 模型和估計......................................................... 276 14.2.1研究J所學校SES成績之間的關系..............................277 14.2.2 母親講話對孩子詞匯量的影響................................... 278 14.3 漸近結果............................................................282 14.4 模擬分析............................................................283 14.4.1 誤差為多元柯西分布的層次線性模型............................. 283 14.4.2 具有異方差的層次非參分位回歸模型............................. 284 14.5 實際數(shù)據(jù)例子....................................................... 286 14.6 文獻介紹............................................................289 第15章復合分層線性分位回歸模擬........................................ 290 15.1 介紹................................................................ 290 15.2 模型................................................................ 291 15.3 估計................................................................ 292 15.3.1 CQ 步.........................................................292 15.3.2 E 步.......................................................... 292 15.3.3 迭代.......................................................... 293 15.4 漸近性質(zhì)............................................................294 15.4.1 誤差項為正態(tài)分布.............................................. 294 15.4.2 誤差項分布非正態(tài).............................................. 295 15.5 模擬................................................................ 296 15.5.1 誤差項為正態(tài)分布.............................................. 296 15.5.2 誤差項為柯西分布.............................................. 296 15.5.3 離群點........................................................ 297 15.5.4 選擇最優(yōu)K ....................................................298 15.6 實證部分............................................................299 15.6.1 描述數(shù)據(jù)...................................................... 299 15.6.2 多水平模型中的數(shù)據(jù)分析........................................299 15.6.3 結果.......................................................... 300 15.7 文獻介紹............................................................302 第16章復合分層半?yún)?shù)分位回歸模擬..................................... 303 16.1 介紹................................................................ 303 16.2 模型................................................................ 304 16.2.1 第一層單元內(nèi)部模型............................................ 304 16.2.2 第二層單元之間模型............................................ 304 16.3 估計與算法......................................................... 305 16.4 漸近性質(zhì)............................................................306 16.5 模擬研究............................................................308 16.5.1 對于不同的誤差項分布.......................................... 308 16.5.2對于Y存在異常值的情況.......................................310 16.5.3 函數(shù)及其導數(shù)估計.............................................. 311 16.6 實際數(shù)據(jù)分析....................................................... 312 16.6.1 第一次層模型.................................................. 314 16.6.2 第二次層模型.................................................. 314 16.7 文獻介紹............................................................315 參考文獻.................................................................317
你還可能感興趣
我要評論
|