目錄

第1章回顧

1.1 數(shù)學(xué)記號(hào). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1

1.2 Taylor 定理和數(shù)學(xué)極限理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2

1.3 統(tǒng)計(jì)記號(hào)和概率分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3

1.4 似然推斷. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8

1.5 貝葉斯推斷. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9

1.6 統(tǒng)計(jì)極限理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11

1.7 馬氏鏈. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12

1.8 計(jì)算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14

第一部分優(yōu)化17

第2章優(yōu)化與求解非線性方程組19

2.1 單變量問(wèn)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20

2.2 多元問(wèn)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47

第3章組合優(yōu)化51

3.1 難題和NP 完備性. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51

3.2 局部搜索法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56

3.3 模擬退火. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59

3.4 遺傳算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 64

3.5 禁忌算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 73

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 78

第4 章EM優(yōu)化方法82

4.1 缺失數(shù)據(jù)、邊際化和符號(hào). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 82

4.2 EM 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83

4.3 EM 變型. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 94

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 102

第二部分積分和模擬109

第5 章數(shù)值積分111

5.1 Newton-Cotes 求積. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 111

5.2 Romberg 積分. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119

5.3 Gauss 求積. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 123

5.4 常見(jiàn)問(wèn)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 127

第6 章模擬與Monte Carlo 積分130

6.1 Monte Carlo 方法介紹. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130

6.2 精確模擬. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131

6.3 近似模擬. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140

6.4 方差縮減技術(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 155

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 168

第7 章MCMC 方法172

7.1 METROPOLIS-HASTINGS 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . 172

7.2 Gibbs 抽樣機(jī). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 178

7.3 實(shí)施. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 187

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 197

第8 章MCMC 中的深入論題202

8.1 自適應(yīng)MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 202

8.2 可逆跳躍MCMC . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 213

8.3 輔助變量方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 219

8.4 其他METROPOLIS-HASTINGS 算法. . . . . . . . . . . . . . . . . . . . . . . . 222

8.5 完美抽樣. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 225

8.6 馬爾科夫鏈極大似然. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 228

8.7 例子:馬爾科夫隨機(jī)域上的MCMC 算法. . . . . . . . . . . . . . . . . . . . . . . . 229

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 238

第三部分Bootstrapping 243

第9 章Bootstrapping 245

9.1 Bootstrap 的基本原則. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 245

9.2 基本方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 246

9.3 Bootstrap 推斷. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 250

9.4 縮減蒙特卡洛誤差. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 258

9.5 相依數(shù)據(jù)的Bootstrapping . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 259

9.6 Bootstrap 的性質(zhì). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 269

9.7 Bootstrap 方法的其他用途. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 270

9.8 置換檢驗(yàn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 271

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 272

第四部分密度估計(jì)和光滑方法275

第10章非參密度估計(jì)277

10.1 績(jī)效度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 278

10.2 核密度估計(jì). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 279

10.3 非核方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 291

10.4 多元方法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 293

習(xí)題. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .306

第11章二元光滑方法309

第12章多元光滑方法334

參考文獻(xiàn)

索引