第1章 R語言與統(tǒng)計(jì)分析概述 1 1.1 寫在前面的話 1 1.1.1 大數(shù)據(jù)的廣義概念 1 1.1.2 目標(biāo)定位 2 1.1.3 初識(shí)R 3 1.2 R語言入門 3 1.2.1 R中的基本概念 3 1.2.2 R的下載安裝 5 1.2.3 R程序的運(yùn)行 6 1.2.4 R使用的其他方面 10 1.3 Rstudio簡介 12 1.4 從大數(shù)據(jù)分析案例看統(tǒng)計(jì)分析的基本框架 13 1.4.1 數(shù)據(jù)集 14 1.4.2 分析目標(biāo)和數(shù)據(jù)預(yù)處理 16 1.4.3 數(shù)據(jù)的基本分析 17 1.4.4 總體特征的推斷 17 1.4.5 推斷多個(gè)變量間的總體相關(guān)性 18 1.4.6 數(shù)據(jù)的聚類 19 1.5 本章涉及的R函數(shù) 19 第2章 R的數(shù)據(jù)組織 20 2.1 R的數(shù)據(jù)對(duì)象 20 2.1.1 R對(duì)象的類型劃分 20 2.1.2 創(chuàng)建和管理R對(duì)象 21 2.2 R數(shù)據(jù)組織的基本方式 22 2.2.1 R向量及其創(chuàng)建與訪問 22 2.2.2 R矩陣和數(shù)組及其創(chuàng)建與訪問 27 2.2.3 R數(shù)據(jù)框及其創(chuàng)建與訪問 32 2.2.4 R列表及其創(chuàng)建與訪問 36 2.3 R數(shù)據(jù)組織的其他問題 37 2.3.1 R對(duì)象數(shù)據(jù)的保存 37 2.3.2 通過鍵盤讀入數(shù)據(jù) 38 2.3.3 共享R自帶的數(shù)據(jù)包 39 2.4 大數(shù)據(jù)案例的數(shù)據(jù)結(jié)構(gòu)和R組織 39 2.4.1 讀文本文件數(shù)據(jù)到R數(shù)據(jù)框 39 2.4.2 大數(shù)據(jù)分析案例：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù) 40 2.4.3 大數(shù)據(jù)分析案例：美食餐館食客點(diǎn)評(píng)數(shù)據(jù) 41 2.4.3 大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù) 42 2.5 本章涉及的R函數(shù) 43 第3章 R的數(shù)據(jù)整理和編程基礎(chǔ) 45 3.1 從大數(shù)據(jù)分析案例看數(shù)據(jù)整理 45 3.1.1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的整理問題 45 3.1.2 超市顧客購買行為數(shù)據(jù)的整理問題 45 3.1.3 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的整理問題 46 3.2 數(shù)據(jù)的初步整理 46 3.2.1 數(shù)據(jù)整合 46 3.2.2 數(shù)據(jù)篩選 46 3.2.3 大數(shù)據(jù)分析案例：美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的初步整理 47 3.3 數(shù)據(jù)質(zhì)量評(píng)估 49 3.3.1 缺失數(shù)據(jù)報(bào)告 49 3.3.2 異常值排查 50 3.3.3 大數(shù)據(jù)分析案例：美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的質(zhì)量評(píng)估 50 3.4 數(shù)據(jù)加工 52 3.4.1 數(shù)據(jù)加工管理中的常用函數(shù) 53 3.4.2 數(shù)據(jù)分組和重編碼 59 3.4.3 大數(shù)據(jù)分析案例：利用數(shù)據(jù)加工尋找“人氣”餐館 60 3.5 數(shù)據(jù)管理中的R編程基礎(chǔ) 61 3.5.1 分支結(jié)構(gòu)的流程控制及示例——促銷折扣的計(jì)算 61 3.5.2 循環(huán)結(jié)構(gòu)的流程控制及示例：等差數(shù)列的求和 63 3.5.3 用戶自定義函數(shù)及示例：匯總數(shù)據(jù)還原為原始數(shù)據(jù) 65 3.5.4 R編程大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù)的RFM計(jì)算 67 3.5.5 R編程大數(shù)據(jù)分析案例：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的整理 68 3.6 本章涉及的R函數(shù) 70 第4章 R的基本分析和統(tǒng)計(jì)圖形 71 4.1 從大數(shù)據(jù)分析案例看數(shù)據(jù)基本分析 71 4.1.1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)的基本分析 71 4.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的基本分析 72 4.2 R的繪圖基礎(chǔ) 73 4.2.1 圖形設(shè)備和圖形文件 73 4.2.2 圖形組成和圖形參數(shù) 74 4.3 分類型單變量的基本分析 78 4.3.1 計(jì)算頻數(shù)分布表 78 4.3.2 分類型變量的基本統(tǒng)計(jì)圖形 78 4.3.3 大數(shù)據(jù)分析案例：主打菜的餐館分布有怎樣的特點(diǎn) 79 4.4 數(shù)值型單變量的基本分析 80 4.4.1 計(jì)算基本描述統(tǒng)計(jì)量 80 4.4.2 數(shù)值型變量的基本統(tǒng)計(jì)圖形 81 4.4.3 大數(shù)據(jù)分析案例：餐館評(píng)分的分布有怎樣的特點(diǎn) 83 4.5 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的基本分析 85 4.6 本章涉及的R函數(shù) 88 第5章 R的變量相關(guān)性分析和統(tǒng)計(jì)圖形 89 5.1 分類型變量相關(guān)性的分析 89 5.1.1 分類型變量相關(guān)性的描述 89 5.1.2 分類型變量相關(guān)性的統(tǒng)計(jì)圖形 93 5.1.3 大數(shù)據(jù)分析案例：餐館的區(qū)域分布與主打菜分布是否具有相關(guān)性 93 5.2 數(shù)值型變量相關(guān)性的分析 94 5.2.1 數(shù)值型變量相關(guān)性的描述 94 5.2.2 數(shù)值型變量相關(guān)性的統(tǒng)計(jì)圖形 95 5.2.3 大數(shù)據(jù)分析案例：餐館各打分之間、打分與人均消費(fèi)之間是否具有相關(guān)性 96 5.3 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的相關(guān)性分析 100 5.4 本章涉及的R函數(shù) 102 第6章 R的均值檢驗(yàn)：單個(gè)總體的均值推斷及兩個(gè)總體均值的對(duì)比 104 6.1 從大數(shù)據(jù)分析案例看推斷統(tǒng)計(jì) 104 6.1.1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)分析中的推斷統(tǒng)計(jì)問題 104 6.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的推斷統(tǒng)計(jì)問題 105 6.2 單個(gè)總體的均值推斷 106 6.2.1 以PM2.5總體均值推斷為例看假設(shè)檢驗(yàn)基本原理 106 6.2.2 大數(shù)據(jù)案例分析：估計(jì)供暖季北京市PM2.5濃度的總體均值 110 6.3 兩個(gè)總體均值的對(duì)比：基于獨(dú)立樣本的常規(guī)t檢驗(yàn) 111 6.3.1 兩個(gè)獨(dú)立樣本均值t檢驗(yàn)的原理和R實(shí)現(xiàn) 111 6.3.2 深入問題：方差齊性檢驗(yàn)和R實(shí)現(xiàn) 114 6.3.3 大數(shù)據(jù)分析案例：兩個(gè)區(qū)域美食餐館人均消費(fèi)金額是否存在差異 115 6.4 兩個(gè)總體均值的對(duì)比：置換檢驗(yàn) 117 6.4.1 兩個(gè)獨(dú)立樣本均值差的置換檢驗(yàn)原理和R實(shí)現(xiàn) 117 6.4.2 大數(shù)據(jù)分析案例：利用置換檢驗(yàn)對(duì)比兩個(gè)區(qū)域美食餐館人均消費(fèi)金額的總體均值 118 6.5 兩個(gè)總體的均值對(duì)比：自舉法檢驗(yàn) 118 6.5.1 兩個(gè)獨(dú)立樣本均值差的自舉法檢驗(yàn)原理和R實(shí)現(xiàn) 118 6.5.2 大數(shù)據(jù)分析案例：利用自舉法對(duì)比兩個(gè)區(qū)域美食餐館人均消費(fèi)金額的總體均值 120 6.6 兩個(gè)總體的均值對(duì)比：基于配對(duì)樣本的常規(guī)t檢驗(yàn) 121 6.6.1 兩個(gè)配對(duì)樣本均值t檢驗(yàn)的原理和R實(shí)現(xiàn) 121 6.6.2 大數(shù)據(jù)分析案例：兩個(gè)區(qū)域美食餐館口味評(píng)分與就餐環(huán)境評(píng)分的均值是否存在差異 122 6.7 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的均值研究 123 6.8 本章涉及的R函數(shù) 125 第7章 R的方差分析：多個(gè)總體均值的對(duì)比 127 7.1 從大數(shù)據(jù)分析案例看方差分析 127 7.1.1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)分析中的方差分析問題 127 7.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的方差分析問題 128 7.2 多個(gè)總體均值的對(duì)比：單因素方差分析 128 7.2.1 單因素方差分析原理和R實(shí)現(xiàn) 128 7.2.2 深入問題：方差齊性檢驗(yàn)和多重比較檢驗(yàn) 131 7.2.3 大數(shù)據(jù)分析案例：利用單因素方差分析對(duì)比不同主打菜餐館人均消費(fèi)金額的 總體均值 131 7.3 多個(gè)總體均值的對(duì)比：多因素方差分析 135 7.3.1 多因素方差分析原理和R實(shí)現(xiàn) 135 7.3.2 大數(shù)據(jù)分析案例：利用多因素方差分析對(duì)比不同主打菜餐館人均消費(fèi)金額的 總體均值 137 7.4 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的均值研究 140 7.5 本章涉及的R函數(shù) 142 第8章 R的線性回歸分析：對(duì)數(shù)值變量影響程度的度量和預(yù)測 143 8.1 從數(shù)據(jù)分析案例看線性回歸分析 143 8.1.1 美食餐館食客點(diǎn)評(píng)數(shù)據(jù)分析中的回歸分析問題 143 8.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的回歸分析問題 143 8.1.3 線性回歸分析的一般步驟 143 8.2 建立回歸方程 145 8.2.1 線性回歸模型和線性回歸方程 145 8.2.2 線性回歸方程的參數(shù)估計(jì)和R實(shí)現(xiàn) 145 8.2.3 大數(shù)據(jù)分析案例：建立美食餐館食客評(píng)分的線性回歸模型 146 8.3 回歸方程的檢驗(yàn) 147 8.3.1 回歸方程的顯著性檢驗(yàn) 148 8.3.2 回歸系數(shù)的顯著性檢驗(yàn) 149 8.3.3 大數(shù)據(jù)分析案例：美食餐館食客評(píng)分回歸方程的檢驗(yàn) 149 8.4 回歸方程的應(yīng)用 152 8.4.1 回歸方程擬合效果的度量 152 8.4.2 預(yù)測和預(yù)測誤差 153 8.4.3 大數(shù)據(jù)分析案例：美食餐館食客評(píng)分回歸方程的評(píng)價(jià)和預(yù)測 153 8.5 回歸模型的驗(yàn)證 154 8.5.1 回歸模型的N折交叉驗(yàn)證法和R實(shí)現(xiàn) 155 8.5.2 回歸模型的自舉法驗(yàn)證和R實(shí)現(xiàn) 155 8.5.3 大數(shù)據(jù)分析案例：美食餐館食客評(píng)分回歸模型的驗(yàn)證 156 8.6 虛擬自變量回歸和協(xié)方差分析 157 8.6.1 虛擬自變量回歸 157 8.6.2 協(xié)方差分析 159 8.6.3 大數(shù)據(jù)分析案例：就餐環(huán)境對(duì)不同區(qū)域美食餐館人均消費(fèi)的影響 159 8.7 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的回歸分析研究 162 8.8 本章涉及的R函數(shù) 168 第9章 R的Logistic回歸分析：對(duì)分類變量影響程度的度量和預(yù)測 169 9.1 從大數(shù)據(jù)分析案例看Logistic回歸分析 169 9.1.1 人力資源調(diào)查數(shù)據(jù)分析中的Logistic回歸分析問題 169 9.1.2 Logistic回歸分析的基本建模思路 172 9.2 Logistic回歸方程的解讀 173 9.2.1 Logistic回歸方程的系數(shù) 173 9.2.2 Logistic回歸方程的檢驗(yàn) 174 9.2.3 大數(shù)據(jù)分析案例：基于人力資源調(diào)查數(shù)據(jù)探討技術(shù)人員離職的原因 176 9.3 Logistic回歸方程的應(yīng)用 179 9.3.1 Logistic回歸方程擬合效果的評(píng)價(jià) 179 9.3.2 大數(shù)據(jù)分析案例：基于人力資源調(diào)查數(shù)據(jù)預(yù)測技術(shù)人員離職的可能性 180 9.4 本章涉及的R函數(shù) 181 第10章 R的聚類分析：數(shù)據(jù)分組 182 10.1 從大數(shù)據(jù)分析案例看聚類分析 182 10.1.1 超市顧客購買行為數(shù)據(jù)分析中的聚類分析問題 182 10.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的聚類分析問題 183 10.1.3 聚類分析的基本思路 183 10.2 K-Means聚類 185 10.2.1 K-Means聚類原理和R實(shí)現(xiàn) 185 10.2.2 大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù)分析中的K-Means聚類 187 10.3 分層聚類 191 10.3.1 分層聚類原理和R實(shí)現(xiàn) 191 10.3.2 大數(shù)據(jù)分析案例：超市顧客購買行為數(shù)據(jù)分析中的分層聚類 192 10.4 大數(shù)據(jù)分析案例綜合：北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)的聚類分析研究 195 10.5 本章涉及的R函數(shù) 197 第11章 R的線性判別分析：分類預(yù)測 198 11.1 從大數(shù)據(jù)分析案例看判別分析 198 11.1.1 人力資源調(diào)查數(shù)據(jù)分析中的判別分析問題 198 11.1.2 判別分析的數(shù)據(jù)和基本出發(fā)點(diǎn) 199 11.2 距離判別法 199 11.2.1 距離判別的基本思路 199 11.2.2 判別函數(shù)的計(jì)算和R實(shí)現(xiàn) 201 11.2.3 大數(shù)據(jù)分析案例：利用距離判別預(yù)測技術(shù)人員離職的可能性 203 11.3 Fisher判別法 205 11.3.1 Fisher判別的基本原理 205 11.3.2 Fisher判別系數(shù)的求解和R實(shí)現(xiàn) 207 11.3.3 大數(shù)據(jù)分析案例：利用Fisher判別預(yù)測技術(shù)人員離職的可能性 209 11.4 本章涉及的R函數(shù) 210 第12章 R的因子分析：特征提取 211 12.1 從大數(shù)據(jù)分析案例看因子分析 211 12.1.1 植物物種分類中的因子分析問題 211 12.1.2 北京市空氣質(zhì)量監(jiān)測數(shù)據(jù)分析中的因子分析問題 213 12.2 因子分析基礎(chǔ) 213 12.2.1 因子分析的數(shù)學(xué)模型 213 12.2.2 因子分析的特點(diǎn)和基本步驟 215 12.2.3 因子分析的模型評(píng)價(jià) 216 12.3 確定因子變量 217 12.3.1 主成分分析法的基本原理 217 12.3.2 基于主成分分析法的因子載荷矩陣求解和R實(shí)現(xiàn) 219 12.3.3 計(jì)算因子得分和R實(shí)現(xiàn) 220 12.3.4 大數(shù)據(jù)分析案例：利用因子分析實(shí)現(xiàn)植物物種分類中的特征提取 221 12.4 因子變量命名 223 12.4.1 從大數(shù)據(jù)分析案例看因子變量命名的必要性 223 12.4.2 因子旋轉(zhuǎn)的原理和R實(shí)現(xiàn) 226 12.4.3 大數(shù)據(jù)分析案例：利用因子分析實(shí)現(xiàn)北京市空氣質(zhì)量的區(qū)域綜合評(píng)價(jià) 227 12.5 本章涉及的R函數(shù) 229