劍指大數(shù)據(jù)——企業(yè)級數(shù)據(jù)倉庫項目實戰(zhàn)（金融租賃版）
定 價：79 元
叢書名：程序員硬核技術叢書
- 作者：尚硅谷教育
- 出版時間：2024/5/1
- ISBN：9787121476914
- 出 版 社：電子工業(yè)出版社
- 中圖法分類：TP311.13
- 頁碼：244
- 紙張：
- 版次：01
- 開本：16開
本書從需求規(guī)劃、需求實現(xiàn)到可視化展示等，遵循項目開發(fā)的主要流程，全景介紹了金融租賃行業(yè)離線數(shù)據(jù)倉庫的搭建過程。在整個數(shù)據(jù)倉庫的搭建過程中，介紹了主要組件的安裝部署、需求實現(xiàn)的具體思路、問題的解決方案等，并在其中穿插了許多大數(shù)據(jù)和數(shù)據(jù)倉庫相關的理論知識，包括數(shù)據(jù)倉庫的概念介紹、金融租賃業(yè)務概述、數(shù)據(jù)倉庫理論介紹和數(shù)據(jù)倉庫建模等。本書的第1章至第3章是項目前期準備階段，主要為讀者介紹了數(shù)據(jù)倉庫的概念、應用場景和搭建需求等，并初步搭建了數(shù)據(jù)倉庫項目所需的基本環(huán)境；第4章至第5章是數(shù)據(jù)倉庫搭建的核心部分，詳細為讀者講解了數(shù)據(jù)倉庫建模理論和數(shù)據(jù)從采集到分層搭建的全過程，是本書的重點；第6章至第7章介紹了全流程調度和指標可視化。
尚硅谷教育是一家專業(yè)的IT教育培訓機構，開設了JavaEE、大數(shù)據(jù)、HTML5前端等多門學科，在互聯(lián)網上發(fā)布的JavaEE、大數(shù)據(jù)、HTML5前端、區(qū)塊鏈、C語言、Python等技術視頻教程廣受贊譽。
第1章 數(shù)據(jù)倉庫概論 1
1.1 數(shù)據(jù)倉庫的概念與特點 1
1.2 數(shù)據(jù)倉庫的演進過程 2
1.3 數(shù)據(jù)倉庫技術 3
1.4 數(shù)據(jù)倉庫基本架構 5
1.5 數(shù)據(jù)庫和數(shù)據(jù)倉庫的區(qū)別 8
1.6 學前導讀 9
1.6.1 學習的基礎要求 9
1.6.2 你將學到什么 9
1.7 本章總結 9
第2章 項目需求描述 11
2.1 前期調研 11
2.2 項目架構分析 12
2.2.1 金融租賃行業(yè)簡介 12
2.2.2 金融租賃數(shù)據(jù)倉庫產品描述 12
2.2.3 系統(tǒng)功能結構 13
2.2.4 系統(tǒng)流程圖 14
2.3 項目業(yè)務概述 14
2.3.1 數(shù)據(jù)采集模塊業(yè)務描述 14
2.3.2 數(shù)據(jù)倉庫需求業(yè)務描述 15
2.3.3 數(shù)據(jù)可視化業(yè)務描述 17
2.4 系統(tǒng)運行環(huán)境 18
2.4.1 硬件環(huán)境 18
2.4.2 軟件環(huán)境 19
2.5 本章總結 21
第3章 項目部署的環(huán)境準備 22
3.1 集群規(guī)劃與服務器配置 22
3.2 安裝JDK與Hadoop 22
3.2.1 準備虛擬機環(huán)境 22
3.2.2 安裝JDK 26
3.2.3 安裝Hadoop 27
3.2.4 Hadoop的分布式集群部署 28
3.3 本章總結 35
第4章 業(yè)務數(shù)據(jù)采集模塊 36
4.1 金融租賃業(yè)務概述 36
4.1.1 金融租賃業(yè)務流程 36
4.1.2 業(yè)務表結構 40
4.2 數(shù)據(jù)同步 43
4.2.1 數(shù)據(jù)同步策略 43
4.2.2 數(shù)據(jù)同步工具選擇 45
4.3 環(huán)境準備 46
4.3.1 安裝DataX 46
4.3.2 安裝Maxwell 47
4.3.3 安裝ZooKeeper 52
4.3.4 安裝Kafka 54
4.3.5 安裝Flume 57
4.4 模擬業(yè)務數(shù)據(jù) 59
4.4.1 MySQL安裝 59
4.4.2 數(shù)據(jù)模擬 61
4.5 業(yè)務數(shù)據(jù)的采集 62
4.5.1 全量同步 62
4.5.2 增量同步 67
4.6 采集通道啟動和停止腳本 76
4.7 本章總結 77
第5章 數(shù)據(jù)倉庫搭建模塊 78
5.1 數(shù)據(jù)倉庫理論準備 78
5.1.1 數(shù)據(jù)建模概述 78
5.1.2 關系模型與范式理論 79
5.1.3 維度模型 82
5.1.4 維度建模理論之事實表 83
5.1.5 維度建模理論之維度表 86
5.1.6 星形模型、雪花模型與星座模型 89
5.2 數(shù)據(jù)倉庫建模實踐 91
5.2.1 名詞概念 91
5.2.2 為什么要分層 92
5.2.3 數(shù)據(jù)倉庫搭建流程 93
5.2.4 數(shù)據(jù)倉庫開發(fā)規(guī)范 97
5.3 數(shù)據(jù)倉庫搭建環(huán)境準備 101
5.3.1 Hive安裝 101
5.3.2 Hive on Spark配置 104
5.3.3 YARN容量調度器并發(fā)度問題 106
5.3.4 數(shù)據(jù)倉庫開發(fā)環(huán)境配置 106
5.3.5 模擬數(shù)據(jù)準備 109
5.3.6 復雜數(shù)據(jù)類型 111
5.4 數(shù)據(jù)倉庫搭建——ODS層 112
5.4.1 ODS層表格的創(chuàng)建 112
5.4.2 ODS層業(yè)務數(shù)據(jù)導入腳本 116
5.5 數(shù)據(jù)倉庫搭建——DIM層 117
5.5.1 部門維度表（全量） 117
5.5.2 員工維度表（全量） 119
5.5.3 行業(yè)維度表（全量） 120
5.5.4 DIM層每日數(shù)據(jù)裝載腳本 121
5.6 數(shù)據(jù)倉庫搭建——DWD層 121
5.6.1 審批域金融租賃全流程累積快照事實表 121
5.6.2 DWD層首日數(shù)據(jù)裝載腳本 133
5.6.3 DWD層每日數(shù)據(jù)裝載腳本 133
5.7 數(shù)據(jù)倉庫搭建——ADS層 133
5.7.1 待審/在審項目主題指標 133
5.7.2 已審項目主題指標 154
5.7.3 已審項目轉化主題指標 167
5.7.4 ADS層數(shù)據(jù)導入腳本 170
5.8 數(shù)據(jù)模型評估及優(yōu)化 170
5.9 本章總結 171
第6章 DolphinScheduler全流程調度 172
6.1 DolphinScheduler概述與安裝部署 172
6.1.1 DolphinScheduler概述 172
6.1.2 DolphinScheduler安裝部署 173
6.2 創(chuàng)建MySQL數(shù)據(jù)庫和表 179
6.3 DataX數(shù)據(jù)導出 188
6.4 全流程調度 192
6.4.1 數(shù)據(jù)準備 192
6.4.2 全流程調度配置 192
6.5 電子郵件報警 198
6.5.1 注冊郵箱 198
6.5.2 配置電子郵件報警 199
6.6 本章總結 202
第7章 數(shù)據(jù)可視化模塊 203
7.1 部署FineBI 203
7.1.1 安裝 203
7.1.2 初始化 205
7.2 數(shù)據(jù)源的配置 210
7.2.1 配置數(shù)據(jù)連接 210
7.2.2 配置數(shù)據(jù)源 213
7.3 制作圖表 215
7.3.1 制作堆積柱狀圖 215
7.3.2 制作餅狀圖 219
7.3.3 制作多系列柱狀圖 227
7.3.4 制作儀表板 229
7.4 本章總結 234
書單推薦
