云計(jì)算與大數(shù)據(jù)技術(shù)應(yīng)用
定 價(jià):45 元
叢書(shū)名:高等教育規(guī)劃教材
- 作者:安俊秀 靳宇昌 等
- 出版時(shí)間:2019/7/1
- ISBN:9787111630289
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類(lèi):TP393.027
- 頁(yè)碼:
- 紙張:膠版紙
- 版次:
- 開(kāi)本:16開(kāi)
本書(shū)全面介紹了云計(jì)算與大數(shù)據(jù)的基礎(chǔ)知識(shí)和主要技術(shù)。全書(shū)共11章,主要內(nèi)容包括云計(jì)算概述、大數(shù)據(jù)技術(shù)概述、虛擬化技術(shù)、數(shù)據(jù)中心、并行計(jì)算與集群技術(shù)、云存儲(chǔ)技術(shù)、OpenStack、Hadoop、Spark、Storm以及云計(jì)算仿真,本書(shū)注重實(shí)用,實(shí)驗(yàn)豐富,理論緊密聯(lián)系實(shí)際,使讀者可以系統(tǒng)全面地了解云計(jì)算與大數(shù)據(jù)技術(shù)。
本書(shū)可作為高等院校云計(jì)算、大數(shù)據(jù)相關(guān)課程的教材,也可以作為計(jì)算機(jī)相關(guān)專(zhuān)業(yè)的專(zhuān)業(yè)課或選修課教材,同時(shí)也可以作為從事云計(jì)算與大數(shù)據(jù)技術(shù)相關(guān)工作的人員的參考用書(shū)。
配套資源:電子課件、源代碼、習(xí)題答案
本書(shū)特色:
切合當(dāng)前云計(jì)算、大數(shù)據(jù)相關(guān)專(zhuān)業(yè)教學(xué)需求。
介紹主流技術(shù)同時(shí)緊跟技術(shù)發(fā)展趨勢(shì)。
理論與實(shí)踐相結(jié)合。
索取教學(xué)資源請(qǐng)聯(lián)系微信15910938545索取
前 言
隨著計(jì)算機(jī)技術(shù)的發(fā)展,數(shù)據(jù)量呈現(xiàn)爆炸式增長(zhǎng),傳統(tǒng)IT技術(shù)已經(jīng)無(wú)法滿(mǎn)足業(yè)務(wù)的發(fā)展需求,因此云計(jì)算與大數(shù)據(jù)技術(shù)應(yīng)運(yùn)而生。目前,我國(guó)大部分的Web網(wǎng)站、移動(dòng)應(yīng)用、視頻服務(wù)、游戲服務(wù)和電子商務(wù)平臺(tái)都在應(yīng)用云計(jì)算或大數(shù)據(jù)技術(shù),并且云計(jì)算和大數(shù)據(jù)技術(shù)正迅速地在制造、金融、交通、醫(yī)療健康等各個(gè)行業(yè)得到廣泛應(yīng)用。隨之而來(lái)的是廣大企業(yè)對(duì)云計(jì)算與大數(shù)據(jù)人才的需求呈井噴式增長(zhǎng)。為了滿(mǎn)足社會(huì)發(fā)展的需求,云計(jì)算與大數(shù)據(jù)技術(shù)在高等院校計(jì)算機(jī)及相關(guān)專(zhuān)業(yè)的日常教學(xué)中逐漸占據(jù)重要地位,在計(jì)算機(jī)相關(guān)專(zhuān)業(yè)學(xué)生的培養(yǎng)計(jì)劃中也逐步加入了云計(jì)算與大數(shù)據(jù)相關(guān)的課程。
本書(shū)將云計(jì)算與大數(shù)據(jù)技術(shù)整合進(jìn)行講解。首先介紹云計(jì)算技術(shù),接著是對(duì)大數(shù)據(jù)技術(shù)進(jìn)行概述,使讀者對(duì)云計(jì)算與大數(shù)據(jù)的體系架構(gòu)形成全局認(rèn)識(shí)并了解二者之間的關(guān)系;在明晰基本理論的前提下,再對(duì)具體的虛擬化技術(shù)、數(shù)據(jù)中心、并行計(jì)算與集群技術(shù)、云存儲(chǔ)技術(shù)、OpenStack、Hadoop分布式大數(shù)據(jù)開(kāi)發(fā)平臺(tái)、Spark大數(shù)據(jù)計(jì)算框架、Storm基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算框架、云計(jì)算仿真等內(nèi)容進(jìn)行具體介紹,并且穿插了相應(yīng)的實(shí)踐案例,使讀者對(duì)云計(jì)算與大數(shù)據(jù)技術(shù)在具體實(shí)現(xiàn)上有更直觀(guān)的認(rèn)識(shí),實(shí)現(xiàn)了理論與實(shí)踐的有機(jī)結(jié)合。
本書(shū)非常適合開(kāi)設(shè)云計(jì)算或者大數(shù)據(jù)技術(shù)相關(guān)課程的高校作為教材使用,也適合從事云計(jì)算與大數(shù)據(jù)技術(shù)相關(guān)工作的人員自用。在學(xué)習(xí)本書(shū)的內(nèi)容之前,需要讀者具備一定的計(jì)算機(jī)體系結(jié)構(gòu)和計(jì)算機(jī)編程語(yǔ)言的基礎(chǔ)。
本書(shū)共 11 章。
第 1 章是云計(jì)算概述,主要介紹云計(jì)算的定義、發(fā)展背景、基礎(chǔ)架構(gòu)和服務(wù)模式,以及云計(jì)算的部署模式、典型的云計(jì)算產(chǎn)品、云計(jì)算技術(shù)的新發(fā)展、我國(guó)的云計(jì)算產(chǎn)業(yè)現(xiàn)狀。
第 2 章是大數(shù)據(jù)技術(shù)概述,包括大數(shù)據(jù)技術(shù)的產(chǎn)生、大數(shù)據(jù)的 4V 特征、大數(shù)據(jù)的主要應(yīng)用及行業(yè)推動(dòng)力量、大數(shù)據(jù)的關(guān)鍵技術(shù)、典型的大數(shù)據(jù)計(jì)算架構(gòu)。
第 3 章對(duì)虛擬化技術(shù)做了較為詳細(xì)的介紹,主要包括了虛擬化技術(shù)簡(jiǎn)介、虛擬化技術(shù)原理、常見(jiàn)的虛擬化技術(shù)解決方案、常見(jiàn)虛擬化技術(shù)的應(yīng)用實(shí)踐。
第4 章介紹數(shù)據(jù)中心,主要包括數(shù)據(jù)中心的基本概念、數(shù)據(jù)中心的基本單元服務(wù)器、數(shù)據(jù)中心的選址、數(shù)據(jù)中心的能耗。
第 5 章詳細(xì)講解了并行計(jì)算與集群技術(shù),主要內(nèi)容有并行計(jì)算概述、云計(jì)算基礎(chǔ)架構(gòu)集群、并行計(jì)算的分類(lèi)、并行計(jì)算相關(guān)技術(shù)、并行程序設(shè)計(jì)實(shí)踐MPI編程。
第 6 章介紹了云存儲(chǔ)技術(shù),主要包括云存儲(chǔ)概述、云存儲(chǔ)與云計(jì)算、云存儲(chǔ)的應(yīng)用、云存儲(chǔ)技術(shù)發(fā)展的關(guān)注點(diǎn)。
第 7 章介紹了 OpenStack這一功能強(qiáng)大的IaaS平臺(tái),主要包括 OpenStack 架構(gòu)和關(guān)鍵模塊的介紹。
第 8 章介紹了 Hadoop 分布式大數(shù)據(jù)開(kāi)發(fā)平臺(tái),包括 Hadoop 概述、分布式文件系統(tǒng)HDFS、分布式計(jì)算框架MapReduce、列式數(shù)據(jù)庫(kù)HBase以及Hadoop開(kāi)發(fā)環(huán)境的搭建。
第 9 章主要講解了基于大規(guī)模數(shù)據(jù)實(shí)時(shí)處理的 Spark 內(nèi)存計(jì)算框架,包括 Spark 概述、Spark運(yùn)行機(jī)制、Spark運(yùn)行模式、Spark RDD和Spark的生態(tài)系統(tǒng)。
第 10 章詳細(xì)講解Storm這一基于拓?fù)涞牧鲾?shù)據(jù)實(shí)時(shí)計(jì)算框架,包括了Storm簡(jiǎn)介、Storm原理及其體系結(jié)構(gòu)、Storm-Yarn、搭建Storm開(kāi)發(fā)環(huán)境及Storm應(yīng)用實(shí)踐。
第 11 章介紹云計(jì)算仿真,介紹了CloudSim 云計(jì)算仿真系統(tǒng)、CloudSim 的模型使用場(chǎng)景、CloudSim 的應(yīng)用實(shí)踐。
本書(shū)由成都信息工程大學(xué)安俊秀教授和四川師范大學(xué)靳宇倡教授等共同編寫(xiě)。其中第1章、第2章、第5章、第9章由文仁強(qiáng)、安俊秀編寫(xiě);第3章、第6章由陶武文、安俊秀編寫(xiě);第4章由薛凱文、靳宇倡編寫(xiě);第7章由安俊秀編寫(xiě);第8章由劉明月、靳宇倡編寫(xiě);第10章由王梓懿、靳宇倡編寫(xiě);第11章由馮莉驕、靳宇倡編寫(xiě)。文仁強(qiáng)、薛凱文參與了本書(shū)的審閱工作。同時(shí),本書(shū)的編寫(xiě)和出版還得到了國(guó)家自然科學(xué)基金項(xiàng)目(71673032)的支持。
盡管在本書(shū)的編寫(xiě)過(guò)程中,編者力求嚴(yán)謹(jǐn)、準(zhǔn)確,但由于技術(shù)的發(fā)展日新月異,加之編者水平有限,書(shū)中難免存在錯(cuò)誤和不足之處,敬請(qǐng)廣大讀者批評(píng)指正。如果有任何問(wèn)題和建議,可發(fā)送電子郵件至86631589@qq.com。
編 者
目 錄
前言
第1章 云計(jì)算概述1
1.1 什么是云計(jì)算1
1.1.1 云計(jì)算的定義1
1.1.2 云計(jì)算的概念模型2
1.1.3 云計(jì)算的特點(diǎn)3
1.2 云計(jì)算技術(shù)發(fā)展背景3
1.3 典型的云計(jì)算基礎(chǔ)架構(gòu)7
1.4 云計(jì)算的主要服務(wù)模式9
1.4.1 基礎(chǔ)設(shè)施即服務(wù)IaaS9
1.4.2 平臺(tái)即服務(wù)PaaS10
1.4.3 軟件即服務(wù)SaaS11
1.4.4 三種服務(wù)模式之間的關(guān)系12
1.5 云計(jì)算的主要部署模式13
1.6 云計(jì)算是商業(yè)模式的創(chuàng)新14
1.7 典型的云計(jì)算產(chǎn)品15
1.7.1 Amazon的AWS15
1.7.2 Windows Azure Platform16
1.7.3 IBM藍(lán)云解決方案17
1.7.4 阿里云18
1.8 云計(jì)算技術(shù)的新發(fā)展20
1.9 我國(guó)的云計(jì)算產(chǎn)業(yè)現(xiàn)狀23
1.9.1 政府推動(dòng)云計(jì)算產(chǎn)業(yè)發(fā)展23
1.9.2 我國(guó)云計(jì)算產(chǎn)業(yè)高速發(fā)展24
習(xí)題25
第2章 大數(shù)據(jù)技術(shù)概述26
2.1 大數(shù)據(jù)技術(shù)的產(chǎn)生26
2.1.1 大數(shù)據(jù)的基本概念26
2.1.2 大數(shù)據(jù)產(chǎn)生的原因26
2.1.3 大數(shù)據(jù)概念的提出28
2.1.4 第四范式大數(shù)據(jù)對(duì)科學(xué)研究產(chǎn)生的影響30
2.1.5 云計(jì)算與大數(shù)據(jù)的關(guān)系31
2.2 大數(shù)據(jù)的4V特征31
2.3 大數(shù)據(jù)的主要應(yīng)用及行業(yè)推動(dòng)力量32
2.3.1 大數(shù)據(jù)的主要應(yīng)用32
2.3.2 企業(yè)推動(dòng)大數(shù)據(jù)行業(yè)發(fā)展32
2.3.3 我國(guó)政府推動(dòng)大數(shù)據(jù)行業(yè)發(fā)展33
2.4 大數(shù)據(jù)的關(guān)鍵技術(shù)34
2.5 典型的大數(shù)據(jù)計(jì)算架構(gòu)35
習(xí)題35
第3章 虛擬化技術(shù)36
3.1 虛擬化技術(shù)簡(jiǎn)介36
3.1.1 虛擬化技術(shù)的概念36
3.1.2 虛擬化技術(shù)的分類(lèi)38
3.1.3 虛擬化技術(shù)的優(yōu)勢(shì)和劣勢(shì)42
3.1.4 虛擬化技術(shù)與云計(jì)算43
3.2 虛擬化技術(shù)原理43
3.2.1 虛擬機(jī)技術(shù)原理43
3.2.2 CPU虛擬化原理44
3.2.3 內(nèi)存虛擬化原理46
3.2.4 網(wǎng)絡(luò)虛擬化原理47
3.3 常見(jiàn)的虛擬化技術(shù)解決方案47
3.3.1 OpenStack47
3.3.2 KVM48
3.3.3 Hyper-V49
3.3.4 VMware49
3.3.5 Xen50
3.3.6 Docker51
3.4 常見(jiàn)虛擬化技術(shù)的應(yīng)用實(shí)踐52
3.4.1 虛擬化環(huán)境的搭建53
3.4.2 克隆虛擬機(jī)54
3.4.3 虛擬機(jī)做快照56
習(xí)題59
第4章 數(shù)據(jù)中心60
4.1 數(shù)據(jù)中心的概念60
4.1.1 數(shù)據(jù)中心的定義、作用及分類(lèi)60
4.1.2 數(shù)據(jù)中心的發(fā)展歷程61
4.1.3 數(shù)據(jù)中心的組成及建設(shè)原則65
4.1.4 云計(jì)算、大數(shù)據(jù)時(shí)代的數(shù)據(jù)中心發(fā)展趨勢(shì)66
4.2 數(shù)據(jù)中心的基本單元服務(wù)器66
4.3 數(shù)據(jù)中心選址69
4.4 數(shù)據(jù)中心的能耗69
4.4.1 數(shù)據(jù)中心能耗評(píng)估70
4.4.2 數(shù)據(jù)中心的主要節(jié)能措施71
習(xí)題72
第5章 并行計(jì)算與集群技術(shù)73
5.1 并行計(jì)算概述73
5.1.1 并行計(jì)算的概念73
5.1.2 并行計(jì)算的層次75
5.1.3 并行計(jì)算機(jī)的發(fā)展75
5.1.4 并行計(jì)算與分布式計(jì)算77
5.1.5 并行計(jì)算與云計(jì)算78
5.2 云計(jì)算基礎(chǔ)架構(gòu)集群技術(shù)79
5.2.1 集群的基本概念79
5.2.2 集群系統(tǒng)的分類(lèi)80
5.2.3 集群文件系統(tǒng)80
5.3 并行計(jì)算的分類(lèi)81
5.3.1 按Flynn分類(lèi)81
5.3.2 按應(yīng)用的計(jì)算特征分類(lèi)82
5.3.3 按結(jié)構(gòu)模型分類(lèi)83
5.4 并行計(jì)算相關(guān)技術(shù)84
5.4.1 并行計(jì)算的關(guān)鍵技術(shù)84
5.4.2 并行計(jì)算的性能估算86
5.5 并行程序設(shè)計(jì)MPI編程87
5.5.1 MPI簡(jiǎn)介87
5.5.2 一個(gè)簡(jiǎn)單的MPI程序?qū)崿F(xiàn)88
5.5.3 MPI消息90
5.5.4 MPI的消息傳遞過(guò)程90
5.5.5 MPI常用基本函數(shù)91
5.5.6 有消息傳遞的并行程序91
習(xí)題93
第6章 云存儲(chǔ)技術(shù)94
6.1 云存儲(chǔ)概述94
6.1.1 云存儲(chǔ)的概念94
6.1.2 云存儲(chǔ)系統(tǒng)的結(jié)構(gòu)95
6.1.3 云存儲(chǔ)的實(shí)現(xiàn)基礎(chǔ)96
6.1.4 云存儲(chǔ)的特性98
6.2 云存儲(chǔ)與云計(jì)算99
6.3 云存儲(chǔ)的應(yīng)用100
6.3.1 個(gè)人級(jí)云存儲(chǔ)的應(yīng)用100
6.3.2 企業(yè)級(jí)云存儲(chǔ)的應(yīng)用100
6.4 云存儲(chǔ)發(fā)展的關(guān)注點(diǎn)101
習(xí)題102
第7章 OpenStack功能強(qiáng)大的IaaS平臺(tái)103
7.1 OpenStack架構(gòu)103
7.2 計(jì)算服務(wù)模塊Nova104
7.3 網(wǎng)絡(luò)服務(wù)模塊Neutron107
7.3.1 Neutron的主要組件107
7.3.2 Neutron網(wǎng)絡(luò)109
7.4 塊存儲(chǔ)服務(wù)模塊Cinder110
7.5 對(duì)象存儲(chǔ)服務(wù)模塊Swift111
7.6 身份認(rèn)證模塊Keystone115
7.7 鏡像模塊Glance119
7.8 儀表盤(pán)服務(wù)模塊Horizon121
7.9 監(jiān)控計(jì)量服務(wù)模塊Ceilometer122
習(xí)題123
第8章 Hadoop分布式大數(shù)據(jù)開(kāi)發(fā)平臺(tái)124
8.1 Hadoop簡(jiǎn)介124
8.1.1 Hadoop與分布式開(kāi)發(fā)技術(shù)124
8.1.2 Hadoop的體系架構(gòu)125
8.1.3 Hadoop集群的架構(gòu)127
8.2 分布式文件系統(tǒng)HDFS129
8.2.1 分布式文件系統(tǒng)概述129
8.2.2 HDFS的架構(gòu)及讀寫(xiě)流程131
8.3 分布式計(jì)算框架MapReduce133
8.3.1 MapReduce編程模型133
8.3.2 MapReduce數(shù)據(jù)流135
8.3.3 MapReduce任務(wù)運(yùn)行流程136
8.4 列式數(shù)據(jù)庫(kù)HBase138
8.4.1 HBase列數(shù)據(jù)庫(kù)介紹139
8.4.2 理解HBase的表結(jié)構(gòu)139
8.5 搭建Hadoop開(kāi)發(fā)環(huán)境142
8.5.1 相關(guān)準(zhǔn)備工作143
8.5.2 JDK的安裝配置143
8.5.3 下載、解壓Hadoop并配置Hadoop環(huán)境變量144
8.5.4 修改Hadoop配置文件145
8.5.5 將配置好的Hadoop文件復(fù)制到其他結(jié)點(diǎn)并格式化146
8.5.6 啟動(dòng)、停止Hadoop146
8.5.7 運(yùn)行測(cè)試程序WordCount147
習(xí)題148
第9章 Spark基于內(nèi)存的大數(shù)據(jù)計(jì)算框架149
9.1 Spark概述149
9.2 Spark的運(yùn)行機(jī)制150
9.3 Spark的運(yùn)行模式152
9.3.1 Stan