數(shù)據(jù)工程師的云計(jì)算技術(shù)
定 價(jià):69 元
叢書(shū)名:云計(jì)算與虛擬化技術(shù)叢書(shū)
- 作者:[美]挪亞·吉夫特(Noah Gift)
- 出版時(shí)間:2021/9/1
- ISBN:9787111690719
- 出 版 社:機(jī)械工業(yè)出版社
- 中圖法分類(lèi):TP393.027
- 頁(yè)碼:
- 紙張:膠版紙
- 版次:
- 開(kāi)本:16開(kāi)
本書(shū)以項(xiàng)目為基礎(chǔ),全面介紹如何將云計(jì)算應(yīng)用于數(shù)據(jù)分析,內(nèi)容涵蓋大數(shù)據(jù)和機(jī)器學(xué)習(xí)。首先討論異步技術(shù)并介紹云計(jì)算基礎(chǔ)知識(shí)以及虛擬化、容器化和彈性化,然后討論分布式計(jì)算、無(wú)服務(wù)器ETL技術(shù)和可管理的機(jī)器學(xué)習(xí)系統(tǒng),還展示了數(shù)據(jù)科學(xué)案例研究,作者還分享了一些見(jiàn)解以及對(duì)職業(yè)化規(guī)劃的建議。本書(shū)包含大量的實(shí)踐作業(yè),使用了豐富的資源,包括Python在云平臺(tái)(谷歌、AWS、Azure)上的交互式實(shí)驗(yàn)室。
歡迎開(kāi)啟學(xué)習(xí)數(shù)據(jù)云計(jì)算的旅程。本書(shū)設(shè)計(jì)得非常實(shí)用,無(wú)論你打開(kāi)哪一章,都將是開(kāi)卷有益的。這些資料來(lái)自我職業(yè)生涯中所做的真實(shí)項(xiàng)目,我在世界各地的大學(xué)里使用這些資料進(jìn)行了教學(xué)。
讀完本書(shū)后,你將能完成以下工作:
創(chuàng)建云機(jī)器學(xué)習(xí)工作區(qū)。
管理機(jī)器學(xué)習(xí)實(shí)驗(yàn)和計(jì)算環(huán)境。
使用機(jī)器學(xué)習(xí)Designer GUI工具創(chuàng)建模型。
使用各種云平臺(tái)創(chuàng)建訓(xùn)練管道(pipeline)。
自動(dòng)化并監(jiān)視管道。
自動(dòng)化并觀察實(shí)驗(yàn)。
使用AutoML。
將機(jī)器學(xué)習(xí)模型部署到Azure、GCP和AWS上。
對(duì)機(jī)器學(xué)習(xí)端點(diǎn)進(jìn)行負(fù)載測(cè)試。
使用機(jī)器學(xué)習(xí)模型調(diào)試生產(chǎn)問(wèn)題。
為機(jī)器學(xué)習(xí)模型建立有用的日志。
為機(jī)器學(xué)習(xí)模型創(chuàng)建有用的API。
為生產(chǎn)部署確定合適的云架構(gòu)(例如GPU、彈性端點(diǎn)等)。
將持續(xù)交付應(yīng)用到機(jī)器學(xué)習(xí)系統(tǒng)中。
構(gòu)建一個(gè)基于云的機(jī)器學(xué)習(xí)工程組合項(xiàng)目。
為業(yè)務(wù)問(wèn)題創(chuàng)建一個(gè)機(jī)器學(xué)習(xí)工程解決方案。
利用創(chuàng)意為項(xiàng)目制作精彩的錄屏。
挪亞·吉夫特(Noah Gift),加州大學(xué)戴維斯分校管理研究生院MSBA項(xiàng)目的講師和顧問(wèn)。Noah擁有大約20年的Python編程經(jīng)驗(yàn),是Python軟件基金會(huì)成員。他曾在多家公司擔(dān)任過(guò)首席技術(shù)官、總經(jīng)理、咨詢(xún)首席技術(shù)官和云架構(gòu)師。目前,他正在為初創(chuàng)企業(yè)和其他公司提供機(jī)器學(xué)習(xí)和云架構(gòu)方面的咨詢(xún),并通過(guò)Noah Gift Consulting從事CTO級(jí)別的咨詢(xún)工作。他已經(jīng)出版了近100種技術(shù)出版物,其中包括兩本關(guān)于從云機(jī)器學(xué)習(xí)到DevOps的書(shū)籍。他還是一名已認(rèn)證的AWS解決方案架構(gòu)師。
前 言
第1章 開(kāi)始 1
1.1 有效的異步技術(shù)討論 1
1.1.1 可復(fù)制代碼 1
1.1.2 音頻、視頻和圖像 5
1.1.3 制作一次,重復(fù)使用多次 6
1.1.4 技術(shù)討論作為一種主動(dòng)學(xué)習(xí)的形式 6
1.1.5 結(jié)論 6
1.1.6 練習(xí):創(chuàng)造技術(shù)性帖子 6
1.2 有效的異步技術(shù)項(xiàng)目管理 7
1.2.1 為什么軟件項(xiàng)目失敗了 7
1.2.2 如何按時(shí)交付高質(zhì)量的軟件 7
1.2.3 其他高失敗率的例子 9
1.2.4 練習(xí):為終項(xiàng)目創(chuàng)建一個(gè)技術(shù)項(xiàng)目計(jì)劃 10
1.3 上AWS、GCP和Azure云 10
1.3.1 AWS 10
1.3.2 微軟的Azure 12
1.3.3 GCP 16
1.3.4 練習(xí):設(shè)置CI云 18
1.3.5 練習(xí):上云實(shí)驗(yàn)室 19
1.3.6 高級(jí)案例研究:使用Docker和CircleCI從零開(kāi)始建立云環(huán)境持續(xù)集成 19
1.3.7 使用Docker容器來(lái)擴(kuò)展Makefile的使用 23
1.4 總結(jié) 24
1.5 其他相關(guān)資源 25
第2章 云計(jì)算基礎(chǔ) 26
2.1 為什么應(yīng)該考慮使用基于云的開(kāi)發(fā)環(huán)境 26
2.2 云計(jì)算概述 27
2.2.1 云計(jì)算的經(jīng)濟(jì)效益 27
2.2.2 云服務(wù)模型:SaaS、PaaS、IaaS、MaaS、Serverless 27
2.3 PaaS持續(xù)交付 29
2.3.1 谷歌應(yīng)用引擎和云構(gòu)建持續(xù)交付 29
2.3.2 建立多種類(lèi)型的網(wǎng)站 36
2.3.3 練習(xí):創(chuàng)建四個(gè)網(wǎng)站 39
2.4 基礎(chǔ)設(shè)施即代碼 39
2.5 什么是持續(xù)交付和持續(xù)部署 40
2.6 從零開(kāi)始持續(xù)交付Hugo靜態(tài)站點(diǎn) 40
2.7 總結(jié) 60
第3章 虛擬化、容器化和彈性化 61
3.1 彈性資源 61
3.2 容器:Docker 63
3.2.1 Docker入門(mén) 63
3.2.2 容器的真實(shí)例子 65
3.2.3 運(yùn)行Docker容器 66
3.2.4 容器注冊(cè)表 69
3.2.5 在AWS Cloud9上從零開(kāi)始構(gòu)建容器化應(yīng)用 69
3.2.6 練習(xí):在AWS Cloud9中構(gòu)建Hello World容器 72
3.3 Kubernetes 72
3.3.1 安裝Kubernetes 73
3.3.2 Kubernetes概述 73
3.3.3 自動(dòng)伸縮的Kubernetes 77
3.3.4 云中的Kubernetes 78
3.3.5 混合云和多云Kubernetes 78
3.3.6 Kubernetes總結(jié) 79
3.4 運(yùn)行微服務(wù)概述 79
3.4.1 創(chuàng)建有效的報(bào)警 82
3.4.2 Prometheus入門(mén) 84
3.4.3 使用Flask創(chuàng)建Locust負(fù)載測(cè)試 86
3.4.4 微服務(wù)的無(wú)服務(wù)器實(shí)踐、災(zāi)難恢復(fù)和備份 88
3.5 練習(xí):運(yùn)行Kubernetes Engine 89
3.6 總結(jié) 90
第4章 分布式計(jì)算的挑戰(zhàn)和機(jī)遇 91
4.1 終一致性 91
4.2 CAP定理 92
4.3 阿姆達(dá)爾定律 92
4.4 彈性 93
4.5 高可用 93
4.6 摩爾定律的終結(jié) 94
4.7 ASIC:GPU、TPU、FPGA 95
4.7.1 ASIC、CPU與GPU 95
4.7.2 使用GPU和JIT 97
4.7.3 練習(xí):GPU編程 100
4.8 總結(jié) 100
第5章 云存儲(chǔ) 101
5.1 云存儲(chǔ)類(lèi)型 101
5.2 數(shù)據(jù)治理 103
5.3 云數(shù)據(jù)庫(kù) 104
5.4 鍵-值數(shù)據(jù)庫(kù) 105
5.5 圖形數(shù)據(jù)庫(kù) 106
5.5.1 為什么不是關(guān)系型數(shù)據(jù)庫(kù)而是圖形數(shù)據(jù)庫(kù) 107
5.5.2 AWS Neptune 107
5.5.3 Neo4j 108
5.5.4 大數(shù)據(jù)的三個(gè)V 116
5.6 批處理數(shù)據(jù)與流數(shù)據(jù)和機(jī)器學(xué)習(xí) 117
5.7 云數(shù)據(jù)倉(cāng)庫(kù) 118
5.8 GCP BigQuery 118
5.9 AWS Redshift 123
5.9.1 Redshift工作流中的關(guān)鍵操作 123
5.9.2 AWS Redshift總結(jié) 124
5.10 總結(jié) 124
第6章 無(wú)服務(wù)器ETL技術(shù) 125
6.1 AWS Lambda 125
6.2 使用AWS Cloud9開(kāi)發(fā)AWS Lambda函數(shù) 128
6.2.1 構(gòu)建一個(gè)API 128
6.2.2 構(gòu)建一個(gè)無(wú)服務(wù)器數(shù)據(jù)工程管道 129
6.2.3 使用AWS Lambda在AWS S3桶上實(shí)現(xiàn)計(jì)算機(jī)視覺(jué) 130
6.2.4 練習(xí):AWS Lambda Step Function 130
6.3 函數(shù)即服務(wù) 131
6.4 AWS Lambda的Chalice框架 132
6.5 谷歌云函數(shù) 133
6.6 Azure Flask無(wú)服務(wù)器機(jī)器學(xué)習(xí) 141
6.7 Cloud ETL 142
6.8 使用ETL從零開(kāi)始構(gòu)建社交網(wǎng)絡(luò)的現(xiàn)實(shí)問(wèn)題 143
6.8.1 冷啟動(dòng)問(wèn)題 143
6.8.2 從零開(kāi)始構(gòu)建社交網(wǎng)絡(luò)機(jī)器學(xué)習(xí)管道 144
6.8.3 案例研究:如何構(gòu)建一個(gè)新聞提要 146
6.9 總結(jié) 146
第7章 可管理的機(jī)器學(xué)習(xí)系統(tǒng) 147
7.1 Jupyter Notebook工作流 147
7.2 AWS Sagemaker概述 152
7.2.1 AWS Sagemaker彈性架構(gòu) 152
7.2.2 練習(xí):使用Sagemaker 152
7.3 Azure ML Studio概述 154
7.4 谷歌AutoML計(jì)算機(jī)視覺(jué) 154
7.5 總結(jié) 155
第8章 數(shù)據(jù)科學(xué)案例研究和項(xiàng)目 156
第9章 隨筆 163
9.1 為什么在2029年前將不會(huì)有數(shù)據(jù)科學(xué)這個(gè)職位 163
9.2 利用教育的拆分 165
9.3 垂直集成的AI棧將如何影響IT機(jī)構(gòu) 168
9.4 notebook來(lái)了 170
9.5 云原生機(jī)器學(xué)習(xí)和AI 172
9.6 到2021年會(huì)培訓(xùn)100萬(wàn)人 174
9.6.1 高等教育的現(xiàn)狀將會(huì)被打破 175
9.6.2 地方就業(yè)市場(chǎng)將會(huì)被打破 179
9.6.3 招聘流