為什么要寫這本書

機(jī)器學(xué)習(xí)、云計算與移動技術(shù)的興起為計算機(jī)科學(xué)領(lǐng)域注入了前所未有的活力，而海量數(shù)據(jù)時代的來臨更是為機(jī)器學(xué)習(xí)技術(shù)帶來了新的發(fā)展契機(jī)。我們可以看到，越來越多的企業(yè)和研發(fā)機(jī)構(gòu)開始在自己的產(chǎn)品當(dāng)中加入機(jī)器智能，曾經(jīng)僅僅是為了錦上添花而使用的機(jī)器學(xué)習(xí)應(yīng)用，如今搖身一變，成了現(xiàn)代軟件產(chǎn)品或服務(wù)的核心競爭力。通過機(jī)器學(xué)習(xí)技術(shù)，軟件或服務(wù)的功能和體驗得到了質(zhì)的提升。比如，我們甚至可以通過啟發(fā)式引擎智能地預(yù)測并調(diào)節(jié)云計算分布式系統(tǒng)的節(jié)點(diǎn)壓力，以此改善服務(wù)的彈性和穩(wěn)定性，這是多么美妙。而對移動平臺來說，越來越多的移動終端、邊緣計算設(shè)備和App開始引入人工智能技術(shù)，而且對預(yù)測實時性要求高的環(huán)境也越來越依賴于離線實時機(jī)器學(xué)習(xí)，另外移動技術(shù)的普及也讓邊緣計算支持機(jī)器智能成為可能。

然而，開發(fā)成熟完善的機(jī)器學(xué)習(xí)系統(tǒng)并不簡單。不同于傳統(tǒng)計算機(jī)軟件系統(tǒng)開發(fā)，研發(fā)機(jī)器學(xué)習(xí)系統(tǒng)不僅需要掌握扎實的軟件開發(fā)技術(shù)、算法原理，還需要掌握紛繁復(fù)雜的數(shù)據(jù)處理原理和實踐方法。此外，機(jī)器學(xué)習(xí)系統(tǒng)的實際載體多種多樣。一個典型的機(jī)器學(xué)習(xí)系統(tǒng)可以是運(yùn)行在云計算平臺（比如Amazon AWS）之上的實例，通過API調(diào)用的方式提供預(yù)測服務(wù)。另一種情況是，集中式提供機(jī)器學(xué)習(xí)服務(wù)固然不錯，但離線機(jī)器學(xué)習(xí)計算是一項重大補(bǔ)充。在對實時性要求極為苛刻的生產(chǎn)環(huán)境中，實時的本地機(jī)器學(xué)習(xí)預(yù)測技術(shù)就顯得尤為關(guān)鍵，如何在確保準(zhǔn)確率的前提下，提升整體計算效率、降低系統(tǒng)功耗成為需要攻克的難題。在移動技術(shù)、邊緣計算等技術(shù)突飛猛進(jìn)的當(dāng)下，研發(fā)高可靠、高效率以及低功耗的移動平臺機(jī)器學(xué)習(xí)系統(tǒng)擁有廣闊的發(fā)展愿景和市場，這既為我們創(chuàng)造了新的機(jī)遇，也使研發(fā)面臨巨大的挑戰(zhàn)。這是筆者撰寫本書的原動力。本書著眼于移動平臺之上的深度神經(jīng)網(wǎng)絡(luò)系統(tǒng)的研發(fā)和實戰(zhàn)，從理論開始，抽絲剝繭地闡述、歸納和總結(jié)研發(fā)高性能計算系統(tǒng)的各個方面，同時輔以實戰(zhàn)，帶領(lǐng)讀者一起掌握實際的工程落地方法。

未來已至，我們需要做好準(zhǔn)備！

本書特色

本書是一本由淺入深詳細(xì)講解研發(fā)高性能移動平臺深度學(xué)習(xí)系統(tǒng)的編程實戰(zhàn)書。本書從基礎(chǔ)機(jī)器學(xué)習(xí)知識開始講起，涵蓋設(shè)計和使用高性能分布式實時處理系統(tǒng)，移動平臺編程，前向引擎優(yōu)化和裁剪，實際的代碼編寫，最終實現(xiàn)一整套針對移動領(lǐng)域開發(fā)的完整機(jī)器學(xué)習(xí)解決方案。在本書中，我們將介紹一套以C 編寫的高性能分布式實時處理系統(tǒng)Hurricane及其使用方法，供數(shù)據(jù)收集和預(yù)處理使用。在此基礎(chǔ)上，我們會深入剖析機(jī)器學(xué)習(xí)原理和深度神經(jīng)網(wǎng)絡(luò)概念，而概念講解伴隨而來的是編程實戰(zhàn)，本書主要使用Python來講解基礎(chǔ)算法，驗證設(shè)想。

另外，本書采用循序漸進(jìn)的方式講解理論知識，從基礎(chǔ)知識入手到艱澀的優(yōu)化算法。相比于C/C ，Python是一門易于上手并實驗友好的膠水語言，因此在講解各類概念與算法時，我們會使用Python來驗證設(shè)想。從神經(jīng)網(wǎng)絡(luò)和深度學(xué)習(xí)篇章開始，為了給工程開發(fā)學(xué)習(xí)打下堅實的基礎(chǔ)，本書除了使用Python代碼驗證設(shè)想外，還使用C/C 來實現(xiàn)產(chǎn)品級的代碼。

由于本書的主題是講解如何開發(fā)實現(xiàn)高性能的移動平臺深度學(xué)習(xí)系統(tǒng)，因此會花費(fèi)大量篇幅講解各種旨在提升算法速度和減小模型的小的算法與技術(shù)手段，從輕量級網(wǎng)絡(luò)等算法模型層面改良到Neon指令集應(yīng)用、權(quán)重稀疏化、半精度、權(quán)重量化等優(yōu)化算法與技術(shù)實現(xiàn)，最終完成適用于移動平臺的深度學(xué)習(xí)引擎性能增強(qiáng)與模型裁剪。為了完成完整的深度學(xué)習(xí)系統(tǒng)，我們除了要掌握基本原理外還需要掌握各類實現(xiàn)應(yīng)用所需的工程技術(shù)。例如，在第三篇講解與完成整個系統(tǒng)相關(guān)的所有技術(shù)時，還介紹了如何爬取訓(xùn)練用的圖像數(shù)據(jù)、清理訓(xùn)練數(shù)據(jù)、編寫訓(xùn)練代碼等內(nèi)容，并以TensorFlow Lite為例，講解移動平臺深度學(xué)習(xí)引擎框架的搭建方法，卷積層、池化層和全連接層實現(xiàn)與iOS（包括iPadOS）、Android等平臺的互操作實現(xiàn)與封裝方案，最終完成可以在iOS與Android上實際運(yùn)行的深度學(xué)習(xí)系統(tǒng)。

期待讀者能從本書中學(xué)到新的知識，以便對深度學(xué)習(xí)與移動平臺系統(tǒng)開發(fā)有更加深入的認(rèn)識，了解如何構(gòu)建一個高性能移動平臺深度學(xué)習(xí)系統(tǒng)。

如何閱讀本書

本書從最基本的機(jī)器學(xué)習(xí)基礎(chǔ)概念和原理開始，逐步引入研發(fā)高性能移動平臺機(jī)器學(xué)習(xí)系統(tǒng)所需要的方方面面，抽絲剝繭地把有關(guān)機(jī)器學(xué)習(xí)和框架的問題娓娓道來。

第一篇為深度學(xué)習(xí)基礎(chǔ)，包含第1～4章。

第1章　介紹機(jī)器學(xué)習(xí)的一些基本概念、學(xué)習(xí)方法和開發(fā)機(jī)器學(xué)習(xí)系統(tǒng)所需的重要知識點(diǎn)，由此引出開發(fā)移動平臺機(jī)器學(xué)習(xí)系統(tǒng)的主題，帶領(lǐng)讀者進(jìn)入移動平臺機(jī)器學(xué)習(xí)實戰(zhàn)領(lǐng)域。

第2章　進(jìn)一步介紹機(jī)器學(xué)習(xí)方法、原理和算法，為理解人工神經(jīng)網(wǎng)絡(luò)打下基礎(chǔ)。

第3章　介紹人工神經(jīng)網(wǎng)絡(luò)、基于無監(jiān)督學(xué)習(xí)的稀疏自編碼器以及相應(yīng)的數(shù)據(jù)預(yù)處理實戰(zhàn)。

第4章　介紹深度網(wǎng)絡(luò)和卷積神經(jīng)網(wǎng)絡(luò)的概念以及相應(yīng)的編程實戰(zhàn)，作為移動平臺實現(xiàn)算法的基石。

第二篇為移動平臺深度學(xué)習(xí)基礎(chǔ)，包含第5～6章。

第5章　介紹移動平臺深度學(xué)習(xí)開發(fā)基礎(chǔ)，聚焦于ARM指令集加速技術(shù)。

第6章　介紹移動平臺輕量級網(wǎng)絡(luò)的實現(xiàn)原理和編程實戰(zhàn)。

第三篇為深入理解深度學(xué)習(xí)，包含第7～8章。

第7章　介紹數(shù)據(jù)預(yù)處理原理、方法，及基于高性能實時處理系統(tǒng)開發(fā)的PCA產(chǎn)品級數(shù)據(jù)預(yù)處理解決方案。

第8章　介紹模式識別和物體識別的基本概念以及經(jīng)典算法，并通過深度神經(jīng)網(wǎng)絡(luò)編程實戰(zhàn)實現(xiàn)AlexNet、Faster R-CNN和Retina Net。本書最后實現(xiàn)的移動平臺示例主要是圖像分類，因此本章的作用是先介紹一下前導(dǎo)知識。

第四篇為深入理解移動平臺深度學(xué)習(xí)，包含第9～12章。

第9章　深入介紹移動平臺性能優(yōu)化主題，在移動平臺對深度網(wǎng)絡(luò)的速度進(jìn)行優(yōu)化，使移動平臺系統(tǒng)能夠高速低功耗使用模型的具體策略和方法。

第10章　介紹采集、訓(xùn)練數(shù)據(jù)的方法和編程實戰(zhàn)，并通過TensorFlow完成訓(xùn)練與測試，最后完成整個數(shù)據(jù)采集和訓(xùn)練平臺，為開發(fā)移動平臺圖像分類系統(tǒng)建立基礎(chǔ)。

第11章　介紹了TensorFlow Lite的代碼體系、構(gòu)建原理、集成方法以及核心代碼與裁剪分析，并介紹模型處理工具，完成移動平臺系統(tǒng)集成。

第12章　介紹流行的移動平臺機(jī)器學(xué)習(xí)框架和接口并輔以實戰(zhàn)，最后總結(jié)并展望未來。

閱讀前提

本書采用Ubuntu、Debian以及Windows操作系統(tǒng)作為基本的開發(fā)環(huán)境。此外，本書不會介紹基礎(chǔ)的編程概念和理論。我們假定讀者在閱讀本書之前已經(jīng)具備基本的編程技術(shù)以及一定的Python、C/C 編程經(jīng)驗（最后一章還需要一些Swift和Java的基本語法知識）。除此之外，數(shù)據(jù)對深度學(xué)習(xí)來說至關(guān)重要，讀者還應(yīng)該具備基本的實時數(shù)據(jù)處理方法和實踐經(jīng)驗。建議讀者先閱讀《Python程序設(shè)計》和《C 編程思想》以了解編程的基本概念，然后閱讀《高級C/C 編譯技術(shù)》和《分布式實時處理系統(tǒng)：原理、架構(gòu)與實現(xiàn)》來進(jìn)行提高。

本書排版約定

在本書中，讀者會發(fā)現(xiàn)針對不同信息類型的文本樣式。下面是這些樣式的示例和解釋。

所有命令行輸入和輸出如下所示：

mkdir mobile-ml-learning

cd mobile-ml-learning

代碼清單通常以以下格式展現(xiàn)：

2 #include

3

4 int main()

5 {

6 std::cout << "Hello mobile ML_world!!" << std::endl;

7

8 return 0;

9 }

在正文當(dāng)中，我們可能會用以下方式拓展所講解的內(nèi)容：

這里是相關(guān)提示的文字。

讀者對象

本書適合以下讀者：

移動平臺應(yīng)用程序研發(fā)人員

嵌入式設(shè)備軟件研發(fā)人員

智能系統(tǒng)架構(gòu)設(shè)計與開發(fā)工作者。

對于研發(fā)人員來說，本書是一本系統(tǒng)學(xué)習(xí)和掌握深度學(xué)習(xí)原理及深入剖析移動平臺開發(fā)機(jī)器學(xué)習(xí)系統(tǒng)的指南。對于架構(gòu)師來說，本書是一本移動平臺機(jī)器學(xué)習(xí)系統(tǒng)架構(gòu)設(shè)計的實戰(zhàn)書。讀者可以深入理解移動平臺機(jī)器學(xué)習(xí)系統(tǒng)的內(nèi)部構(gòu)造以及重要組成部分，并自己設(shè)計、優(yōu)化和改進(jìn)系統(tǒng)的層次。同時，本書適合初學(xué)者學(xué)習(xí)機(jī)器學(xué)習(xí)實戰(zhàn)技術(shù)，掌握開發(fā)機(jī)器學(xué)習(xí)系統(tǒng)當(dāng)中慣用的編程技巧。

勘誤和支持

雖然筆者在編寫本書的過程中經(jīng)過反復(fù)審校，全力確保本書內(nèi)容的準(zhǔn)確性，但錯誤在所難免。書中難免可能會出現(xiàn)一些錯誤或不準(zhǔn)確的描述，懇請讀者批評指正。書中所涉及的所有源代碼及工程都可以從華章官網(wǎng)（www.hzbook.com）或GitHub（https://github.com/samblg/book-mobile-ml）下載，這些項目都是開源項目�，F(xiàn)在我懷著期盼和忐忑的心情，將這本拙作呈獻(xiàn)給大家，我渴望得到您的認(rèn)可，更渴望和您成為朋友，如果您有任何問題和建議，請與我聯(lián)系（電子郵件：samblg@me.com），期待能夠得到您的真摯反饋。

致謝

在創(chuàng)作本書的過程中，我得到了很多人的幫助，這里必須要一一感謝，聊表寸心（排名不分先后）：顧仁民、侯捷、魯昌華、彭垚、邵良、夏臻新、于俊、彭敏、曠天亮、徐立冰、風(fēng)辰、陳煒、俞歡、Eddie Ruan、龍俊彤、石蓮、徐航、曾玉明、李佳和錢曙光。感謝我在Autodesk的同事和Cisco Systems的朋友。特別是我的良師益友金柳頎，感謝你在技術(shù)問題上的嚴(yán)謹(jǐn)精神。還要感謝機(jī)械工業(yè)出版社的高婧雅編輯對我的信任。

謹(jǐn)以此書獻(xiàn)給我最親愛的家人與朋友，你們是我奮斗路上堅強(qiáng)的后盾。

盧譽(yù)聲

于上海