這是一本從基礎、原理、實戰(zhàn)、拓展4個維度系統(tǒng)講解聯(lián)邦學習的著作。
作者是人工智能領域的資深專家,現(xiàn)任某大型金融集團科技公司聯(lián)邦學習團隊負責人,這本書不僅得到了中外院士的聯(lián)合推薦,而且得到了來自清華大學、華中科技大學、百度、螞蟻集團、同盾科技等學術界和企業(yè)界的專家的一致推薦。
全書共9章,分為4個部分。
第1部分 基礎(第1~2章)
主要介紹了聯(lián)邦學習的概念、由來、發(fā)展歷史、架構思想、應用場景、優(yōu)勢、規(guī)范與標準、社區(qū)與生態(tài)等基礎內容,幫助讀者建立對聯(lián)邦學習的感性認知。
第二部分 原理(第3~5章)
詳細講解了聯(lián)邦學習的工作原理、算法、加密機制、激勵機制等核心技術,為讀者進行聯(lián)邦學習實踐打好理論基礎。
第三部分 實戰(zhàn)(第6~7章)
主要講解了PySyft、TFF、CrypTen等主流聯(lián)邦學習開源框架的部署實踐,并給出了聯(lián)邦學習在智慧金融、智慧醫(yī)療、智慧城市、物聯(lián)網等領域的具體解決方案。
第四部分 拓展(第8~9章)
概述了聯(lián)邦學習的形態(tài)、聯(lián)邦學習系統(tǒng)架構、當前面臨的挑戰(zhàn)等,并探討了聯(lián)邦學習的發(fā)展前景和趨勢。
適讀人群 :1.聯(lián)邦學習領域的初學者;2.人工智能領域的技術工程師;3.大數(shù)據、云計算領域的技術工程師。 (1)作者資深:資深AI技術專家,某大型金融集團科技公司聯(lián)邦學習團隊負責人。
(2)院士推薦:中國科學院外籍院士/英國皇家學會院士/歐洲科學院院士/英國愛丁堡皇家學會院士樊文飛、加拿大工程院院士郭嵩聯(lián)袂推薦。
(3)企業(yè)界和學術界高度評價:來自清華大學、華中科技大學教授、螞蟻集團、百度、同盾科技等院校和企業(yè)的專家高度評價。
(4)4個維度:從基礎、原理、實戰(zhàn)、拓展4個維度系統(tǒng)講解聯(lián)邦學習。
聯(lián)邦學習到底是什么呢?
我們認為可以這樣定義:它是在數(shù)據不出本地的前提下,由多個參與方聯(lián)合、協(xié)作完成建模任務的分布式機器學習范式。據統(tǒng)計,2020年產生的聯(lián)邦學習相關論文超過6000篇,是之前所有相關論文的三倍多。作為大數(shù)據時代下人工智能發(fā)展不可或缺的核心技術,聯(lián)邦學習已經成為當前學術界、產業(yè)界爭相研究和應用的對象。
在絕大部分的行業(yè)中,數(shù)據是以孤島的形式存在的,即數(shù)據在不同機構或部門中獨立存儲、分倉管理,難以流通和利用,而人工智能的發(fā)展又往往會涉及多個領域的數(shù)據。在過去,為了打破數(shù)據孤島,數(shù)據需求方通常會收集來自不同機構的數(shù)據信息,并統(tǒng)一整合到中心數(shù)據集群后進行集中處理和應用。然而,由于數(shù)據隱私泄露和數(shù)據獲取成本過高,這一方法變得越來越不可取。同時,在愈發(fā)重視數(shù)據隱私安全的全球性趨勢下,社會各界逐漸提升了數(shù)據所有權、資產化的保護意識,各國也逐步出臺新的法律法規(guī)來嚴格規(guī)范數(shù)據的管理和使用。例如,2018年5月,歐盟實施《通用數(shù)據保護條例》(GDPR)來保護用戶的個人隱私和數(shù)據安全,禁止數(shù)據在實體間轉移、交換和交易。2020年10月,我國公布《中華人民共和國個人信息保護法(草案)》,為個人信息保護提供了強有力的法律保障。在法律法規(guī)強監(jiān)管的環(huán)境下,如何在確保數(shù)據隱私安全的前提下解決數(shù)據孤島問題,已然成為人工智能發(fā)展的首要挑戰(zhàn)。
聯(lián)邦學習成為打破人工智能發(fā)展困境的“頭雁”,其核心價值是在數(shù)據安全合規(guī)的前提下提升模型效果,實現(xiàn)降本增效。那么聯(lián)邦學習是如何做到的呢?對于聯(lián)邦模型的訓練而言,模型可以基于各參與方的本地數(shù)據庫進行訓練,訓練過程中的模型參數(shù)通過加密機制在各參與方間通信,數(shù)據無須出本地,既保證了數(shù)據隱私安全合規(guī),又間接共享了數(shù)據資源,促進了數(shù)據生產要素的流通。對于聯(lián)邦模型的推理而言,由多個參與方聯(lián)合共建的最優(yōu)模型可以在密態(tài)基礎上實現(xiàn)金融、醫(yī)療、政務等多個行業(yè)的賦能應用。
聯(lián)邦學習能有效解決人工智能發(fā)展面臨的數(shù)據隱私安全與孤島問題,這為大數(shù)據與人工智能的健康發(fā)展和顛覆式變革奠定了基礎,并為其在更復雜、更前沿、更尖端領域的應用落地創(chuàng)造了更多的機會和可能。
為什么要寫本書
聯(lián)邦學習技術一經提出,便引起了社會各界人士的廣泛關注。聯(lián)邦學習能夠滿足各方在不共享數(shù)據源的前提下進行數(shù)據聯(lián)合訓練的需求,幫助多方組織構建最優(yōu)的機器學習模型。這一技術不僅能夠推動互聯(lián)網時代下海量數(shù)據的價值變現(xiàn),還能助力人工智能的發(fā)展革新和應用落地。
目前,聯(lián)邦學習的相關學習資源過于分散,相關圖書屈指可數(shù)。為了更好地普及聯(lián)邦學習知識,傳遞聯(lián)邦學習價值,我們特寫作本書,旨在系統(tǒng)全面地介紹聯(lián)邦學習的來龍去脈,為有志于聯(lián)邦學習理論研究和實踐的讀者提供指引和參考。希望本書能夠給廣大讀者帶來啟示。
讀者對象
大數(shù)據、人工智能相關產業(yè)的從業(yè)者和研究人員,包括但不局限于:
q想要全面了解、探索聯(lián)邦學習的讀者;
q想要上手實踐聯(lián)邦學習的讀者。
本書主要內容
全書共9章,分為4部分。
第一部分 基礎(第1~2章)
主要介紹了聯(lián)邦學習的概念、由來、發(fā)展歷史、架構思想、應用場景、優(yōu)勢、規(guī)范與標準、社區(qū)與生態(tài)等基礎內容。
第二部分 原理(第3~5章)
詳細講解了聯(lián)邦學習的工作原理、算法、加密機制、激勵機制等核心技術。
第三部分 實戰(zhàn)(第6~7章)
主要講解了PySyft、TFF、CrypTen等主流聯(lián)邦學習開源框架的部署實踐,并給出了聯(lián)邦學習在智慧金融、智慧醫(yī)療、智慧城市、物聯(lián)網等領域的具體解決方案。
第四部分 拓展(第8~9章)
概述了聯(lián)邦學習的形態(tài)、聯(lián)邦學習的系統(tǒng)架構、當前面臨的挑戰(zhàn)等,并探討了聯(lián)邦學習的發(fā)展前景和趨勢。
勘誤與支持
聯(lián)邦學習的概念很新,更新很快,雖然我們已盡可能使本書內容準確、全面、緊跟技術前沿,但書中仍難免存在遺漏或不妥之處,懇請讀者批評指正。如果你有關于本書的任何意見或建議,歡迎發(fā)送郵件到y(tǒng)fc@hzbook.com,期待你的反饋。
致謝
本書的寫作占用了我們大量的業(yè)余時間,在此特別感謝家人、朋友的理解和支持。另外,在本書寫作過程中,機械工業(yè)出版社華章公司的編輯們給予了精心指導和大力支持,沒有他們細致的工作,本書無法如此順利地出版,特此感謝。
王健宗(博士)
某大型金融集團科技公司聯(lián)邦學習團隊負責人、高級工程師。
中國計算機學會大數(shù)據專家委員會委員、杰出會員,中國計算機學會青年計算機科技論壇(YOCSEF深圳)優(yōu)秀AC委員。深圳市領軍人才,美國佛羅里達大學人工智能博士后。
長期從事聯(lián)邦智能隱私計算技術研發(fā)和平臺搭建工作,發(fā)表聯(lián)邦學習、深度學習、云計算、大數(shù)據等領域國際論文50余篇,獲得專利100余項。著有《深入理解AutoML和AutoDL:構建自動化機器學習與深度學習平臺》《金融智能:AI如何為銀行、保險、證券業(yè)賦能》等書,同時還是多屆國內外知名人工智能、大數(shù)據行業(yè)會議出品人。
李澤遠
某大型金融集團科技公司高級人工智能產品經理,中國計算機學會會員,中國計算機學會青年計算機科技論壇(YOCSEF深圳)AC委員。長期負責AI技術類的產品生態(tài)搭建與實施推進,曾參與完成聯(lián)邦學習、生物鑒權技術在金融領域平臺型產品中的設計與落地投產,在全周期項目中積累有豐富的實戰(zhàn)經驗。
何安珣
某大型金融集團科技公司高級算法工程師,中國計算機學會會員,中國計算機學會青年計算機科技論壇(YOCSEF深圳)委員。擁有豐富的金融人工智能從業(yè)經驗,主要研究金融智能系統(tǒng)框架搭建、算法研究和模型融合技術等,致力于推動金融智能的落地應用與價值創(chuàng)造。
前言
第一部分 基礎
第1章 聯(lián)邦學習的前世今生2
1.1 聯(lián)邦學習的由來2
1.2 聯(lián)邦學習的發(fā)展歷程3
1.3 聯(lián)邦學習的規(guī)范與標準8
1.4 聯(lián)邦學習的社區(qū)與生態(tài)9
1.5 本章小結10
第2章 全面認識聯(lián)邦學習11
2.1 什么是聯(lián)邦學習11
2.2 聯(lián)邦學習的架構思想12
2.3 聯(lián)邦學習的應用場景14
2.4 聯(lián)邦學習的優(yōu)勢與前景15
2.5 本章小結16
第二部分 原理
第3章 聯(lián)邦學習的工作原理18
3.1 聯(lián)邦學習的計算環(huán)境18
3.1.1 可信執(zhí)行環(huán)境18
3.1.2 無可信計算環(huán)境22
3.2 聯(lián)邦學習的算法23
3.2.1 中心聯(lián)邦優(yōu)化算法24
3.2.2 聯(lián)邦機器學習算法25
3.2.3 聯(lián)邦深度學習算法28
3.3 聯(lián)邦學習的算子29
3.3.1 聯(lián)邦學習數(shù)據預處理算子30
3.3.2 聯(lián)邦學習模型訓練算子34
3.4 本章小結49
第4章 聯(lián)邦學習的加密機制50
4.1 聯(lián)邦學習的安全問題50
4.1.1 模型完整性問題50
4.1.2 模型可用性問題51
4.1.3 模型機密性問題52
4.1.4 問題總結53
4.2 聯(lián)邦學習的加密方式53
4.2.1 同態(tài)加密53
4.2.2 差分隱私55
4.2.3 安全多方計算57
4.2.4 國密SM2算法58
4.2.5 國密SM4算法60
4.2.6 Deffie-Hellman算法61
4.2.7 混合加密61
4.3 本章小結63
第5章 聯(lián)邦學習的激勵機制64
5.1 數(shù)據貢獻評估65
5.2 數(shù)據貢獻與激勵支付的關系66
5.3 參與方貢獻效益評估67
5.4 參與方貢獻效益與激勵支付的關系68
5.5 計算和通信消耗評估68
5.6 計算消耗、通信消耗和激勵支付的關系69
5.7 本章小結70
第三部分 實戰(zhàn)
第6章 聯(lián)邦學習開發(fā)實踐72
6.1 聯(lián)邦學習開源框架部署:PySyft72
6.1.1 PySyft基本介紹72
6.1.2 開發(fā)環(huán)境準備與搭建72
6.1.3 PySyft安裝指南75
6.1.4 開發(fā)前的準備76
6.1.5 PySyft測試樣例76
6.1.6 實操:分布式聯(lián)邦學習部署87
6.2 聯(lián)邦學習開源框架部署:TFF93
6.2.1 TFF基本介紹93
6.2.2 開發(fā)環(huán)境準備與搭建94
6.2.3 TFF安裝指南94
6.2.4 開發(fā)前的準備95
6.2.5 TFF測試樣例95
6.3 聯(lián)邦學習開源框架部署:CrypTen100
6.3.1 CrypTen基本介紹100
6.3.2 開發(fā)環(huán)境準備與搭建100
6.3.3 CrypTen安裝指南101
6.3.4 開發(fā)前的準備101
6.3.5 CrypTen測試樣例102
6.4 本章小結111
第7章 聯(lián)邦學習的行業(yè)解決方案112
7.1 聯(lián)邦學習+智慧金融112
7.1.1 聯(lián)邦學習+銀行112
7.1.2 聯(lián)邦學習+保險121
7.1.3 聯(lián)邦學習+投資125
7.2 聯(lián)邦學習+智慧醫(yī)療128
7.2.1 聯(lián)邦學習+醫(yī)療影像診斷128
7.2.2 聯(lián)邦學習+疾病風險預測130
7.2.3 聯(lián)邦學習+藥物挖掘133
7.2.4 聯(lián)邦學習+醫(yī)護資源配置135
7.3 聯(lián)邦學習+智慧城市137
7.3.1 聯(lián)邦學習+零售137
7.3.2 聯(lián)邦學習+交通140
7.3.3 聯(lián)邦學習+物流141
7.3.4 聯(lián)邦學習+政府143
7.3.5 聯(lián)邦學習+安防146
7.4 聯(lián)邦學習+物聯(lián)網148
7.4.1 聯(lián)邦學習+車聯(lián)網148
7.4.2 聯(lián)邦學習+智能家居150
7.4.3 聯(lián)邦學習+可穿戴設備153
7.4.4 聯(lián)邦學習+機器人155
7.5 本章小結160
第四部分 拓展
第8章 聯(lián)邦學習的延伸162
8.1 聯(lián)邦學習的布局162
8.1.1 Google的聯(lián)邦學習162
8.1.2 Facebook的聯(lián)邦學習166
8.1.3 聯(lián)邦智能167
8.1.4 共享智能169
8.1.5 知識聯(lián)邦172
8.1.6 異構聯(lián)邦177
8.1.7 聯(lián)邦學習方案對比178
8.2 聯(lián)邦學習系統(tǒng)框架179
8.2.1 工業(yè)級聯(lián)邦學習系統(tǒng)179
8.2.2 企業(yè)級聯(lián)邦學習系統(tǒng)181
8.2.3 實驗開發(fā)級聯(lián)邦學習系統(tǒng)181
8.3 本章小結183
第9章 聯(lián)邦學習的挑戰(zhàn)、趨勢和展望184
9.1 聯(lián)邦學習應對的挑戰(zhàn)184
9.2 聯(lián)邦學習的趨勢和展望187
9.3 本章小結189