前言
神經(jīng)網(wǎng)絡(luò)技術(shù)是現(xiàn)代人工智能最重要的分支,是通過(guò)模擬人腦的神經(jīng)網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)類人工智能的機(jī)器學(xué)習(xí)技術(shù)和方法。本書(shū)討論的是神經(jīng)網(wǎng)絡(luò)的理論基礎(chǔ)、算法設(shè)計(jì)、算法實(shí)現(xiàn),以及工程領(lǐng)域中的應(yīng)用。
人在思考問(wèn)題時(shí),神經(jīng)沖動(dòng)會(huì)在神經(jīng)突觸所連接的無(wú)數(shù)神經(jīng)元中傳遞,信息的處理是由神經(jīng)元之間的相互作用來(lái)實(shí)現(xiàn)的。受此啟發(fā),人們開(kāi)始模擬人體大腦的結(jié)構(gòu)和工作機(jī)理,即用很多的結(jié)點(diǎn)來(lái)處理信息。在人工神經(jīng)網(wǎng)絡(luò)中,人工神經(jīng)元、處理元件、電子元件等大量的處理單元被用來(lái)模仿人腦神經(jīng)系統(tǒng)的結(jié)構(gòu),知識(shí)與信息的存儲(chǔ)表現(xiàn)為互連的網(wǎng)絡(luò)元件間的分布式聯(lián)系,網(wǎng)絡(luò)的學(xué)習(xí)和識(shí)別取決于和神經(jīng)元連接權(quán)值的動(dòng)態(tài)演化過(guò)程。因?yàn)樵诖竽X的神經(jīng)沖動(dòng)傳導(dǎo)過(guò)程中不僅有是與非,還存在強(qiáng)與弱、緩與急,所以人工神經(jīng)網(wǎng)絡(luò)和大腦還是有區(qū)別的。
本書(shū)可以作為高校相關(guān)專業(yè)的本科生或者研究生教材,同時(shí)也適合廣大的人工智能領(lǐng)域相關(guān)的從業(yè)人員自學(xué)。在學(xué)習(xí)本書(shū)之前,應(yīng)具有機(jī)器學(xué)習(xí)、模式識(shí)別、算法設(shè)計(jì)與分析等相關(guān)知識(shí)。
本書(shū)共9章,主要圍繞神經(jīng)網(wǎng)絡(luò)的原理與實(shí)踐進(jìn)行講解,在內(nèi)容上將理論與實(shí)踐、技術(shù)與應(yīng)用結(jié)合,具體如下。
第1章介紹了神經(jīng)網(wǎng)絡(luò)的概念、特點(diǎn)、拓?fù)浣Y(jié)構(gòu)和應(yīng)用。
第2章介紹了感知器模型、處理單元模型、學(xué)習(xí)策略、局限性和收斂性。
第3章介紹了BP神經(jīng)網(wǎng)絡(luò)、神經(jīng)元模型、BP神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)、神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)預(yù)處理。
第4章介紹了支持向量機(jī)、間隔與支持向量、對(duì)偶問(wèn)題、核函數(shù)、軟間隔和正則化、支持向量回歸和核方法。
第5章介紹了深度學(xué)習(xí)網(wǎng)絡(luò)、深度神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)、深度卷積神經(jīng)網(wǎng)絡(luò)典型結(jié)構(gòu)、卷積網(wǎng)絡(luò)的層和深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的應(yīng)用。
第6章介紹了強(qiáng)化學(xué)習(xí)、問(wèn)題模型、無(wú)模型化強(qiáng)化學(xué)習(xí)方法、模型化強(qiáng)化學(xué)習(xí)方法和深度強(qiáng)化學(xué)習(xí)。
第7章介紹了極限學(xué)習(xí)、極限學(xué)習(xí)算法、極限學(xué)習(xí)的改進(jìn)、極限學(xué)習(xí)的應(yīng)用。
第8章介紹了TensorFlow機(jī)器學(xué)習(xí)平臺(tái)的起源、簡(jiǎn)介、特征、使用對(duì)象、環(huán)境及兼容性、其他模塊。
第9章介紹了神經(jīng)網(wǎng)絡(luò)在圖像處理、信號(hào)處理、模式識(shí)別和機(jī)器控制方面的應(yīng)用。
本書(shū)的主要分工如下: 侯琳主要負(fù)責(zé)第1章的編寫(xiě);于洋主要負(fù)責(zé)第2章、第8章和第7章部分內(nèi)容的編寫(xiě),以及本書(shū)的主要統(tǒng)稿和審稿工作;孫迪主要負(fù)責(zé)第3章的編寫(xiě);陳亞瑞主要負(fù)責(zé)第4章的編寫(xiě);胡志強(qiáng)主要負(fù)責(zé)第5章的編寫(xiě);趙婷婷主要負(fù)責(zé)第6章的編寫(xiě);楊巨成主要負(fù)責(zé)第7章的編寫(xiě),以及本書(shū)的主要審稿工作;吳超主要負(fù)責(zé)第9章的編寫(xiě)。
在楊巨成教授的指導(dǎo)下,本書(shū)在編寫(xiě)過(guò)程中才得以克服很多技術(shù)上的難點(diǎn)。同時(shí),感謝天津科技大學(xué)人工智能學(xué)院張靈超、王曉靖、王潔、韓書(shū)杰、魏峰、邱潤(rùn)澤為本書(shū)所做的工作。最后,還要感謝參考文獻(xiàn)的作者,他們的成果使得本書(shū)的學(xué)術(shù)水平得以提升。
由于相關(guān)技術(shù)的發(fā)展日新月異,本書(shū)難免有不足之處,希望讀者批評(píng)指正,提出寶貴的修改意見(jiàn)。
作者2020年8月
目錄
第1章概述1
1.1人工神經(jīng)網(wǎng)絡(luò)簡(jiǎn)介1
1.1.1人工神經(jīng)網(wǎng)絡(luò)的基本概念1
1.1.2人工神經(jīng)網(wǎng)絡(luò)的發(fā)展史2
1.1.3神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容5
1.2神經(jīng)網(wǎng)絡(luò)的特點(diǎn)5
1.3神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)6
1.4人工神經(jīng)網(wǎng)絡(luò)的分類7
1.5人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)方式9
1.6人工神經(jīng)網(wǎng)絡(luò)的應(yīng)用9
1.6.1人工神經(jīng)網(wǎng)絡(luò)在全球氣候變化中的應(yīng)用10
1.6.2人工神經(jīng)網(wǎng)絡(luò)在控制系統(tǒng)中的應(yīng)用10
1.6.3人工神經(jīng)網(wǎng)絡(luò)在疾病預(yù)后研究中的應(yīng)用11
第2章感知器13
2.1感知器元件14
2.1.1神經(jīng)元14
2.1.2神經(jīng)元參數(shù)16
2.1.3組合功能16
2.1.4激活功能16
2.1.5輸出功能18
2.1.6結(jié)論18
2.2感知器模型19
2.2.1超平面的定義19
2.2.2數(shù)據(jù)集的線性可分20
2.3感知器學(xué)習(xí)算法22
2.3.1感知器學(xué)習(xí)算法的原始形式23
2.3.2感知器學(xué)習(xí)算法的對(duì)偶形式24
2.4感知器的收斂性25
2.5感知器應(yīng)用舉例25
2.5.1問(wèn)題描述25
2.5.2添加權(quán)重和閾值26
2.5.3建立決策模型26
2.5.4向量化27
2.5.5神經(jīng)網(wǎng)絡(luò)的運(yùn)作過(guò)程28
2.6感知器的局限性29
2.6.1感知器能做什么29
2.6.2感知器不能做什么29
第3章BP神經(jīng)網(wǎng)絡(luò)31
3.1前向傳播37
3.2反向傳播38
第4章支持向量機(jī)41
4.1問(wèn)題提出41
4.2SVM問(wèn)題42
4.2.1支持向量與樣本間隔42
4.2.2支持向量機(jī)形式化描述43
4.3對(duì)偶問(wèn)題43
4.3.1SVM問(wèn)題的對(duì)偶問(wèn)題43
4.3.2對(duì)偶問(wèn)題再討論44
4.3.3對(duì)偶問(wèn)題求解45
4.4核函數(shù)46
4.4.1如何處理非線性可分?jǐn)?shù)據(jù)46
4.4.2核函數(shù)的提出47
4.4.3幾種常見(jiàn)的核函數(shù)48
4.5軟間隔與正則化49
4.5.1如何處理噪聲數(shù)據(jù)49
4.5.2軟間隔支持向量機(jī)49
4.5.3軟間隔支持向量機(jī)對(duì)偶問(wèn)題50
4.5.4正則化51
第5章深度學(xué)習(xí)53
5.1深度神經(jīng)網(wǎng)絡(luò)概述53
5.2深度卷積神經(jīng)網(wǎng)絡(luò)55
5.2.1卷積算子55
5.2.2卷積的特征55
5.3深度卷積神經(jīng)網(wǎng)絡(luò)的典型結(jié)構(gòu)56
5.3.1基本網(wǎng)絡(luò)結(jié)構(gòu)56
5.3.2網(wǎng)絡(luò)結(jié)構(gòu)模式56
5.4深度卷積神經(jīng)網(wǎng)絡(luò)的層60
5.4.1卷積層60
5.4.2池化層60
5.4.3激活層60
5.5深度卷積神經(jīng)網(wǎng)絡(luò)在圖像識(shí)別中的應(yīng)用61
第6章強(qiáng)化學(xué)習(xí)63
6.1強(qiáng)化學(xué)習(xí)概述63
6.2強(qiáng)化學(xué)習(xí)問(wèn)題建!R爾可夫決策過(guò)程64
6.3強(qiáng)化學(xué)習(xí)算法簡(jiǎn)介65
6.3.1基于值函數(shù)的策略學(xué)習(xí)方法65
6.3.2策略搜索算法70
6.4深度強(qiáng)化學(xué)習(xí)76
6.5小結(jié)79
第7章極限學(xué)習(xí)80
7.1極限學(xué)習(xí)概述80
7.2極限學(xué)習(xí)算法80
7.3極限學(xué)習(xí)的改進(jìn)82
7.3.1核極限學(xué)習(xí)82
7.3.2增量型極限學(xué)習(xí)84
7.3.3深度極限學(xué)習(xí)85
7.4極限學(xué)習(xí)的應(yīng)用87
7.4.1極限學(xué)習(xí)在圖像分類中的應(yīng)用88
7.4.2極限學(xué)習(xí)在入侵檢測(cè)中的應(yīng)用88
7.4.3極限學(xué)習(xí)在故障識(shí)別中的應(yīng)用91
7.5小結(jié)91
第8章TensorFlow機(jī)器學(xué)習(xí)平臺(tái)93
8.1TensorFlow起源95
8.2TensorFlow簡(jiǎn)介95
8.3TensorFlow的特征96
8.4TensorFlow使用對(duì)象、環(huán)境及兼容性97
8.5TensorFlow的其他模塊98
8.6安全性101
第9章神經(jīng)網(wǎng)絡(luò)的應(yīng)用102
9.1基于神經(jīng)網(wǎng)絡(luò)的圖像處理102
9.2基于神經(jīng)網(wǎng)絡(luò)的信號(hào)處理109
9.3基于神經(jīng)網(wǎng)絡(luò)的模式識(shí)別109
9.4基于神經(jīng)網(wǎng)絡(luò)的機(jī)器控制122
參考文獻(xiàn)126