第1章 緒論 1
1.1　什么是人工神經(jīng)網(wǎng)絡(luò) 1
1.2　發(fā)展歷史 2
1.3　人腦 4
1.4　Hebb法則 7
1.5　神經(jīng)元模型 7
1.6　神經(jīng)網(wǎng)絡(luò)的拓?fù)浣Y(jié)構(gòu) 9
1.7　知識(shí)表示 11
1.8　神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 15
1.9　神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)任務(wù) 17
1.10　小結(jié) 20
參考文獻(xiàn) 21
第2章 感知機(jī) 22
2.1　引言 22
2.2　實(shí)例引入 22
2.3　Rosenblatt感知機(jī) 23
2.3.1 感知機(jī)的結(jié)構(gòu) 23
2.3.2 單層感知機(jī)與多層感知機(jī) 23
2.3.3 感知機(jī)的學(xué)習(xí) 27
2.4　最小均方誤差 27
2.4.1 線性回歸問(wèn)題引入 27
2.4.2 最小均方算法 28
2.5　實(shí)戰(zhàn)Iris模式分類 30
2.6　小結(jié) 31
參考文獻(xiàn) 32
習(xí)題 32
第3章 多層前饋神經(jīng)網(wǎng)絡(luò) 33
3.1　引言 33
3.2　多層前饋神經(jīng)網(wǎng)絡(luò)模型結(jié)構(gòu) 33
3.3　BP神經(jīng)網(wǎng)絡(luò) 35
3.3.1 BP神經(jīng)網(wǎng)絡(luò)的介紹 35
3.3.2 BP算法 35
3.3.3 編程實(shí)戰(zhàn) 38
3.4　RBF神經(jīng)網(wǎng)絡(luò) 41
3.4.1 什么是RBF神經(jīng)網(wǎng)絡(luò) 41
3.4.2 RBF神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)過(guò)程 42
3.4.3 RBF神經(jīng)網(wǎng)絡(luò)與BP神經(jīng)網(wǎng)絡(luò)的區(qū)別 42
3.5　泛化能力 43
3.5.1 什么是泛化 43
3.5.2 如何提高泛化能力 44
3.6　函數(shù)逼近 46
3.6.1 通用逼近定理 46
3.6.2 逼近誤差的邊界 46
3.6.3 維數(shù)災(zāi)難 47
3.7　BP算法的優(yōu)點(diǎn)和缺點(diǎn) 48
3.7.1 BP算法的優(yōu)點(diǎn) 48
3.7.2 BP算法的缺點(diǎn) 49
3.8　人臉識(shí)別應(yīng)用 50
3.8.1 人臉圖像的小波變換 52
3.8.2 BP神經(jīng)網(wǎng)絡(luò)的分類識(shí)別 53
3.8.3 RBF神經(jīng)網(wǎng)絡(luò)的分類識(shí)別 53
3.8.4 實(shí)驗(yàn)結(jié)果 54
3.9　小結(jié) 55
參考文獻(xiàn) 55
習(xí)題 56
第4章 正則化理論 57
4.1　引言 57
4.2　良態(tài)問(wèn)題的Hadamard條件 58
4.3　正則化理論 58
4.4　正則化網(wǎng)絡(luò) 66
4.5　廣義RBF神經(jīng)網(wǎng)絡(luò) 66
4.6　正則化最小二乘估計(jì) 69
4.7　半監(jiān)督學(xué)習(xí) 71
4.8　正則化參數(shù)估計(jì) 71
4.9　流形正則化 75
4.10　廣義正則化理論 76
4.11　用半監(jiān)督學(xué)習(xí)對(duì)模式分類的
實(shí)驗(yàn) 77
4.12　小結(jié) 79
參考文獻(xiàn) 80
習(xí)題 81
第5章 極限學(xué)習(xí)機(jī)模型及應(yīng)用 84
5.1　引言 84
5.2　預(yù)備知識(shí) 84
5.2.1 核方法 84
5.2.2 支持向量機(jī) 86
5.3　極限學(xué)習(xí)機(jī)模型 91
5.4　核極限學(xué)習(xí)機(jī) 94
5.5　正則極限學(xué)習(xí)機(jī) 95
5.6　基于正則極限學(xué)習(xí)機(jī)的圖像復(fù)原 97
5.7　基于正規(guī)方程式的核極限學(xué)習(xí)機(jī) 99
5.7.1 模型結(jié)構(gòu)與算法 99
5.7.2 基于NE-KELM的模式識(shí)別實(shí)驗(yàn) 101
5.8　基于共軛梯度的核極限學(xué)習(xí)機(jī) 103
5.8.1 共軛梯度法 104
5.8.2 模型結(jié)構(gòu)與算法 104
5.8.3 基于CG-KELM的圖像復(fù)原實(shí)驗(yàn) 105
5.9　流形正則化核極限學(xué)習(xí)機(jī) 107
5.9.1 流形正則化核極限學(xué)習(xí)機(jī)的模型結(jié)構(gòu)與算法 107
5.9.2 基于MR-KELM的糖尿病檢測(cè)實(shí)驗(yàn) 107
5.10　基于核極限學(xué)習(xí)機(jī)的醫(yī)療診斷系統(tǒng) 108
5.10.1 PL-KELM的流程 108
5.10.2 基于PL-KELM的模式識(shí)別實(shí)驗(yàn) 110
5.10.3 腫瘤細(xì)胞識(shí)別系統(tǒng) 111
5.11　小結(jié) 112
參考文獻(xiàn) 113
習(xí)題 114
第6章 形態(tài)神經(jīng)網(wǎng)絡(luò) 115
6.1　引言 115
6.2　形態(tài)學(xué)算法基礎(chǔ) 115
6.2.1 數(shù)學(xué)形態(tài)學(xué)的定義 115
6.2.2 數(shù)學(xué)形態(tài)濾波 116
6.3　形態(tài)神經(jīng)網(wǎng)絡(luò)模型 117
6.4　形態(tài)聯(lián)想記憶神經(jīng)網(wǎng)絡(luò)模型及其攝動(dòng)魯棒性 118
6.4.1 MAM神經(jīng)網(wǎng)絡(luò)的數(shù)學(xué)基礎(chǔ)與相關(guān)定義 118
6.4.2 兩種MAM神經(jīng)網(wǎng)絡(luò)的攝動(dòng)魯棒性 119
6.5　進(jìn)化形態(tài)神經(jīng)網(wǎng)絡(luò) 123
6.5.1 進(jìn)化形態(tài)神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 124
6.5.2 基于進(jìn)化形態(tài)神經(jīng)網(wǎng)絡(luò)的圖像復(fù)原 125
6.6　小結(jié) 127
參考文獻(xiàn) 127
習(xí)題 129
第7章 自組織映射 130
7.1　引言 130
7.2　兩個(gè)基本的特征映射模型 131
7.3　SOM概述 132
7.4　特征映射的性質(zhì) 137
7.5　核SOM概述 142
7.6　小結(jié) 148
參考文獻(xiàn) 149
習(xí)題 149
第8章 卷積神經(jīng)網(wǎng)絡(luò)模型及應(yīng)用 151
8.1　引言 151
8.2　卷積神經(jīng)網(wǎng)絡(luò)模型 152
8.2.1 卷積神經(jīng)網(wǎng)絡(luò)的基本結(jié)構(gòu)和原理 152
8.2.2 LeNet-5 159
8.2.3 AlexNet 160
8.2.4 VGGNet 167
8.2.5 Inception 170
8.2.6 ResNet 179
8.2.7 Inception-ResNet 188
8.3　基于卷積神經(jīng)網(wǎng)絡(luò)的白細(xì)胞分類 190
8.3.1 白細(xì)胞圖像去噪 191
8.3.2 基于k-Means顏色聚類算法的顯微白細(xì)胞圖像分割 194
8.3.3 基于改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)的顯微
白細(xì)胞圖像識(shí)別 195
8.4　結(jié)合卷積神經(jīng)網(wǎng)絡(luò)和極限學(xué)習(xí)機(jī)的人臉識(shí)別 200
8.4.1 卷積神經(jīng)網(wǎng)絡(luò)參數(shù)訓(xùn)練 201
8.4.2 正則極限學(xué)習(xí)機(jī)進(jìn)行圖像分類 202
8.4.3 基于CNN-RELM的人臉識(shí)別模型實(shí)驗(yàn)與對(duì)比分析 203
8.5　基于深度遷移學(xué)習(xí)的腫瘤細(xì)胞圖像識(shí)別 206
8.5.1 引言 206
8.5.2 正則化與遷移學(xué)習(xí) 207
8.5.3 基于深度遷移學(xué)習(xí)的腫瘤細(xì)胞圖像識(shí)別 208
8.6 小結(jié) 212
參考文獻(xiàn) 212
習(xí)題 213
第9章 生成對(duì)抗網(wǎng)絡(luò)模型 214
9.1　引言 214
9.2　預(yù)備知識(shí) 214
9.2.1 GAN基礎(chǔ)模型 215
9.2.2 GAN訓(xùn)練 216
9.2.3 平衡狀態(tài) 216
9.2.4 為什么學(xué)習(xí)GAN 217
9.2.5 GAN概述 218
9.2.6 顯式密度模型 218
9.2.7 隱式密度模型 218
9.2.8 GAN與其他生成算法比較 218
9.3　GAN的基礎(chǔ)理論 219
9.3.1 GAN的基礎(chǔ)——對(duì)抗訓(xùn)練 219
9.3.2 損失函數(shù) 220
9.3.3 訓(xùn)練過(guò)程 220
9.3.4 生成器和鑒別器 221
9.3.5 目標(biāo)沖突 222
9.3.6 混淆矩陣 222
9.3.7 GAN訓(xùn)練算法 223
9.4　訓(xùn)練和常見(jiàn)挑戰(zhàn) 223
9.4.1 評(píng)價(jià) 223
9.4.2 評(píng)價(jià)框架 224
9.4.3 Inception Score 225
9.4.4 Frechet Inception Distance（FID） 225
9.4.5 訓(xùn)練挑戰(zhàn) 226
9.4.6 增加網(wǎng)絡(luò)深度 226
9.4.7 各種GAN游戲設(shè)置 227
9.4.8 什么時(shí)候停止訓(xùn)練 230
9.5　訓(xùn)練技巧 231
9.5.1 輸入標(biāo)準(zhǔn)化 231
9.5.2 批量標(biāo)準(zhǔn)化 231
9.5.3 理解標(biāo)準(zhǔn)化 231
9.5.4 計(jì)算BN 232
9.5.5 梯度懲罰 232
9.5.6 多訓(xùn)練鑒別器 232
9.5.7 避免稀疏梯度 233
9.5.8 使用軟標(biāo)簽和帶噪聲的標(biāo)簽 233
9.6　自注意生成對(duì)抗網(wǎng)絡(luò) 233
9.6.1 注意力 233
9.6.2 自注意力 235
9.6.3 核心代碼 236
9.7　進(jìn)化生成對(duì)抗網(wǎng)絡(luò) 237
9.7.1 基本介紹 237
9.7.2 動(dòng)機(jī) 237
9.7.3 進(jìn)化算法 238
9.7.4 生成的圖像 240
9.8　生成對(duì)抗網(wǎng)絡(luò)和遷移學(xué)習(xí) 240
9.8.1 遷移學(xué)習(xí)的概念 240
9.8.2 為什么要遷移學(xué)習(xí) 241
9.8.3 遷移學(xué)習(xí)的基本形式 242
9.8.4 GAN和遷移學(xué)習(xí)的聯(lián)系 243
9.9　對(duì)抗領(lǐng)域自適應(yīng)用于腫瘤圖像診斷 243
9.9.1 對(duì)抗領(lǐng)域自適應(yīng)網(wǎng)絡(luò)模型 244
9.9.2 特征提取器 245
9.9.3 數(shù)據(jù)集和實(shí)驗(yàn)設(shè)置 246
9.9.4 結(jié)果分析與討論 246
9.9.5 探討 247
9.10　小結(jié) 247
參考文獻(xiàn) 247
習(xí)題 249
第10章 長(zhǎng)短時(shí)記憶網(wǎng)絡(luò) 250
10.1　引言 250
10.2　RNN 250
10.2.1 RNN的結(jié)構(gòu)模型 250
10.2.2 RNN模型的優(yōu)缺點(diǎn) 251
10.3　LSTM的結(jié)構(gòu)模型與實(shí)現(xiàn) 252
10.4　LSTM的學(xué)習(xí)算法 253
10.5　LSTM的網(wǎng)絡(luò)方程 255
10.6　LSTM的實(shí)際應(yīng)用 257
10.6.1 數(shù)據(jù)預(yù)處理 257
10.6.2 建立模型與訓(xùn)練 258
10.6.3 結(jié)果展示 259
10.7　小結(jié) 259
參考文獻(xiàn) 260
習(xí)題 260
第11章 模糊神經(jīng)網(wǎng)絡(luò) 261
11.1　緒論 261
11.1.1 模糊集合、模糊邏輯理論及其運(yùn)算 261
11.1.2 模糊邏輯推理 264
11.1.3 FNN概述 267
11.2　訓(xùn)練模式對(duì)的攝動(dòng)對(duì)MFNN的影響 271
11.2.1 FNN中的攝動(dòng)魯棒性 271
11.2.2 MFNN及其學(xué)習(xí)算法 273
11.2.3 分析訓(xùn)練模式對(duì)的攝動(dòng)對(duì)MFNN的影響 275
11.3　折線FNN的泛逼近性 279
11.3.1 相關(guān)記號(hào)與術(shù)語(yǔ) 279
11.3.2 折線模糊數(shù) 280
11.3.3 三層前饋折線FNN 282
11.3.4 折線FNN對(duì)模糊函數(shù)的通用逼近性 285
11.3.5 輸入為一般模糊數(shù)的折線FNN的通用逼近性 291
11.3.6 一般折線FNN的通用逼近性分析 296
11.4　模糊化神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 301
11.4.1 折線FNN的學(xué)習(xí)算法 302
11.4.2 折線FNN的模糊學(xué)習(xí)算法 305
11.4.3 正則FNN的學(xué)習(xí)算法 312
11.5　小結(jié) 317
參考文獻(xiàn) 318
習(xí)題 319