本書介紹了自組織增量學習神經(jīng)網(wǎng)絡及其在人工智能領(lǐng)域的應用。神經(jīng)網(wǎng)絡是一種模擬生物神經(jīng)系統(tǒng)的人工智能技術(shù)，具有強大的數(shù)據(jù)處理能力和學習能力。自組織增量學習神經(jīng)網(wǎng)絡是一種具有高度自組織結(jié)構(gòu)和增量學習能力的神經(jīng)網(wǎng)絡。與傳統(tǒng)機器學習方法相比，自組織增量學習神經(jīng)網(wǎng)絡有更強的靈活性和適應性，能夠更好地適應動態(tài)環(huán)境和解決復雜的問題。自組織增量學習神經(jīng)網(wǎng)絡在多個領(lǐng)域有著廣泛的應用，包括機器人智能系統(tǒng)、人臉識別、圖像處理、場景理解、語音識別、姿勢識別、股票預測等。使用自組織增量學習神經(jīng)網(wǎng)絡，這些應用能夠?qū)崿F(xiàn)更高效、更靈活的學習和決策能力。 本書適合人工智能領(lǐng)域的研究人員和高等院校計算機科學與技術(shù)、人工智能等專業(yè)研究生閱讀。
申富饒，教授，南京大學人工智能學院院長助理，2006年博士畢業(yè)于東京工業(yè)大學智能系統(tǒng)科學專業(yè)，南京大學量子物理與人工智能特聘教授，南京大學科沃斯講席教授，長期從事神經(jīng)網(wǎng)絡、數(shù)據(jù)分析、機器人智能等的教學與科研工作。
第1 章數(shù)學基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1 線性代數(shù)基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
1.1.1 向量基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
1.1.2 矩陣基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4
1.1.3 特征值和特征向量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .6
1.1.4 特征值分解和奇異值分解. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7
1.2 概率統(tǒng)計基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.1 基礎概念. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8
1.2.2 概率. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10
1.2.3 全概率和貝葉斯公式. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .11
1.2.4 隨機變量及其分布. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12
1.2.5 二維隨機變量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15
1.2.6 數(shù)學期望和方差. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16
1.2.7 協(xié)方差和相關(guān)系數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 17
1.2.8 最大似然估計. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 19
1.3 距離度量基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.1 度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20
1.3.2 向量范數(shù). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 21
1.3.3 度量與向量范數(shù)的關(guān)系. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .22
1.3.4 其他距離度量. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22
1.4 信息論基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23
1.4.1 信息量和信息熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.2 聯(lián)合熵和條件熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 24
1.4.3 KL 散度和JS 散度. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.4.4 交叉熵. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 25
1.5 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 26
第2 章自組織神經(jīng)網(wǎng)絡的起源與發(fā)展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.1 自組織神經(jīng)網(wǎng)絡的發(fā)展歷史. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 27
2.2 自組織映射網(wǎng)絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.1 自組織映射網(wǎng)絡的基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .29
2.2.2 自組織映射網(wǎng)絡的擴展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .32
2.3 自適應共振理論. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .33
2.3.1 自適應共振理論的基礎. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .34
2.3.2 ART 網(wǎng)絡的拓展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36
2.4 生長型神經(jīng)氣. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 37
2.5 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 39
第3 章自組織增量學習神經(jīng)網(wǎng)絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 41
3.1 SOINN 的網(wǎng)絡結(jié)構(gòu)與學習流程. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 42
3.2 SOINN 的原理分析. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.1 神經(jīng)元學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 46
3.2.2 拓撲學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49
3.2.3 自適應閾值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51
3.2.4 節(jié)點激活的閾值. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 52
3.2.5 網(wǎng)絡的“定期檢查” . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 53
3.2.6 SOINN 完整算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 55
3.3 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 56
第4 章SOINN 的改進算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .58
4.1 E-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .59
4.1.1 E-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 59
4.1.2 E-SOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 65
4.2 Adjusted SOINN 分類器算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 68
4.2.1 ASC 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .69
4.2.2 ASC 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 72
4.3 LB-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 74
4.3.1 LB-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 76
4.3.2 LB-SOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 83
4.4 LD-SOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 88
4.4.1 LD-SOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 89
4.4.2 LD-SOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 95
4.5 DenSOINN 算法. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 100
4.5.1 DenSOINN 算法描述. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .102
4.5.2 DenSOINN 算法的性能測試. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 106
4.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 112
第5 章SOINN 的應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1 聚類. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 114
5.1.1 并行計算. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.1.2 異構(gòu)數(shù)據(jù)的處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 115
5.2 計算機視覺. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 118
5.2.1 特征提取. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 119
5.2.2 屬性轉(zhuǎn)移學習. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 122
5.2.3 分類、識別與匹配. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 125
5.3 時間序列預測. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 126
5.3.1 距離度量方面的擴展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 129
5.3.2 SOINN 結(jié)合Shapelet 的應用. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 130
5.4 數(shù)據(jù)處理與預處理. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.1 數(shù)據(jù)壓縮和提煉. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 131
5.4.2 SOINN 的輸出用于其他網(wǎng)絡. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 133
5.5 異常檢測. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.1 SOINN 分類器. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 135
5.5.2 交互式標注. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 138
5.5.3 在權(quán)值調(diào)節(jié)方面的擴展. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 139
5.6 本章小結(jié). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 140
附錄A SOINN 軟件包及相關(guān)算法實現(xiàn). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 141
參考文獻. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 152
書單推薦
