男女做性无遮挡免费视频,男同GAY网站

《普通高等教育"十二五"規(guī)劃教材:線性代數(shù)(理工類)》主要討論了矩陣?yán)碚撓嚓P(guān)知識、特征值與奇異值分析、主成分分析及神經(jīng)網(wǎng)絡(luò)分析方法、次成分分析及神經(jīng)網(wǎng)絡(luò)分析方法、子空間跟蹤及神經(jīng)網(wǎng)絡(luò)分析方法、總體最小二乘方法、特征提取方法應(yīng)用等。全書內(nèi)容新穎，不但包含信息特征提取與優(yōu)化的若干方法，而且對這些迭代方法的神經(jīng)網(wǎng)絡(luò)算法的性能分析方法也進(jìn)行了較為詳細(xì)的分析，反映了國內(nèi)外信息處理和神經(jīng)網(wǎng)絡(luò)領(lǐng)域在該方向上研究和應(yīng)用的最新進(jìn)展。
《普通高等教育"十二五"規(guī)劃教材:線性代數(shù)(理工類)》適合作為電子、通信、自動控制、計算機(jī)、系統(tǒng)工程、模式識別和信號處理等信息科學(xué)與技術(shù)學(xué)科高年級本科生和研究生教材，也可供相關(guān)專業(yè)研究人員和工程技術(shù)人員參考。

更多科學(xué)出版社服務(wù)，請掃碼獲取。

第一章緒論
1.1 特征信息提取
復(fù)雜系統(tǒng)輸出信號中包含著豐富的反映系統(tǒng)本質(zhì)屬性的特征信息，如何描述并提取這些特征信息，進(jìn)一步如何應(yīng)用這些特征信息？這些問題引起了信息領(lǐng)域?qū)W者的廣泛關(guān)注，新技術(shù)、新算法不斷出現(xiàn)，形成了信號處理、數(shù)據(jù)分析和神經(jīng)網(wǎng)絡(luò)領(lǐng)域非常活躍的研究熱點。經(jīng)過這些年的發(fā)展，特征信息提取技術(shù)形成了主成分分析、次成分分析、子空間跟蹤和獨立成分分析等不同的研究方向，這幾個研究方向之間既有聯(lián)系，又有相對的獨立性。
1.1.1 主/次成分分析與子空間跟蹤
主成分（principalcomponent，PC）是指信號有最大偏差的方向，只利用數(shù)據(jù)向量的K個主分量進(jìn)行的數(shù)據(jù)或者信號分析稱為主成分分析（principalcomponentanalysis，PCA）。次成分（minorcomponent，MC）是指信號有最小偏差的方向，基于次成分的信號分析、系統(tǒng)分析或者模式分析則統(tǒng)稱為次成分分析（minorcomponentanalysis，MCA）。主成分分析在數(shù)據(jù)或圖像壓縮、多重信號分類、波達(dá)方向估計、通信技術(shù)等領(lǐng)域得到廣泛應(yīng)用，而次成分分析也已經(jīng)應(yīng)用在總體最小二乘（totalleastsquare，TLS）、運動目標(biāo)識別、曲線與曲面匹配、數(shù)字成形束、頻域估計和故障診斷等領(lǐng)域。通常主/次成分分析都是單維的，而實際中主成分或次成分以多維為主。與數(shù)據(jù)向量的自相關(guān)矩陣r個最小特征值對應(yīng)的特征向量被稱為次成分。與數(shù)據(jù)向量的自相關(guān)矩陣的r個最大特征值對應(yīng)的特征向量被稱為主成分，這里r是主成分或次成分的個數(shù)。在一些實際應(yīng)用中，有時并非要得到多個主成分或者次成分，而只要求跟蹤由特征成分張成的子空間。這里將主成分張成的子空間稱為主子空間（principalsubspace，PS），而將由次成分張成的子空間稱為次子空間（minorsubspace，MS）。一個對稱矩陣的主成分和次成分分析器可以分別收斂到主成分和次成分。類似地，一個對稱矩陣的主子空間和次子空間分析器可以分別收斂到一個主子空間和次子空間。主子空間是由一個高維向量序列的自相關(guān)矩陣的主特征值相關(guān)的所有特征向量張成的一個子空間，而與該高維向量序列的自相關(guān)矩陣的次特征值相關(guān)的所有特征向量所張成而形成的子空間被稱為次子空間。主子空間有時也稱為信號子空間，而次子空間也稱為噪聲子空間。主子空間分析（principalsubspaceanalysis，PSA）為許多信息處理領(lǐng)域，如特征提取和數(shù)據(jù)壓縮等提供了有效的方法。在許多實時信號處理領(lǐng)域，如自適應(yīng)方向波達(dá)方向估計、自適應(yīng)信號處理中的總體最小二乘的自適應(yīng)解、曲線與曲面匹配等應(yīng)用中，次子空間分析（minorsubspaceanalysis，MSA）是一個主要的需求。
通過數(shù)學(xué)分析，可以得出結(jié)論：所謂數(shù)據(jù)的主成分就是數(shù)據(jù)向量自相關(guān)矩陣的最大特征值所對應(yīng)的特征向量，而數(shù)據(jù)的次成分是數(shù)據(jù)向量自相關(guān)矩陣的最小特征值所對應(yīng)的特征向量。這樣通過數(shù)學(xué)上相關(guān)矩陣特征值處理或數(shù)據(jù)矩陣奇異值處理可以得到主成分或次成分。相關(guān)矩陣特征值或數(shù)據(jù)矩陣奇異值處理的方法是基于數(shù)據(jù)的集中處理，本質(zhì)上是一種批處理算法，無法實時應(yīng)用，而且對于維數(shù)大的數(shù)據(jù)來說，其計算復(fù)雜度是相當(dāng)大的，也容易出現(xiàn)數(shù)據(jù)不穩(wěn)定的情況。這樣尋求可以實時處理、迭代運算、數(shù)值穩(wěn)定、算法簡單的主成分分析、次成分分析方法或者子空間跟蹤是近20年來國際上自動控制、信號處理和神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個研究熱點，受到廣泛關(guān)注。
1.1.2 主/次成分神經(jīng)網(wǎng)絡(luò)分析算法
為了實現(xiàn)特征信息的在線迭代與自適應(yīng)提取，大量的迭代及自適應(yīng)算法被提出，主/次成分分析或者主/次子空間跟蹤迭代求取算法包括逆迭代、常規(guī)的和逆Chebyshev迭代、Rayleigh商迭代、神經(jīng)網(wǎng)絡(luò)等方法。其中神經(jīng)網(wǎng)絡(luò)方法是一種有效的迭代求取算法，尤其是求取主/次成分的單層神經(jīng)網(wǎng)絡(luò)及其Hebbian型算法由于其算法的簡單性和有效性受到人們的高度重視，得到迅速發(fā)展，成為自適應(yīng)主/次成分分析的主流算法。在該類神經(jīng)網(wǎng)絡(luò)算法的研究中，新算法不斷出現(xiàn)，算法的性能也得到深入透徹的研究。芬蘭學(xué)者Oja［1］和華裔學(xué)者Xu［2］等是該領(lǐng)域的開創(chuàng)者，他們的工作為該領(lǐng)域的發(fā)展奠定了良好的基礎(chǔ)。
早在1979年，Thompson［3］就提出了估計與樣本協(xié)方差矩陣最小特征值對應(yīng)的特征向量的最小均方（LMS）型自適應(yīng)方法，并結(jié)合Pisarenko譜估計子提供了角度/頻率的自適應(yīng)跟蹤算法。其后，許多學(xué)者開展了特征向量及其子空間跟蹤算法的研究［4］更多的是跟蹤信號子空間算法的研究，有的同時更新特征值和特征向量，有的是采用，矩陣?yán)碚撚嬎闳缃?jīng)典的特征值分解/奇異值分解的批處理方法，有的采用優(yōu)化理論來解決子空間跟蹤問題［5］。
在主子空間神經(jīng)網(wǎng)絡(luò)跟蹤研究領(lǐng)域，基于啟發(fā)式推理的算法，如Oja算法［6］、對稱誤差修正算法［7］和對稱后向傳播算法［8］等相繼被提出。分析表明，這幾個算法本質(zhì)上是相同的，被通稱為Oja算法。后來，最小均方誤差重構(gòu)算法（LMSER）被提出［9］，在該算法中著名的梯度搜索概念用來最小化一個均方誤差。不像Oja算法，該算法是全局收斂的，因為只有主子空間實現(xiàn)均方誤差的全局最小而均方誤差的其他平穩(wěn)點都是鞍點。基于該均方誤差，投影近似子空間跟蹤算法（PAST）［10］、共軛梯度算法［11］、高斯牛頓方法［12］等算法被提出。近來，一個新穎的信息準(zhǔn)則（NIC）被提出，基于該準(zhǔn)則，一種新穎的梯度算法和遞歸類主子空間跟蹤算法被提出［13］。后來，基于NIC準(zhǔn)則和加權(quán)矩陣，一個快速提取多個主成分的梯度算法和遞歸類算法被提出［14］。
20世紀(jì)90年代以來，基于反饋神經(jīng)網(wǎng)絡(luò)模型進(jìn)行次子空間跟蹤受到高度關(guān)注，相繼有多個次子空間神經(jīng)網(wǎng)絡(luò)跟蹤算法被提出來［15～22］。使用膨脹方法，Luo等［15］提出了一個次子空間分析算法，該算法在運行過程中不需要任何標(biāo)準(zhǔn)化操作；Douglas等［16］提出了一個自穩(wěn)定的次子空間分析算法，該算法不需要周期性的標(biāo)準(zhǔn)化操作，也沒有矩陣的逆運算；Chiang等［17］顯示出一個學(xué)習(xí)算法采用合適的初始化而不是膨脹方法，就可以并行抽取多個次成分�；谝粋€信息準(zhǔn)則，Ouyang等［4］提出了一個自適應(yīng)次成分跟蹤器，該算法可以自動發(fā)現(xiàn)次子空間而不需要采用膨脹方法。近年來，F(xiàn)eng等［19］提出了一個OJAm算法，將該算法推廣到用來跟蹤多個次成分或次子空間，使相應(yīng)的狀態(tài)矩陣收斂到次子空間的列正交基。最近，性能更為優(yōu)良的次成分及子空間跟蹤算法［23～25］被提出來，該領(lǐng)域新算法仍然在不斷發(fā)展中。
1.1.3 該領(lǐng)域目前的研究熱點
1.神經(jīng)網(wǎng)絡(luò)主/次成分分析算法的收斂性與穩(wěn)定性分析
對迭代或神經(jīng)網(wǎng)絡(luò)算法進(jìn)行收斂性和穩(wěn)定性分析是主/次成分分析領(lǐng)域十多年來的研究熱點。算法收斂性與穩(wěn)定性的直接研究和分析是一個非常難的課題，傳統(tǒng)上這些算法的收斂性是通過某種確定性的連續(xù)時間系統(tǒng)（deterministiccontinuoustime，DCT）來間接分析的。由隨機(jī)系統(tǒng)描述的特征提取神經(jīng)網(wǎng)絡(luò)算法可以由相應(yīng)的確定性連續(xù)時間系統(tǒng)來表示，這種表示需要許多假設(shè)性條件，其中之一是要求學(xué)習(xí)因子收斂到零，這在很多實際應(yīng)用是一個強(qiáng)加的不合理的要求。通過DCT系統(tǒng)證明已經(jīng)收斂的算法，是否存在發(fā)散或不穩(wěn)定的可能？2002年意大利學(xué)者Cirrincione等對一些次成分分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法進(jìn)行了研究［20］，首次根據(jù)黎曼度量來分類次成分分析線性核，并通過誤差損失退化的分析證明了在接近收斂的時候算法的不同行為。同時，對算法進(jìn)行了直接的隨機(jī)離散時間系統(tǒng)（stochasticdiscretetime，SDT）分析，發(fā)現(xiàn)了突然發(fā)散、動態(tài)發(fā)散和數(shù)值發(fā)散，這一發(fā)現(xiàn)推動了該領(lǐng)域的研究。然而，DCT和SDT雖然可以分析得出算法是否收斂與穩(wěn)定，卻不能求出具體收斂與穩(wěn)定的充分條件或邊界條件。西班牙學(xué)者Zufiria［26］提出一種確定性的離散時間系統(tǒng)（deterministicdiscretetime，DDT）來間接解釋由隨機(jī)離散時間系統(tǒng)描述的神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法的動力學(xué)系統(tǒng)，DDT刻畫的是核節(jié)點的平均進(jìn)化行為，保持了原網(wǎng)絡(luò)的離散時間形式，要求學(xué)習(xí)因子保持常數(shù)，得到的是該類學(xué)習(xí)算法的更真實的動態(tài)行為。在此基礎(chǔ)上，近年來我國學(xué)者Yi等［27］研究團(tuán)隊對DDT方法進(jìn)行了深入研究和推廣，研究了幾乎所有現(xiàn)有的主/次成分分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法，推導(dǎo)了一系列算法各自收斂和穩(wěn)定的成分條件及邊界條件，大大推進(jìn)了次成分分析神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)算法性能的研究，形成了從2005～2009年國際上神經(jīng)網(wǎng)絡(luò)領(lǐng)域的一個學(xué)術(shù)研究熱點。
2.神經(jīng)網(wǎng)絡(luò)主/次成分分析自穩(wěn)定算法
一個神經(jīng)網(wǎng)絡(luò)主/次成分分析方法以及主/次子空間跟蹤算法如果在算法迭代更新過程中，神經(jīng)網(wǎng)絡(luò)的權(quán)向量或權(quán)矩陣的模值隨著時間的進(jìn)行發(fā)散到無窮，則不利于算法的實際應(yīng)用。解決的途徑有兩個，一是在迭代更新過程中每步或者定期將權(quán)向量或權(quán)矩陣的模值實行規(guī)范化處理，使其模值長度等于1；另一種探索權(quán)向量模值自穩(wěn)定的算法［16，19，21］，無論初始權(quán)向量模值大小，使算法在更新過程中權(quán)向量或權(quán)矩陣的模值自動收斂于某一固定值或者為1。為了克服神經(jīng)網(wǎng)絡(luò)算法在迭代過程中權(quán)向量模值發(fā)散問題，尋求權(quán)向量模值自穩(wěn)定的主/次成分神經(jīng)網(wǎng)絡(luò)算法是該領(lǐng)域一個研究熱點，在這些自穩(wěn)定的學(xué)習(xí)算法中，神經(jīng)網(wǎng)絡(luò)核的權(quán)向量保證收斂到一個規(guī)范化的主/次成分或者神經(jīng)網(wǎng)絡(luò)核的權(quán)矩陣保證收斂到一個規(guī)范化的主/次子空間。當(dāng)前，自穩(wěn)定特性已經(jīng)成為神經(jīng)網(wǎng)絡(luò)主/次成分分析方法及主/次子空間跟蹤算法的一個必備的特性。
3.統(tǒng)一或雙目的主/次成分分析自穩(wěn)定算法
最初的主/次成分分析算法以及主/次子空間分析是各自獨立發(fā)展的，大量的算法被提出來，并得到廣泛的應(yīng)用。主成分與次成分算法之間存在怎樣的關(guān)系？一個自然的想法是在一個主成分分析（或者主子空間跟蹤）算法中，通過改變相關(guān)矩陣的符號或者取原矩陣的逆矩陣，或者僅僅改變學(xué)習(xí)因子的符號便可以實現(xiàn)次成分分析（或者次子空間跟蹤），反過來也一樣。實踐證明這樣的變換常常不成立，要么不能實現(xiàn)另一種成分分析或者子空間跟蹤，要么雖然可以實現(xiàn)預(yù)期的功能但是算法更新過程中，神經(jīng)網(wǎng)絡(luò)的權(quán)向量或者權(quán)矩陣由收斂變成發(fā)散。在文獻(xiàn)［28］，［29］中，Chen等提出了主成分分析/主子空間分析和次成分分析/次子空間分析之間的一種轉(zhuǎn)換機(jī)制，分析顯示通過這種轉(zhuǎn)換機(jī)制，每一個主成分分析算法都配有一個次成分分析算法，反過來也一樣。這樣基本解決了上述問題，通過這一轉(zhuǎn)換機(jī)制，導(dǎo)出的雙目算法具有不同的算法結(jié)構(gòu)形式。那么，是否有一個統(tǒng)一的神經(jīng)網(wǎng)絡(luò)算法，該算法僅僅通過改變同一學(xué)習(xí)規(guī)則中的符號就能夠進(jìn)行主成分分析與次成分分析或者主/次子空間跟蹤，無疑這樣的算法更具有現(xiàn)實意義，可以減少硬件設(shè)施的復(fù)雜性和成本。近十多年來，尋求統(tǒng)一或雙目的主/次成分分析（或者主/次子空間分析）算法是該領(lǐng)域的一個研究熱點［29～31］。
1.2 特征提取與子空間跟蹤基礎(chǔ)
由次成分張成的子空間稱為次子空間，而由主成分張成的子空間稱為主子空間，單維主成分分析或單維次成分分析可以認(rèn)為是主子空間跟蹤或次子空間跟蹤的特殊形式。在主成分或次成分神經(jīng)網(wǎng)絡(luò)領(lǐng)域，芬蘭學(xué)者Oja等作出了開創(chuàng)性的工作。為了對次成分、主成分、次子空間以及主子空間及其應(yīng)用有一個清晰的理解，下面從子空間的角度對這些概念及其數(shù)學(xué)描述與物理意義進(jìn)行介紹［5］。

你還可能感興趣

我要評論