本書以分類問題(模式識(shí)別、判別分析)為背景,介紹求解分類問題的支持向量機(jī)的基本理論、方法和應(yīng)用,重點(diǎn)內(nèi)容是支持向量機(jī)的理論基礎(chǔ)和模型、分類問題的支持向量回歸機(jī)求解途徑、中心支持向量分類機(jī)、推理型支持向量分類機(jī)及支持向量分類機(jī)的應(yīng)用。
本書可作為理工類、管理類等專業(yè)的高年級(jí)本科生、研究生的教材和教師的教學(xué)參考書,也可供有關(guān)領(lǐng)域的科技人員閱讀參考。
支持向量機(jī)(Support Vector Machine,SVM)是基于統(tǒng)計(jì)學(xué)習(xí)理論、借助最優(yōu)化方法來解決機(jī)器學(xué)習(xí)問題的新工具。它由科爾特斯(Cortes)和瓦普尼克(Vapnik)于1995年首先提出,并已成為近年來機(jī)器學(xué)習(xí)研究的一項(xiàng)重大成果。目前對(duì)支持向量機(jī)的研究主要集中在對(duì)其本身性質(zhì)的研究和完善及加大應(yīng)用研究的深度和廣度兩個(gè)方面。本書以解決分類問題為目標(biāo),從理論和模型的完善及應(yīng)用兩個(gè)方面,對(duì)支持向量分類機(jī)(Support Vector Classifier Machine,SVC)進(jìn)行了較深入的研究和探討,以做到理論和實(shí)踐的結(jié)合。
以下是本書討論的主要問題。
(1)在深入研究現(xiàn)有支持向量分類機(jī)和支持向量回歸機(jī)(Support Vector Regression Machine,SVR)的基礎(chǔ)上,把分類問題看作特殊的回歸問題來處理,通過引入不同的范數(shù)及不同的損失函數(shù),構(gòu)建求解分類問題的支持向量回歸機(jī)新模型,并對(duì)引入高斯損失函數(shù)得到的新模型給出求解的簡(jiǎn)便方法——簡(jiǎn)化的序列最小最優(yōu)化算法。另外,針對(duì)多類分類問題提出了新的多類分類模型,數(shù)值試驗(yàn)表明該模型的魯棒性和有效性,從而給出求解分類問題的支持向量機(jī)的新思路和新途徑。
(2)馮(Fung)和曼格薩(Mangasarian)從直觀上提出了中心支持向量分類機(jī)。本書通過理論推導(dǎo)和分析構(gòu)造出中心支持向量分類機(jī)的原始優(yōu)化問題,從不同的途徑給出了中心支持向量分類機(jī)。在此基礎(chǔ)上,首次給出了稀疏的中心支持向量分類機(jī)和加權(quán)的中心支持向量分類機(jī)。對(duì)含有不確定信息的分類問題,通過引入概率變量,構(gòu)建了不確定中心支持向量分類機(jī),從而實(shí)現(xiàn)對(duì)中心支持向量分類機(jī)理論的推廣完善和創(chuàng)新。
(3)瓦普尼克提出了推理型支持向量分類機(jī),其優(yōu)化問題的求解比較困難。本書將其原始最優(yōu)化問題變?yōu)闊o約束問題,并對(duì)其進(jìn)行光滑化,從而構(gòu)建了改進(jìn)的推理型支持向量機(jī)和加權(quán)的推理型支持向量機(jī),并成功地將新模型應(yīng)用到網(wǎng)絡(luò)入侵檢測(cè)中,給出了網(wǎng)絡(luò)入侵檢測(cè)的新方法,使推理型支持向量機(jī)的理論和應(yīng)用研究有了新的突破。
(4)首次將支持向量分類機(jī)應(yīng)用到海水工廠化養(yǎng)殖中的環(huán)境監(jiān)測(cè)問題。對(duì)河北省唐山市、秦皇島市沿海的養(yǎng)殖工廠隨機(jī)采集魚類生長(zhǎng)環(huán)境數(shù)據(jù),進(jìn)行檢測(cè)和監(jiān)控實(shí)驗(yàn),取得了較好的應(yīng)用效果,在切實(shí)解決實(shí)際問題的同時(shí),進(jìn)一步拓寬了支持向量機(jī)的應(yīng)用領(lǐng)域。例如,本書給出支持向量分類機(jī)在棚栽植物生長(zhǎng)環(huán)境監(jiān)測(cè)中的應(yīng)用,在地源熱泵系統(tǒng)混合防凍劑、制冷劑配比中的應(yīng)用,在義務(wù)教育學(xué)校均衡發(fā)展評(píng)價(jià)中的應(yīng)用,在教師教育師資隊(duì)伍量化評(píng)價(jià)中的應(yīng)用,以及在商務(wù)決策管理的量化評(píng)價(jià)與調(diào)整中的應(yīng)用等。本書構(gòu)建的各種新的支持向量分類機(jī),較一般支持向量分類機(jī)有明顯的優(yōu)勢(shì)和良好性能,主要體現(xiàn)在有的模型求解算法簡(jiǎn)便、有的模型測(cè)試精度高、有的模型解決實(shí)際問題時(shí)針對(duì)性強(qiáng),這均在數(shù)值試驗(yàn)和實(shí)際應(yīng)用中得到證實(shí)。
本書得以出版,要特別感謝我的導(dǎo)師中國農(nóng)業(yè)大學(xué)鄧乃揚(yáng)教授和我的同學(xué)中國科學(xué)院大學(xué)田英杰教授的指導(dǎo),也特別感謝唐山師范學(xué)院的資助。
由于本人水平有限,書中難免有疏漏之處,敬請(qǐng)讀者批評(píng)指正。
閻滿富,男,漢族,博士,教授。歷任唐山師范?茖W(xué)校數(shù)學(xué)系副主任、主任、副校長(zhǎng)等職,F(xiàn)任唐山師范學(xué)院副院長(zhǎng)。1991年被評(píng)為河北省優(yōu)秀教師,1999年榮獲曾憲梓教育基金會(huì)“高等師范院校優(yōu)秀教師獎(jiǎng)”。在《中國高等教育》、《中國高教研究》、《工程數(shù)學(xué)學(xué)報(bào)》、《系統(tǒng)工程》等核心期刊上發(fā)表教育管理和學(xué)術(shù)論文30余篇,其中被國際三大檢索刊物收錄三篇。主編專著、教材和教學(xué)輔助用書12部,其中主編教育部確定的全國通用教材一部。獲河北省教學(xué)成果二、三等獎(jiǎng)各一項(xiàng)。參與國家自然科學(xué)基金項(xiàng)目研究一項(xiàng),主研項(xiàng)目“基于SVM的海水工廠化養(yǎng)殖環(huán)境監(jiān)測(cè)智能信息系統(tǒng)”被中國科學(xué)院專家鑒定為國際先進(jìn)水平,并獲唐山市人民政府科技進(jìn)步二等獎(jiǎng)。
第1章 緒 論
1.1 機(jī)器學(xué)習(xí)
1.2 統(tǒng)計(jì)學(xué)習(xí)理論
1.3 支持向量機(jī)基本思想
1.4 支持向量機(jī)的研究現(xiàn)狀
1.5 本書研究的主要內(nèi)容和結(jié)構(gòu)
第2章 支持向量機(jī)的理論基礎(chǔ)和模型
2.1 支持向量機(jī)的優(yōu)化理論基礎(chǔ)
2.2 支持向量分類機(jī)的各種模型
2.3 支持向量回歸機(jī)的各種模型
2.4 小結(jié)
第3章 分類問題的支持向量回歸機(jī)求解途徑
3.1 一般形式的支持向量回歸機(jī)模型
3.2 使用高斯損失函數(shù)的支持向量回歸機(jī)模型
3.3 求解分類問題的支持向量回歸機(jī)模型
3.4 簡(jiǎn)化的SMO算法
3.5 求解分類問題的支持向量回歸機(jī)線性規(guī)劃模型
3.6 求解多類分類問題的支持向量回歸機(jī)線性規(guī)劃模型
3.7 數(shù)值試驗(yàn)
3.8 小結(jié)
第4 章 中心支持向量分類機(jī)
4.1 基本思想
4.2 加權(quán)的中心支持向量分類機(jī)
4.3 多類問題分類模型
4.4 不確定中心支持向量分類機(jī)
4.5 小結(jié)
第5 章 推理型支持向量分類機(jī)
5.1 原始最優(yōu)化問題及其對(duì)偶問題
5.2 改進(jìn)的推理型支持向量機(jī)
5.3 網(wǎng)絡(luò)入侵檢測(cè)的新方法
5.4 小結(jié)
第6 章 基于支持向量機(jī)的海水工廠化養(yǎng)殖環(huán)境監(jiān)測(cè)
6.1 海水養(yǎng)殖問題研究的背景和意義
6.2 支持向量機(jī)應(yīng)用于海水養(yǎng)殖問題的提出
6.3 支持向量機(jī)在大菱鲆養(yǎng)殖中的應(yīng)用
6.4 小結(jié)
第7 章 支持向量機(jī)在其他領(lǐng)域的應(yīng)用
7.1 在地源熱泵系統(tǒng)中的應(yīng)用
7.2 在教師教育師資隊(duì)伍評(píng)價(jià)中的應(yīng)用
7.3 在義務(wù)教育學(xué)校均衡發(fā)展評(píng)價(jià)中的應(yīng)用
7.4 在商務(wù)采購決策管理中的應(yīng)用
7.5 在棚栽植物生長(zhǎng)環(huán)境監(jiān)測(cè)中的應(yīng)用
參考文獻(xiàn)
附 錄
附錄 A 基礎(chǔ)知識(shí)
附錄B 希爾伯特空間
附錄C 概 率
附錄D 鳶尾屬植物數(shù)據(jù)集
附錄E 最優(yōu)化理論基礎(chǔ)