第1章凸集和凸函數(shù)
　　本章首先簡(jiǎn)要介紹最優(yōu)化方法這門學(xué)科，然后著重介紹凸集和凸函數(shù)這兩個(gè)基本概念及其相關(guān)的性質(zhì).凸集和凸函數(shù)在最優(yōu)化方法中廣泛出現(xiàn)在線性規(guī)劃、無(wú)約束優(yōu)化以及約束優(yōu)化等問(wèn)題的描述和求解方法中.
　　1.1最優(yōu)化問(wèn)題和方法
　　最優(yōu)化方法學(xué)科研究?jī)?yōu)化問(wèn)題的求解方法.現(xiàn)實(shí)生活中，優(yōu)化問(wèn)題多種多樣，最優(yōu)化方法主要研究那些可以用數(shù)學(xué)模型刻畫的優(yōu)化問(wèn)題.這些問(wèn)題從總體上可分為組合優(yōu)化問(wèn)題和連續(xù)優(yōu)化問(wèn)題兩類，它們是按照數(shù)學(xué)模型中所使用的變量的不同類型來(lái)劃分的.
　　在歷史上，優(yōu)化技術(shù)出現(xiàn)得很早.17世紀(jì)時(shí)，在微積分技術(shù)的發(fā)展過(guò)程中，牛頓就研究過(guò)極值問(wèn)題.后來(lái)又出現(xiàn)了處理帶約束的目標(biāo)函數(shù)極值問(wèn)題的拉格朗日(Joseph-Louis Lagrange，法國(guó)，1736-1813)乘數(shù)法 1847年，柯西(Augustin-LouisCauchy，法國(guó)，1789-1857)研究了函數(shù)值沿什么方向下降最快的問(wèn)題，提出了最速下降法.1939年，康托羅維奇(Kantorovich，蘇聯(lián)，1912-1986)提出了下料問(wèn)題和運(yùn)輸問(wèn)題的求解方法.直至20世紀(jì)30年代，最優(yōu)化這個(gè)古老的課題尚未形成獨(dú)立的學(xué)科.
　　20世紀(jì)40年代以來(lái)，由于工業(yè)生產(chǎn)和科學(xué)研究的迅猛發(fā)展，特別是計(jì)算機(jī)的日益廣泛應(yīng)用，最優(yōu)化理論和算法迅速發(fā)展起來(lái)，成為運(yùn)籌學(xué)的主體內(nèi)容.運(yùn)籌學(xué)(最優(yōu)化方法)中的組合優(yōu)化部分和計(jì)算機(jī)科學(xué)中的算法設(shè)計(jì)與分析部分是部分重合的，由于組合優(yōu)化技術(shù)更強(qiáng)調(diào)了數(shù)學(xué)方法的運(yùn)用，因此組合優(yōu)化可以看作是傳統(tǒng)的算法設(shè)計(jì)與分析的延伸.運(yùn)籌學(xué)中的連續(xù)優(yōu)化部分是在數(shù)學(xué)分析中的求導(dǎo)數(shù)和求極值的基礎(chǔ)上發(fā)展起來(lái)的.現(xiàn)在，機(jī)器學(xué)習(xí)中損失函數(shù)的求解正好是連續(xù)優(yōu)化問(wèn)題.因此，運(yùn)籌學(xué)的連續(xù)優(yōu)化部分也構(gòu)成了應(yīng)用計(jì)算機(jī)科學(xué)解決實(shí)際問(wèn)題的基礎(chǔ).
　　最優(yōu)化方法的組合優(yōu)化技術(shù)主要包括整數(shù)線性規(guī)劃、動(dòng)態(tài)規(guī)劃以及面向問(wèn)題的各種啟發(fā)式方法等.最優(yōu)化方法中的連續(xù)優(yōu)化技術(shù)可分為線性規(guī)劃和非線性規(guī)劃，也可分為無(wú)約束優(yōu)化和約束優(yōu)化，這是分別按照不同的劃分標(biāo)準(zhǔn)劃分的.值得指出的是，線性規(guī)劃技術(shù)，按照變量的類型劃分屬于連續(xù)優(yōu)化，但線性規(guī)劃技術(shù)也可以用于求解組合優(yōu)化問(wèn)題.例如在近似算法中，線性規(guī)劃是獲得廣泛成功的一種算法設(shè)計(jì)方法.使用線性規(guī)劃技術(shù)設(shè)計(jì)組合優(yōu)化問(wèn)題的近似算法時(shí)，人們首先用線性規(guī)劃描述組合優(yōu)化問(wèn)題的松弛，然后求解線性規(guī)劃得到最優(yōu)解，再通過(guò)舍入等方法將線性規(guī)劃最優(yōu)解轉(zhuǎn)化為組合優(yōu)化問(wèn)題的可行解.
　　下面我們看幾個(gè)典型的優(yōu)化問(wèn)題.
　　例1.1.1利潤(rùn)最大化問(wèn)題.某工廠用種原料生產(chǎn)種產(chǎn)品.第種原料的數(shù)量為每單位的第種產(chǎn)品需要第種原料的數(shù)量為，可獲利潤(rùn)為.問(wèn)如何安排生產(chǎn)，才能使總利潤(rùn)最大？
　　例1.1.1中的利潤(rùn)最大化問(wèn)題是經(jīng)濟(jì)領(lǐng)域中經(jīng)常遇到的一個(gè)非�；�本的問(wèn)題.這個(gè)問(wèn)題可以用線性規(guī)劃或整數(shù)線性規(guī)劃進(jìn)行描述和求解.
　　在這里，我們定義為第種產(chǎn)品的產(chǎn)量.則所有種產(chǎn)品的總利潤(rùn)就是.問(wèn)題的目標(biāo)是最大化這個(gè)總利潤(rùn).當(dāng)然，利潤(rùn)不可能無(wú)限大，因?yàn)榘才派�產(chǎn)受限于原材料的供給.當(dāng)?shù)诜N產(chǎn)品的產(chǎn)量為時(shí)，生產(chǎn)這種產(chǎn)品對(duì)原料的需求為，顯然應(yīng)有，因?yàn)榈诜N原料總共有那么多.另外，每種產(chǎn)品的產(chǎn)量也不能為負(fù)數(shù).綜合起來(lái)，我們就得到
　　(1.1.1)
　　這就是例1.1.1的數(shù)學(xué)模型，這是一個(gè)線性規(guī)劃，因?yàn)樵谶@個(gè)規(guī)劃中目標(biāo)函數(shù)和約束條件都只包含變量的一次項(xiàng)，沒(méi)有變量的二次項(xiàng)以及更高次項(xiàng)，更沒(méi)有變量的冪以外的其他函數(shù).
　　值得指出的是，線性規(guī)劃(1.1.1)適用于描述那些產(chǎn)品“無(wú)限可分”的利潤(rùn)最大化問(wèn)題，如產(chǎn)品為面粉、食用油等.換言之，產(chǎn)品數(shù)量取值為實(shí)數(shù)應(yīng)該是有意義的.
　　如果在利潤(rùn)最大化問(wèn)題中，產(chǎn)品數(shù)量?jī)H能取值為整數(shù)，例如產(chǎn)品為家具、門窗等，則我們需要使用整數(shù)線性規(guī)劃為利潤(rùn)最大化問(wèn)題建模，如線性規(guī)劃(1.1.2)所示.
　　(1.1.2)
　　1.1最優(yōu)化問(wèn)題和方法
　定義1.1.2設(shè)施選址問(wèn)題(FacilityLocation Problem)
　　實(shí)例：有個(gè)設(shè)施和個(gè)客戶，設(shè)施和客戶之間，以及設(shè)施之間、客戶之間都有距離，這些距離滿足三角不等式.打開第個(gè)設(shè)施有一個(gè)費(fèi)用方.每個(gè)客戶都需要連接到一個(gè)打開的設(shè)施上.
　　目標(biāo)：打開若干設(shè)施，滿足客戶的連通需求，使得設(shè)施的打開費(fèi)用和客戶的連接費(fèi)用之和最小.
　　設(shè)施選址問(wèn)題是組合優(yōu)化領(lǐng)域中一個(gè)著名的最小優(yōu)化問(wèn)題.它描述了這樣一種場(chǎng)景：比如有一個(gè)工廠，它有分布在多處地點(diǎn)的零售點(diǎn).現(xiàn)在這個(gè)工廠要建立若干倉(cāng)庫(kù)，以滿足向零售點(diǎn)配送貨物的需要.建設(shè)倉(cāng)庫(kù)就有一個(gè)建設(shè)費(fèi)用，倉(cāng)庫(kù)建好之后，零售點(diǎn)就會(huì)選擇距離最近的倉(cāng)庫(kù)供貨.如何在若干的候選位置建設(shè)倉(cāng)庫(kù)，以滿足零售點(diǎn)的供貨需求，就表達(dá)為設(shè)施選址問(wèn)題.在這里，倉(cāng)庫(kù)的候選位置就是設(shè)施位置，零售點(diǎn)就是客戶.設(shè)施的打開費(fèi)用就是建設(shè)倉(cāng)庫(kù)的費(fèi)用，客戶的連接費(fèi)用就是所有零售點(diǎn)到其最近的倉(cāng)庫(kù)的距離之和.
　　在定義1.1.2中，一個(gè)問(wèn)題是按照實(shí)例和目標(biāo)兩部分?jǐn)⑹龅?這是在計(jì)算機(jī)科學(xué)中對(duì)問(wèn)題描述的一種常見(jiàn)的形式.定義1.1.2中的“實(shí)例”也可以叫做“輸入”，“目標(biāo)”也可以叫做“輸出當(dāng)問(wèn)題是判定問(wèn)題時(shí)(即，回答“是”和“否”的問(wèn)題)，“目標(biāo)”也可以寫作“詢問(wèn).
　　關(guān)于設(shè)施選址問(wèn)題，“從m個(gè)設(shè)施中選擇若干設(shè)施打開”和“從m個(gè)設(shè)施位置中選擇若干位置建立設(shè)施”這兩種說(shuō)法是等價(jià)的.
　　在這里，我們繼續(xù)用線性規(guī)劃對(duì)設(shè)施選址問(wèn)題進(jìn)行建模，以領(lǐng)略線性規(guī)劃強(qiáng)大的表達(dá)能力.
　　定義變量表示是否打開設(shè)施，若，表示不打開設(shè)施，若，則表示打開設(shè)施定義變量表示客戶是否連接到設(shè)施上，它的值也是或者.這樣，問(wèn)題的總費(fèi)用就可以表達(dá)為里表示頂點(diǎn)和之間的距離.客戶要連接到設(shè)施上，必須設(shè)施打開的條件下才行，這可以用來(lái)表達(dá).另外，每個(gè)客戶一定要連接到某個(gè)設(shè)施上，這可表達(dá)為.因此，設(shè)施選址問(wèn)題的線性規(guī)劃模型為.
　　這個(gè)線性規(guī)劃是一個(gè)整數(shù)線性規(guī)劃，因?yàn)樗�的每個(gè)變量只能取整數(shù)值.
　　設(shè)施選擇問(wèn)題是一個(gè)基本的NP困難問(wèn)題.設(shè)施選址問(wèn)題還有很多的變形.對(duì)于設(shè)施選址問(wèn)題及其變形，學(xué)者們?cè)O(shè)計(jì)了很多的近似算法，其中有若干算法是非常有名的.感興趣的讀者可進(jìn)一步參考等著作及其引用的論文.
　　例1.1.3機(jī)器學(xué)習(xí)中的函數(shù)優(yōu)化問(wèn)題.神經(jīng)網(wǎng)絡(luò)是機(jī)器學(xué)習(xí)中的一種模型，它和優(yōu)化問(wèn)題密切相關(guān).多層感知機(jī)(Multi-Layer Perceptron，MLP)是一種由若干模擬的神經(jīng)元排列成矩陣結(jié)構(gòu)的前饋神經(jīng)網(wǎng)絡(luò)，它所完成的基本任務(wù)是進(jìn)行分類.可以使用一個(gè)函數(shù)來(lái)表達(dá)多層感知機(jī)所完成的任務(wù).這里，向量是輸入數(shù)據(jù)，向量:是多層感知機(jī)使用的參數(shù)，是多層感知機(jī)的輸出，其含義是把輸入數(shù)據(jù)在參數(shù)最的控制下分類成所表達(dá)的那種類型.例如，在實(shí)際應(yīng)用中，可將圖像數(shù)據(jù)輸入給神經(jīng)網(wǎng)絡(luò)，讓它將圖像分成若干種類型.
　　為了使神經(jīng)網(wǎng)絡(luò)能夠以盡量高的準(zhǔn)確率完成分類，需要設(shè)定參數(shù)最的合適的值，這是在訓(xùn)練數(shù)據(jù)的幫助下完成的，即人們通常說(shuō)的“訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練集可表達(dá)為，即，已經(jīng)知道數(shù)據(jù)，的類型為，也稱為數(shù)據(jù)的標(biāo)簽.訓(xùn)練一個(gè)神經(jīng)網(wǎng)絡(luò)，就是調(diào)整參數(shù)，使得某種損失函數(shù)的值盡量地小.若選擇平方誤差為損失函數(shù)，則多層感知機(jī)的優(yōu)化模型為.
　　其中，表示范數(shù)，其定義為按照最優(yōu)化方法的觀點(diǎn)，這是一個(gè)無(wú)約束優(yōu)化問(wèn)題.在這里，為了簡(jiǎn)單說(shuō)明問(wèn)題，我們將優(yōu)化模型簡(jiǎn)化了.實(shí)際使用的優(yōu)化模型還要加上一個(gè)正則項(xiàng)來(lái)進(jìn)行修正.這些細(xì)節(jié)就略去了.
　　在足夠強(qiáng)大的訓(xùn)練集的支持下將一個(gè)神經(jīng)網(wǎng)絡(luò)訓(xùn)練好(即，選擇好了參數(shù)a:的值)，就可以在應(yīng)用中使用這個(gè)神經(jīng)網(wǎng)絡(luò)完成數(shù)據(jù)分類任務(wù)了.
　　1.2凸集及相關(guān)性質(zhì)
　　定義1.2.1
　　兩個(gè)點(diǎn)，的凸組合還是中的一個(gè)點(diǎn).它們的所有凸組合構(gòu)成以這兩個(gè)點(diǎn)為端點(diǎn)的一條線段.
　　定義I.2.2
　　定義1.2.3
　　例如，歐氏空間中三角形區(qū)域、矩形區(qū)域、圓形區(qū)域都是凸集.在幾何直觀上，凸集就是邊界“向外鼓”的集合.
　　例1.2.4
　　例1.2.5
　　定義1.2.6
　　在幾何直觀上，三角形區(qū)域的頂點(diǎn)、矩形區(qū)域的頂點(diǎn)都是符合定義1.2.6的頂點(diǎn).讀者可領(lǐng)略定義1.2.6的精妙.注意，圓形區(qū)域是凸集，它有無(wú)數(shù)個(gè)頂點(diǎn).
　　凸集具有良好的性質(zhì)，人們對(duì)凸集有比較深入的把握.當(dāng)一個(gè)數(shù)學(xué)規(guī)劃的可行解的集合是一個(gè)凸集時(shí)，意味著這個(gè)數(shù)學(xué)規(guī)劃可能會(huì)比較容易求解.例如，線性規(guī)劃的可行域是凸集，當(dāng)一個(gè)線性規(guī)劃有解時(shí)，它的最優(yōu)解可在頂點(diǎn)上取得.這些知識(shí)將在第2章中詳細(xì)介紹.
　　1.3凸集的分離
　　凸集是點(diǎn)的集合，不在一個(gè)凸集中的點(diǎn)，在直觀上，位于這個(gè)凸集的“外面我們?nèi)绾问褂脭?shù)學(xué)的語(yǔ)言來(lái)精確描述這種直觀？進(jìn)而，兩個(gè)凸集若不相交，它們是“分離”開的，這樣的直觀用數(shù)學(xué)語(yǔ)言如何表達(dá)？令人驚奇的是，這種看上去非�；�本的直觀概念，卻蘊(yùn)含著深刻的道理.例如，由點(diǎn)和凸集的分離定理1.3.3，可以推導(dǎo)出著名的Farkas引理(引理1.3.4)(G.Farkas，匈牙利，1847-1930)，而Farkas引理可推導(dǎo)出線性規(guī)劃的強(qiáng)對(duì)偶定理(定理4.2.5).再如，由凸集和凸集的分離定理1.3.9可推導(dǎo)出戈丹引理(引理1.3.10)(P.A.Gordan，德國(guó)，1837—1912)，而戈丹引理又可推導(dǎo)出關(guān)于約束優(yōu)化的著名的K-T定理(定理10.3.7).
　　1.3.1點(diǎn)和凸集的分離
　　在介紹定理1.3.2之前，先來(lái)回顧一下下確界符號(hào)inf.
　　定義1.3.1令SgR是一個(gè)集合，若3m，使得Vze民都有;則稱m是S的一個(gè)下界.記L是S的所有下界所組成的集合.則L中的最大元素a稱為S的下確界，記為
　　定理1.3.2
　　證明
　　則f(x)是連續(xù)函數(shù).
　　若S是有界集，則是非空、有界且閉的，所以函數(shù)在上可以達(dá)到最小值，即，使得
　　即，
　　現(xiàn)在假設(shè)不是有界集.在中任取一點(diǎn)以為球心，為半徑做一個(gè)球，如圖1.3.1所示.
……