二次规划
二次規劃問題
是一種典型的優化問題，包括凸二次規劃和非凸二次規劃，在此類問題中，目標函數是變量的二次函數，約束條件是變量的線性不等式。
假定變量的個數為d，約束條件的個數為m，則標準的二次規劃問題形如：
minxs.t.12xTQx+cTxAx?b其中 x為d維向量， Q∈Rd×d為實對稱矩陣， A∈Rm×d為實矩陣， b∈Rm和 c∈Rd為實向量， Ax?b的每一行對應一個約束。
- 若Q為半正定矩陣，則上面的目標函數是凸函數，相應的二次規劃為凸二次規劃問題；此時若約束條件定義的可行域不為空，且目標函數在此可行域有下界，則該問題有全局最小值。
- 若Q為正定矩陣，則該問題有唯一的全局最小值。
- 若Q為非正定矩陣，則目標函數是有多個平穩點和局部極小點的NP難問題。
常用的二次規劃問題求解方法有：
- 橢球法
- 內點法
- 增廣拉格朗日法
- 梯度投影法
等。若Q為正定矩陣，則相應的二次規劃問題可由橢球法在多項式時間內求解。
凸函數：
對區間[a,b]上定義的函數f，若它對區間中任意兩點x1,x2均有：
f(x1+x22)?f(x1)+f(x2)2 則稱 f為區間[a,b]上的凸函數。U形曲線的函數如f(x)=x2，通常是凸函數。
對實數集上的函數，可通過求解二階導數來判別：
- 若二階導數在區間上非負，則稱為凸函數
- 若二階導數在區間上恒大于0，則稱嚴格凸函數
矩陣的正定及半正定：
正定矩陣是一種實對稱矩陣。正定二次型f(x1，x2，…，xn)=XTAX的矩陣A(或A的轉置)稱為正定矩陣。
廣義定義：設M是n階方陣，如果對任何非零向量z，都有zTMz>0，其中zT 表示z的轉置，就稱M正定矩陣。
狹義定義：一個n階的實對稱矩陣M是正定的的條件是當且僅當對于所有的非零實系數向量z，都有zTMz>0。其中zT表示z的轉置。
當考慮矩陣的特征值時：
- 若所有特征值均不小于零，則稱為半正定。
- 若所有特征值均大于零，則稱為正定。
任意給一個對稱陣，做他的特征分解：M=QTΛQ，那么,xTMx=(Qx)TΛQx。這里，由于Q是一個正交陣，則Qx為x的一個線性變換。考慮到定義中x具有任意性，顯然Qx也具有任意性。令y=Qx，即原定義等價于分析是否存在任意的y，使得yTΛy≥0恒成立。也就是說：分析對稱陣的正定性，等價于分析其特征值對角陣的正定性。
為了敘述方便，記Λ=diag(λ1,…,λi,…,λn)。容易知道，特征值對角陣Λ是正定陣必須要求所有特征值為正，半正定則要求所有特征值非負。關鍵在于正定性定義中x具有任意性。
從幾何的角度看的話：
首先半正定矩陣定義為: XTMX≥0其中X 是向量，M 是變換矩陣
矩陣變換中，MX代表對向量 X進行變換，我們假設變換后的向量為Y，記做Y=MX。于是半正定矩陣可以寫成：XTY≥0
又因為：cos(θ)=XTY||X||?||Y||
所以：cos(θ)≥0
正定、半正定矩陣的直覺代表一個向量經過它的變化后的向量與其本身的夾角小于等于90度。
參考：
https://www.zhihu.com/question/22098422?sort=created
《機器學習》–周志華
總結
