二次規劃

其中這些問題在我考研的時候也想清楚了，只是讀研以來一開始做的是進化算法，后來又做的深度學習，都是理論性不太強的方向。這些東西有點忘了，現在看到書突然一下記起來了，便做個筆記吧。

• 注：如何理解線性變換？向量經過可逆線性變換以后，向量還是那個向量，只不過換了一組基向量（或者說換了一個坐標系統）相當于換了一種表達方式。但是向量假如經過線性變換不是可逆的，那么這個變換過后就產生了信息丟失，比如一個向量$(1,1)$經過一個不滿秩的線性變換以后就變回不來了，向量就不是那個向量了。
  
• 定義：一類典型的優化問題，目標函數是變量的二次函數，而約束條件使變量的線性不等式
  $$\begin{gathered} \min \frac{1}{2}{x}^{T}Qx+c^{T}x \\ s.t.Ax\le b \end{gathered}$$
  其中$x$為d維向量，$Q\in {\mathbb{R}}^{d\times d}$為實對稱矩陣
• 我們知道$Q$的特征向量實質上是一組基向量，那么$x$可以轉換為這組特征向量的線性組合。假如Q是正定的，那么
  $$x^{T}Qx=x^{\prime T}{Q}^{\prime }{x}^{\prime }$$
  其中$Q^{\prime }$為一個對角陣，元素為$Q$的特征值，$x^{\prime }$為通過線性變換后得到的向量。其中
  $$Q=M^T{Q}^{\prime }M,x^{\prime }=Mx$$
  可以看成是一個特征分解的過程。

假如$Q$是正定的（即Q的特征值都是大于0的），則二次規劃具有全局唯一解$x^{\prime }=0$，根據$x^{\prime }$求出$x$即可。試想一下，$Q^{\prime }$是一個對角陣且對角元素全大于0，則$x^{\prime T}{Q}^{\prime }{x}^{\prime }$展開必然是這樣一種形式（懶得敲公式了我擦…直接寫出來拍照吧）

假如$Q$是半正定的（即Q的特征值都是大于或等于0的），且約束條件的可行域$Ax\le b$不為空，并且目標函數在此可行域具有下界，則二次規劃具有局部最優。假如不存在約束條件，則最優解有無數個，只要令特征值為0對應的$x^{\prime }$的元素為0即可（其他元素隨你喜歡，天馬行空都可以哈哈），這個也很好解釋，也就是我懶得寫的公式上邊有些$q_i^{\prime }=0$，其余的$q_i^{\prime }>0$，只需要$q_i^{\prime }>0$對應的$x_i^{\prime }=0$即可，$q_i^{\prime }=0$對應的$x_i^{\prime }$=天馬行空。

假如$Q$是非正定矩陣，則…天馬行空，有很多局部最優解，是一個np難問題

• 注意：在最優化問題中，只有hessian矩陣不定時才會出現鞍點（半正定也不會）！

總結

以上是生活随笔為你收集整理的二次规划的全局最优的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。