目錄

1.凸優化到底是什么？

1.1 基本概念

1.2 凸優化和非凸優化

2、集合概念

2.1 仿射集、仿射包、仿射組合

2.2 凸集、凸包、凸組合

2.3 錐、凸錐

3.凸函數與非凸函數

4.總結

---

1.凸優化到底是什么？

1.1 基本概念

凸優化就是優化問題的一個特例，我們所知道的優化問題就是在一定的限制條件下求得目標函數最優值，可以是最大值也可以是最小值，那么在經濟學上面就是在有限的資源下面尋求資源的最大利用效益。

那么，優化問題按照不同的分類可以得到很多中細分類，比如線性規劃與非線性規劃等等。

凸優化就是優化問題的一個特例，其固有的形式如下：

很多非凸問題也可以通過某種形式轉化成凸優化問題來求解其近似解（一般在找不到原問題的解或求解原問題所需的時間復雜度太大的情形下使用）。這是解決一類問題的一種技巧，在深度學習的一些模型中經常用到。這是一種逼近的思想。

1.2 凸優化和非凸優化

在最小化（最大化）的優化要求下，目標函數是凸函數且約束條件所形成的可行域集合是一個凸集的優化方法，因此凸優化的判定條件有兩個

• 函數定義域是凸集
• 目標函數是凸函數

2、集合概念

2.1 仿射集、仿射包、仿射組合

?（1）仿射集（Affine set）

仿射集（Affine set）是包含過兩個不同的點的直線的所有點。（“所有點”的集合）

?比如，我們舉一個小例子：

（2）仿射組合(affine combination)

?仿射集包含了集合內點的所有仿射組合。

（3）仿射包(affine hull)

?（4）仿射集合的子集

2.2 凸集、凸包、凸組合

（1）凸集

凸集是包含兩個不同點之間的直線的所有點。（“所有點”的集合）

所有仿射集都是凸的，因為它包含集合中任意不同點的所有直線。

都是對集合本身性質的描述，但是有所不同，否則就擁有一樣的名字了，不同點就在于數值的取值范圍：仿射集對集合的要求包括了凸集對集合的要求，因此可以說仿射集比凸集要求更高，不僅要滿足凸集的定義（在區間[0,1]之間），還要滿足 在區間[0,1]之外）。

①仿射集的概念：一個集合是仿射集，當且僅當集合中經過任意兩點的直線（而不是線段）上的點仍在集合中。

②凸集的概念：一個集合是凸集當且僅當該集合中任意兩點的連線上的所有點（即線段）仍然屬于該集合。

• 判定條件上，凸集比仿射集更弱，只對系數大于0的線性組合作出要求。換句話說，判定集合是凸集的判定條件是判定集合是仿射集的判定條件的子集。
• 從具體的點集來說，是仿射集的一定是凸集，反之不然。換句話說，所有仿射集的集合是所有凸集的集合的子集。
• 從點集的包的角度來說，一個點集的凸包是這個點集的仿射包的子集。

?（2）凸組合（構建凸集合的具體模型）

?（3）凸包（構建凸集合的方法）(convex hull)

（4）仿射包（affine hull）、凸包（convex hull）

?這兩個概念是對已有集合生成新的集合的方法，定義如下：

對于空間中的兩點，其仿射集是過這兩點的直線，其凸集是連接兩點的線段，線段應該是直線的子集。所以這里描述的直線和線段應該分別是這兩點組成的集合的仿射包和凸包。因此有：

?注意：從集合的角度來看和從包的角度來看是不一樣的。

2.3 錐、凸錐

(1)錐

?(2) 凸錐

即集合C如果既是凸集也是錐，那么這樣的集合就叫凸錐，凸錐也一定包含原點。?

（3）錐組合

?（4）錐包(cone hull)

3.凸函數與非凸函數

通常將函數分為凸函數和非凸函數。凸函數的幾何意義在于，定義域中任意兩點連線組成的線段都在這兩點的函數曲線（面）上方。凸函數是有且只有全局最優解的，而非凸函數可能有多個局部最優解。

因此，當很多模型不是凸函數時，我們往往嘗試絞盡腦汁去將其變換為凸函數和擬凸函數。

3.1 強凸函數

強凸函數有三種定義：

3.2 嚴格凸函數

3.3 擬凸函數

?

3.4 凸函數判定方法：（非常重要）

3.4.1 凸函數判定條件

（1）一階充要條件（不常用）

（2）二階充要條件（常用）

3.4.2 凸優化判定條件

判定一個優化是不是凸優化，有下面的凸優化判定條件：

??? ①對于一元函數f(x)，首先必須定義域是凸集，其次通過其二階導數f′′(x) 的符號來判斷。如果函數的二階導數總是非負，即f′′(x)≥0 ，則f(x)是凸函數。
??? ②對于多元函數f(X)，首先必須定義域是凸集，其次通過其Hessian矩陣（Hessian矩陣是由多元函數的二階導數組成的方陣）的正定性來判斷。如果Hessian矩陣是半正定矩陣，則是f(X)凸函數。

4.總結

總結來看：

• 凸函數判定中首先要保證定義域為凸集合，且保證目標函數為凸函數；關鍵在于判定凸函數。
• 一般的凸優化函數形式是min f(x）的形式，那么這時取得的局部極小點就是全局最小點；有時候凸優化（convex）的函數形式為maxf(x）的形式，此時可以將其轉換為minf(x）的形式，那么原來的形式只要是凹函數（concave）即可求得局部極大值即全局最大值；
• 無約束優化問題，如果是一個凸優化問題，那么極值點就是全局最大或者最小點；

總結

以上是生活随笔為你收集整理的优化问题---凸优化基本概念的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。