沒有系統(tǒng)學過數(shù)學優(yōu)化，但是機器學習中又常用到這些工具和技巧，機器學習中最常見的優(yōu)化當屬凸優(yōu)化了，這些可以參考Ng的教學資料：http://cs229.stanford.edu/section/cs229-cvxopt.pdf，從中我們可以大致了解到一些凸優(yōu)化的概念，比如凸集，凸函數(shù)，凸優(yōu)化問題，線性規(guī)劃，二次規(guī)劃，二次約束二次規(guī)劃，半正定規(guī)劃等，從而對凸優(yōu)化問題有個初步的認識。以下是幾個重要相關概念的筆記。

?

　　凸集的定義為：

　　

　　其幾何意義表示為：如果集合C中任意2個元素連線上的點也在集合C中，則C為凸集。其示意圖如下所示：

　　

　　常見的凸集有：

　　n維實數(shù)空間；一些范數(shù)約束形式的集合；仿射子空間；凸集的交集；n維半正定矩陣集；這些都可以通過凸集的定義去證明。

?

　　凸函數(shù)的定義為：

　　

　　其幾何意義表示為函數(shù)任意兩點連線上的值大于對應自變量處的函數(shù)值，示意圖如下：

　　

　　凸函數(shù)的一階充要條件為：

　　

　　其中要求f一階可微。

　　二階充要條件為：

　　

　　其中要求f二階可微，表示二階導數(shù)需大于0才是凸函數(shù)。

?　　常見的凸函數(shù)有：指數(shù)函數(shù)族；非負對數(shù)函數(shù)；仿射函數(shù)；二次函數(shù)；常見的范數(shù)函數(shù)；凸函數(shù)非負加權(quán)的和等。這些可以采用上面2個充要條件或者定義去證明。

?

　　凸優(yōu)化問題（OPT）的定義為：

　　

　　即要求目標函數(shù)是凸函數(shù)，變量所屬集合是凸集合的優(yōu)化問題?；蛘吣繕撕瘮?shù)是凸函數(shù)，變量的約束函數(shù)是凸函數(shù)（不等式約束時），或者是仿射函數(shù)（等式約束時）。

　　對于凸優(yōu)化問題來說，局部最優(yōu)解就是全局最優(yōu)解。

　　常見的凸優(yōu)化問題包括：

　　線性規(guī)劃（LP）：該問題是優(yōu)化下面的式子：

?　　

　　其中那個不常見的奇怪符號表示按元素小于等于，后面出現(xiàn)類似符號可以類似理解。

　　二次規(guī)劃（QP）：該問題是優(yōu)化下面的式子：

?　　

　　二次約束的二次規(guī)劃（QCQP）：該問題是優(yōu)化下面的式子：

?　　

　　半正定規(guī)劃（SDP）：該問題是優(yōu)化下面的式子：

　　

　　按照文章說SDP在機器學習領域應用很廣，最近很流行，不過我好像沒太接觸到過。

?

　　參考資料：

? ? ?http://cs229.stanford.edu/section/cs229-cvxopt.pdf

?

?

?

?

作者：tornadomeet 出處：http://www.cnblogs.com/tornadomeet 歡迎轉(zhuǎn)載或分享，但請務必聲明文章出處。 （新浪微博：tornadomeet,歡迎交流！）

總結(jié)

以上是生活随笔為你收集整理的机器学习数据挖掘笔记_15（关于凸优化的一些简单概念）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。