目錄

一、支持向量機要解決的問題

Support Vector Machine

決策邊界

二、距離與數據定義

距離的計算

數據標簽

三、目標函數推導

優(yōu)化的目標

目標函數

四、拉格朗日乘子法求解

目標函數

拉格朗日乘子法

SVM求解

五、化簡最終目標函數

SVM求解

六、求解決策方程

SVM求解實例

七、軟間隔優(yōu)化

soft-margin

八、核函數的作用

低維不可分問題

舉例

九、知識點總結

---

一、支持向量機要解決的問題

Support Vector Machine

問題1：要解決的問題:什么樣的決策邊界才是最好的呢?

問題2：特征數據本身如果就很難分，怎么辦呢?

問題3：計算復雜度怎么樣?能實際應用嗎?

目標：基于上述問題對SVM進行推導

決策邊界

選出來離雷區(qū)最遠的(雷區(qū)就是邊界上的點，要Large Margin)

二、距離與數據定義

距離的計算

數據標簽

數據集：(X1,Y1)(X2,Y2)... (Xn,Yn)?

Y為樣本的類別: 當X為正例時候 Y = +1 當X為負例時候 Y = -1

決策方程: (其中是對數據做了變換)

? ? ? ? ? ? ? ?=>??? ? =>? ?

? ? ? ? ? ? ? ? ? ? ?

三、目標函數推導

優(yōu)化的目標

通俗解釋：找到一個條線(w和b)，使得離該線最近的點(雷區(qū)) 能夠最遠

將點到直線的距離化簡得：

(由于所以將絕對值展開原始依舊成立)?

目標函數

放縮變換：對于決策方程(w,b)可以通過放縮使得其結果值|Y|>= 1
????????????????=> (之前我們認為恒大于0，現(xiàn)在嚴格了些)

優(yōu)化目標：
由于，只需要考慮 (目標函數搞定!）

四、拉格朗日乘子法求解

目標函數

當前目標: ，約束條件：

常規(guī)套路：將求解極大值問題轉換成極小值問題=>

如何求解：應用拉格朗日乘子法求解。

拉格朗日乘子法

帶約束的優(yōu)化問題：

原式轉換：

我們的式子：
(約束條件不要忘： )

SVM求解

分別對w和b求偏導,分別得到兩個條件(由于對偶性質)

對w求偏導：

?對b求偏導：

五、化簡最終目標函數

SVM求解

帶入原始：

?繼續(xù)對ɑ求極大值：

?????????????????條件：

極大值轉換成求極小值：條件：

六、求解決策方程

SVM求解實例

數據：3個點，其中正例 X1(3,3) ，X2(4,3) ，負例X3(1,1)

求解：

?約束條件：

?

?

分別對ɑ1和ɑ2求偏導，偏導等于0可得：

(并不滿足約束條件 ，所以解應在邊界上)

?最小值在(0.25,0,0.25)處取得。

?將ɑ結果帶入求解

平面方程為：

邊界點所有值不為0的數據點為支持向量。

非邊界點值必然為0?

支持向量：真正發(fā)揮作用的數據點，ɑ值不為0的點?。

七、軟間隔優(yōu)化

soft-margin

軟間隔：有時候數據中有一些噪音點，如果考慮它們咱們的線就不太好了。

之前方法要求要把兩類點完全分得開，這個要求有點過于嚴格，為了解決該問題，引入松弛因子：?

?

• 新的目標函數：

當C趨近于很大時：意味著分類嚴格不能有錯誤。

當C趨近于很小時：意味著可以有更大的錯誤容忍。

C是我們需要指定的一個參數!

• ?拉格朗日乘子法：

八、核函數的作用

低維不可分問題

核變換：既然低維的時候不可分，那我給它映射到高維呢?

目標:找到一種變換的方法，也就是

舉例

九、知識點總結

高斯核函數：

????????????????

總結

以上是生活随笔為你收集整理的唐宇迪学习笔记17：支持向量机的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。