1 SVR背景

2 SVR原理

3 SVR數學模型

SVR的背景

SVR做為SVM的分支從而被提出，一張圖介紹SVR與SVM的關系

這里兩虛線之間的幾何間隔r=d ∣ ∣ W ∣ ∣ \fracozvdkddzhkzd{||W||}∣∣W∣∣d?,這里的d就為兩虛線之間的函數間隔。

(一圖讀懂函數間隔與幾何間隔)

這里的r就是根據兩平行線之間的距離公式求解出來的

SVR的原理

SVR與一般線性回歸的區別

SVR

一般線性回歸

1.數據在間隔帶內則不計算損失，當且僅當f(x)與y之間的差距的絕對值大于? \epsilon?才計算損失

1.只要f(x)與y不相等時，就計算損失

2.通過最大化間隔帶的寬度與最小化總損失來優化模型

2.通過梯度下降之后求均值來優化模型

原理：SVR在線性函數兩側制造了一個“間隔帶”，間距為? \epsilon?(也叫容忍偏差，是一個由人工設定的經驗值)，對所有落入到間隔帶內的樣本不計算損失，也就是只有支持向量才會對其函數模型產生影響，最后通過最小化總損失和最大化間隔來得出優化后的模型。

注：這里介紹一下支持向量的含義：直觀解釋，支持向量就是對最終w,b的計算起到作用的樣本(a>0)

SVR的數學模型

3.1線性硬間隔SVR

3.2線性軟間隔SVR

原因：在現實任務中，往往很難直接確定合適的 ? \epsilon? ，確保大部分數據都能在間隔帶內，而SVR希望所有訓練數據都在間隔帶內，所以加入松弛變量ξ \xiξ ，從而使函數的間隔要求變的放松，也就是允許一些樣本可以不在間隔帶內。

引入松弛變量后，這個時候，所有的樣本數據都滿足條件:

這就是映入松弛變量后的限制條件，所以也叫-------軟間隔SVR

注：對于任意樣本xi,如果它在隔離帶里面或者邊緣上，ξ \xiξ 都為0；在隔離帶上方則為ξ > 0 , ξ ? = 0 \xi>0,\xi^*=0ξ>0,ξ?=0

在隔離帶下方則為ξ ? > 0 , ξ = 0 \xi^*>0,\xi=0ξ?>0,ξ=0

參數推導：

拉格朗日乘子法(可將約束條件變成無約束的的等式方程)

設u i ? 0 , u i ? ? 0 , a i ? 0 , a i ? ? 0 u_i\geqslant0,u^*_i\geqslant0,a_i\geqslant0,a^*_i\geqslant0ui??0,ui???0,ai??0,ai???0為拉格朗日系數

構建拉格朗日函數：

3.3非線性(映射，核函數)

啟發：提高維度，低維映射到高維(非線性變線性)

之前的SVR低維數據模型是以內積xi*xj的形式出現:

現定義一個低維到高維的映射Φ \varPhiΦ： 來替代以前的內積形式:

表示映射到高維特征空間之后的內積

映射到高維的問題:

2維可以映射到5維

但當低維是1000映射到超級高的維度時計算機特征的內積

這個時候從低維到高維運算量會爆炸性增長

由于特征空間維數可能很高，甚至是無窮維，因為直接計算 Φ ( x i ) T Φ ( x j ) \varPhi(x_i)^T\varPhi(x_j)Φ(xi?)TΦ(xj?) 通常是困難的，這里就要設計到核函數

結果表明：核函數在低維計算的結果與映射到高維之后內積的結果是一樣的

主要改變：非線性轉化，主要通過改變內積空間替換成另外一個核函數空間而從而轉化到另外一個線性空間

核函數的隆重出場：核函數是對向量內積空間的一個擴展，使得非線性回歸的問題，在經過核函數的轉換后可以變成一個近似線性回歸的問題

實戰案例

代更。。。。。。。

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的svr公式推导_支持向量回归（SVR）的详细介绍以及推导算法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。