Logistic Regression具備算法復(fù)雜度低，容易實(shí)現(xiàn)等特點(diǎn)，常用于二分類問(wèn)題。但是在多分類問(wèn)題中，就顯得力不從心了。Softmax Regression 實(shí)際是Logistic Regression算法在多分類問(wèn)題上的推廣。其核心在于任意兩個(gè)類直接是線性可分的。

1.?Softmax Regression 模型

假設(shè)有m個(gè)訓(xùn)練樣本和k個(gè)類別標(biāo)簽，描述如下：

利用θ表示學(xué)習(xí)模型的參數(shù)，對(duì)于每一個(gè)樣本，估計(jì)其所屬的類別概率為：

2. Softmax Regression損失函數(shù)與求解

類似于logistic regression回歸損失函數(shù)設(shè)計(jì)，softmax regression損失函數(shù)如下所示：

對(duì)于上面的損失函數(shù)，可以采用梯度下降算法進(jìn)行求解。首先計(jì)算損失函數(shù)的梯度：

所以，參數(shù)θ的更新公式為：

3. Softmax regression和Logistic regression的關(guān)系

Softmax regression回歸器中存在FxK個(gè)待學(xué)習(xí)的參量。其中，F指特征分量的個(gè)數(shù)；K指所屬的類別數(shù)目。實(shí)際應(yīng)用中，FxK未知參數(shù)矩陣存在參數(shù)冗雜的問(wèn)題。證明如下：

通過(guò)上面分析，我們可以發(fā)現(xiàn)，從未知參量矩陣中減去向量，模型的預(yù)測(cè)結(jié)果并沒(méi)有發(fā)生改變。因此，softmax regression參數(shù)矩陣中存在冗余參數(shù)。

下面利用Soft regression推導(dǎo)Logistic regression.當(dāng)k=2時(shí)，softmax regression算法的假設(shè)函數(shù)為：

利用softmax regression參數(shù)冗雜的特點(diǎn)，令△=θ1，從兩個(gè)向量中都減去這個(gè)向量：

通過(guò)上式，我們可以發(fā)現(xiàn)，LR就是SR的一種特例。

總結(jié)

以上是生活随笔為你收集整理的[原理篇] Soft Regression的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。