文章目錄

• 1 前言
• 2 什么是邏輯回歸
• 3 邏輯回歸的代價函數
• 4 利用梯度下降法求參數
• 5 結束語
• 6 參考文獻

1 前言

邏輯回歸是分類當中極為常用的手段，因此，掌握其內在原理是非常必要的。我會爭取在本文中盡可能簡明地展現邏輯回歸(logistic regression)的整個推導過程。

2 什么是邏輯回歸

邏輯回歸在某些書中也被稱為對數幾率回歸，明明被叫做回歸，卻用在了分類問題上，我個人認為這是因為邏輯回歸用了和回歸類似的方法來解決了分類問題。

假設有一個二分類問題，輸出為$y\in \{0,1\}$，而線性回歸模型產生的預測值為$z=w^{T}x+b$是實數值，我們希望有一個理想的階躍函數來幫我們實現$z$值到$0/1$值的轉化。

$$?(z)=?\begin{array}{r}0ifz<0\\ 0.5ifz=0\\ 1ifz>0\end{array}$$

然而該函數不連續，我們希望有一個單調可微的函數來供我們使用，于是便找到了$Sigmoidfunction$來替代。

$$?(z)=\frac{1}{1+e^{?z}}$$

兩者的圖像如下圖所示（圖片出自文獻2）

圖1：sigmoid & step function

有了$Sigmoidfuction$之后，由于其取值在$[0,1]$，我們就可以將其視為類$1$的后驗概率估計$p(y=1|x)$。說白了，就是如果有了一個測試點$x$，那么就可以用$Sigmoidfuction$算出來的結果來當做該點$x$屬于類別$1$的概率大小。

于是，非常自然地，我們把$Sigmoidfuction$計算得到的值大于等于$0.5$的歸為類別$1$，小于$0.5$的歸為類別$0$。

$$\hat{y}=\{\begin{array}{r}1if?(z)\ge 0.5\\ 0otherwise\end{array}$$

同時邏輯回歸與自適應線性網絡非常相似，兩者的區別在于邏輯回歸的激活函數是$Sigmoidfunction$而自適應線性網絡的激活函數是$y=x$，兩者的網絡結構如下圖所示（圖片出自文獻1）。

圖2：自適應線性網絡

圖3：邏輯回歸網絡

3 邏輯回歸的代價函數

好了，所要用的幾個函數我們都有了，接下來要做的就是根據給定的訓練集，把參數$w$給求出來了。要找參數$w$，首先就是得把代價函數（cost function）給定義出來，也就是目標函數。

我們第一個想到的自然是模仿線性回歸的做法，利用誤差平方和來當代價函數。

$$J(w)=\sum _i\frac{1}{2}(?(z^{(i)})?y^{(i)}{)}^2$$

其中，$z^{(i)}=w^T{x}^{(i)}+b$，$i$表示第$i$個樣本點，$y^{(i)}$表示第$i$個樣本的真實值，$?(z^{(i)})$表示第$i$個樣本的預測值。

這時，如果我們將$?(z^{(i)})=\frac{1}{1+e^{?z^{(i)}}}$代入的話，會發現這是一個非凸函數，這就意味著代價函數有著許多的局部最小值，這不利于我們的求解。

圖4：凸函數和非凸函數

那么我們不妨來換一個思路解決這個問題。前面，我們提到了$?(z)$可以視為類$1$的后驗估計，所以我們有

$$p(y=1|x;w)=?(w^{T}x+b)=?(z)$$

$$p(y=0|x;w)=1??(z)$$

其中，$p(y=1|x;w)$表示給定$w$，那么$x$點$y=1$的概率大小。

上面兩式可以寫成一般形式

$$p(y|x;w)=?(z{)}^y(1??(z){)}^{(1?y)}$$

接下來我們就要用極大似然估計來根據給定的訓練集估計出參數$w$。

$$L(w)=\prod _{i=1}^{n}p(y^{(i)}|x^{(i)};w)=\prod _{i=1}^n(?(z^{(i)}){)}^{y^{(i)}}(1??(z^{(i)}){)}^{1?y^{(i)}}$$

為了簡化運算，我們對上面這個等式的兩邊都取一個對數

$$l(w)=lnL(w)=\sum _{i=1}^n{y}^{(i)}ln(?(z^{(i)}))+(1?y^{(i)})ln(1??(z^{(i)}))$$

我們現在要求的是使得$l(w)$最大的$w$。沒錯，我們的代價函數出現了，我們在$l(w)$前面加個負號不就變成就最小了嗎？不就變成我們代價函數了嗎？

$$J(w)=?l(w)=?\sum _{i=1}^n{y}^{(i)}ln(?(z^{(i)}))+(1?y^{(i)})ln(1??(z^{(i)}))$$

為了更好地理解這個代價函數，我們不妨拿一個例子的來看看

$$J(?(z),y;w)=?yln(?(z))?(1?y)ln(1??(z))$$

也就是說

$$J(?(z),y;w)=\{\begin{array}{ll}?ln(?(z))& ify=1\\ ?ln(1??(z))& ify=0\end{array}$$

我們來看看這是一個怎么樣的函數

圖5：代價函數

從圖中不難看出，如果樣本的值是$1$的話，估計值$?(z)$越接近$1$付出的代價就越小，反之越大；同理，如果樣本的值是$0$的話，估計值$?(z)$越接近$0$付出的代價就越小，反之越大。

4 利用梯度下降法求參數

在開始梯度下降之前，要這里插一句，$sigmoidfunction$有一個很好的性質就是

$${?}^{\prime }(z)=?(z)(1??(z))$$

下面會用到這個性質。

還有，我們要明確一點，梯度的負方向就是代價函數下降最快的方向。什么？為什么？好，我來說明一下。借助于泰特展開，我們有

$$f(x+\delta )?f(x)\approx f^{\prime }(x)?\delta$$

其中，$f^{\prime }(x)$和$\delta$為向量，那么這兩者的內積就等于

$$f^{\prime }(x)?\delta =||f^{\prime }(x)||?||\delta ||?cos\theta$$

當$\theta =\pi$時，也就是$\delta$在$f^{\prime }(x)$的負方向上時，取得最小值，也就是下降的最快的方向了~

okay？好，坐穩了，我們要開始下降了。

$$w:=w+\Delta w,\Delta w=?\eta ?J(w)$$

沒錯，就是這么下降。沒反應過來？那我再寫詳細一些

$$w_j:=w_j+\Delta w_j,\Delta w_j=?\eta \frac{?J(w)}{?w_j}$$

其中，$w_j$表示第$j$個特征的權重；$\eta$為學習率，用來控制步長。

重點來了。

$$\begin{array}{rl}& \frac{?J(w)}{w_j}=?\sum _{i=1}^n(y^{(i)}\frac{1}{?(z^{(i)})}?(1?y^{(i)})\frac{1}{1??(z^{(i)})})\frac{??(z^{(i)})}{?w_j}\\ & =?\sum _{i=1}^n(y^{(i)}\frac{1}{?(z^{(i)})}?(1?y^{(i)})\frac{1}{1??(z^{(i)})})?(z^{(i)})(1??(z^{(i)}))\frac{?z^{(i)}}{?w_j}\\ & =?\sum _{i=1}^n(y^{(i)}(1??(z^{(i)}))?(1?y^{(i)})?(z^{(i)}))x_j^{(i)}\\ & =?\sum _{i=1}^n(y^{(i)}??(z^{(i)}))x_j^{(i)}\end{array}$$

所以，在使用梯度下降法更新權重時，只要根據下式即可

$$w_j:=w_j+\eta \sum _{i=1}^n(y^{(i)}??(z^{(i)}))x_j^{(i)}$$

此式與線性回歸時更新權重用的式子極為相似，也許這也是邏輯回歸要在后面加上回歸兩個字的原因吧。

當然，在樣本量極大的時候，每次更新權重會非常耗費時間，這時可以采用隨機梯度下降法，這時每次迭代時需要將樣本重新打亂，然后用下式不斷更新權重。

$$w_j:=w_j+\eta (y^{(i)}??(z^{(i)}))x_j^{(i)},foriinrange(n)$$

也就是去掉了求和，而是針對每個樣本點都進行更新。

5 結束語

以上就是我參考了基本書中的說法之后對邏輯回歸整個推到過程的梳理，也不知道講清楚沒有。
如有不足，還請指正~

6 參考文獻

[1] Raschka S. Python Machine Learning[M]. Packt Publishing, 2015.
[2] 周志華. 機器學習 : = Machine learning[M]. 清華大學出版社, 2016.

總結

以上是生活随笔為你收集整理的逻辑回归(logistic regression)的本质——极大似然估计的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。