我們將在分類模型基礎上繼續，并開始學習一種常用的分類算法——Logistic回歸，邏輯回歸logistic regression，雖然名字是回歸，但是實際上它是處理分類問題的算法。簡單的說回歸問題和分類問題如下：

• 回歸問題：預測一個連續的輸出。
• 分類問題：離散輸出，比如二分類問題輸出0或1。
• 邏輯回歸常用于垃圾郵件分類，天氣預測、疾病判斷和廣告投放。

一、Step 1: Function Set

• 同樣考慮一個而分類問題，此時Function Set 為：$$f_x=P_{w,b}\left(C_1|x\right)=\sigma (z)=\frac{1}{1+\exp \{?(wx+b)\}}$$

• 如果$P_{w,b}\left(C_1|x\right)>0.5$,class為$C_1$，否則為$C_2$

• Sigmoid function

• Function Set

二、Step 2: Goodness of a Function

• Assume the data is generated based on$f_{w,b}(x)=P_{w,b}\left(C_1|x\right)$

• Given a set of w and b, what is its probability of generating the data?
  $$L(w,b)=f_{w,b}\left(x^1\right)f_{w,b}\left(x^2\right)\left(1?f_{w,b}\left(x^3\right)\right)?f_{w,b}\left(x^N\right)$$

• The most likely $w^{?}$is the one with the largest $L(w,b)$.
  $$w^{?},b^{?}=\arg \underset{w,b}{\max }L(w,b)$$

• class$C_1$的標記$\hat{y}$為1，class$C_2$的標記$\hat{y}$為0

  $$L(w,b)=\prod _{i=1}^{n}P\left(C_1|x_i\right),\ln L=\sum _{i=1}^n\left[{\hat{y}}^i{f}_{w,b}\left(x^i\right)+\left(1?{\hat{y}}^i\right)\left(1?f_{w,b}\left(x^i\right)\right)\right]$$

? 根據極大似然估計，為了極大化L，等價于極小化$?\ln L$，求解得到
$$w^{?},b^{?}={\mathrm{argmin}}_{w,b}\sum _{i=1}^n?\left[{\hat{y}}^i{f}_{w,b}\left(x^i\right)+\left(1?{\hat{y}}^i\right)\left(1?f_{w,b}\left(x^i\right)\right)\right]$$

• 交叉熵 - cross entropy
  $$C{\left(f\left(x^n\right),(\hat{y}\right)}^n)=?\left[{\hat{y}}^n{f}_{w,b}\left(x^n\right)+\left(1?{\hat{y}}^n\right)\left(1?f_{w,b}\left(x^n\right)\right)\right]$$
  表示Cross entropy between two Bernoulli distribution

• Then the cross entropy is:
  $$H(p,q)=?\sum _{x}p(x)\ln (q(x))$$

三、Step 3: Find the best function

• $$z=w?x+b=\sum _i{w}_i{x}_i+b$$

• $$\begin{array}{l}{f}_{w,b}(x)=\sigma (z)=1/1+\exp (?z)\end{array}$$

四、Logistic Regression and Linear Regression

五、更新參數

六、Multi-class Classification - Softmax

總結

以上是生活随笔為你收集整理的【ML】 李宏毅机器学习二：Logistic Regression的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。