Logistic Function

Logistic Function最常見的定義形式如下：

其中，，實(shí)際上這個(gè)公式起源于伯努利分布，代表概率，關(guān)于其起源在此暫不贅述。

公式有一個(gè)重要的性質(zhì)，即：

并且公式的形式在邏輯回歸二分類中被廣泛應(yīng)用，其中通常代表預(yù)測樣本屬于正例的概率。假設(shè)代表由多個(gè)特征組成的樣本向量，代表由每個(gè)特征的系數(shù)構(gòu)成的向量，代表樣本的類別標(biāo)記，代表正例，代表反例，則

如果反例標(biāo)記用表示，則預(yù)測正例樣本的公式和預(yù)測反例樣本的公式可以集成為一個(gè)公式：

其中g = 1代表正例，代表反例。

二進(jìn)制交叉熵與Logistic Loss

假設(shè)是hypothesis function，而L是loss function，訓(xùn)練有監(jiān)督學(xué)習(xí)器的時(shí)候?qū)嶋H上都是如下的優(yōu)化問題：

我們已經(jīng)知道如果是二分類器的話，且輸出是概率形式，那么我們可以選擇二進(jìn)制交叉熵來作為loss function，比如假設(shè)就是logistic function

用二進(jìn)制交叉熵作為loss function，正例標(biāo)記為，反例標(biāo)記為，則

假設(shè)是另外一個(gè)hypothesis function，且，把帶入式可以得到

顯然式和式是等價(jià)的，即

式的Loss形式叫作針對的Logistic Loss，也就是說針對的二進(jìn)制交叉熵?fù)p失等價(jià)于針對的Logistic損失，而實(shí)際上是通過Logistic function的映射，即

也就是說不論這個(gè)hypothesis function是什么形式，針對使用Logistic Loss就可以用于二分類問題，因?yàn)獒槍κ褂肔ogistic Loss就等價(jià)于針對使用二進(jìn)制交叉熵?fù)p失。

如果是用于二分類的深層神經(jīng)網(wǎng)絡(luò)，這里的則可以看成是神經(jīng)網(wǎng)絡(luò)的最后一個(gè)Sigmoid輸出神經(jīng)元，如果仍然看作是原始輸入樣本的話，則可以看成是從輸入層到最后一個(gè)隱層整體構(gòu)成的復(fù)合函數(shù)。

著名的梯度提升機(jī)(GBM, Gradient Boosting Machine)實(shí)際上可以對任何學(xué)習(xí)器進(jìn)行Boosting操作，Boosting是一種集成學(xué)習(xí)方法，已經(jīng)證明任何弱學(xué)習(xí)器都有提升為強(qiáng)學(xué)習(xí)器的潛能，因此Boosting通常指把弱學(xué)習(xí)器提升為強(qiáng)學(xué)習(xí)器的提升方法。另外，這里的Gradient是指Gradient Descent，不是中文字面意思的“梯度值提升”，“提升”是指Boosting這種集成學(xué)習(xí)范式。

GBM最常見的是GBDT(Gradient Boosting Decision Tree)，因?yàn)镚BDT實(shí)際上用的是基于CART中的回歸樹的加性模型，所以GBDT也常叫作GBRT(Gradient Boosting Regression Tree)，也就是說GBDT中的弱學(xué)習(xí)器是經(jīng)典的Breiman的CART中的Regression Tree，我們知道GBDT既可以用于回歸也可以用于分類，那么回歸樹是如何用于分類的呢？

這里只討論二分類的情況，多分類情況暫不贅述。由式知道如果就是回歸樹的hypothesis function，也就是說就是回歸樹的葉子結(jié)點(diǎn)的輸出，那么通過Logistic function映射成后再對使用二進(jìn)制交叉熵?fù)p失就可以做二分類任務(wù)了，由式知道也就是說直接對回歸樹使用Logistic Loss就可以做二分類任務(wù)了。

回歸樹回歸分類原理

CART(Classification and Regression Tree)是最早由Breiman等人提出的一類決策樹算法，其中Classification Tree使用基尼系數(shù)作為分裂準(zhǔn)則，在此暫不贅述分類樹細(xì)節(jié)，Regression Tree采用啟發(fā)式算法尋找最優(yōu)分裂節(jié)點(diǎn)，這里推導(dǎo)一下Loss function分別采用Squared Loss和Logistic Loss的回歸和分類的數(shù)學(xué)原理。

采用Squared Loss的回歸樹回歸

關(guān)于CART回歸樹的原理推導(dǎo)可以參考李航的《統(tǒng)計(jì)學(xué)習(xí)方法》，我這里試圖用更通俗易懂，更詳細(xì)嚴(yán)謹(jǐn)?shù)姆绞竭M(jìn)行解讀和推導(dǎo)。

首先假設(shè)hypothesis function為，也即回歸樹為，樣本向量為，是樣本的真實(shí)target值，則回歸樹的回歸預(yù)測公式為

其中為樣本編號，為回歸樹第個(gè)樣本的估計(jì)值。

Squared Loss形式記為

其中為樣本編號為的真實(shí)target值。

CART回歸樹為二叉樹，其關(guān)鍵在于如何在特征空間中選擇最優(yōu)分裂節(jié)點(diǎn)進(jìn)行多次二分叉分裂。用表格的形式更容易進(jìn)行通俗易懂的解釋，為了嚴(yán)謹(jǐn)這里先對張量的概念做一個(gè)通俗易懂的理解。

通俗理解張量：向量是一維張量，矩陣(表格)是二維張量，而像魔方那樣每個(gè)小方塊代表一個(gè)數(shù)據(jù)，所有數(shù)據(jù)存儲(chǔ)在一個(gè)“三維”空間中的是三維張量(比如三通道的RGB彩色圖片)，當(dāng)然還有更高維的張量，在各種編程語言中就對應(yīng)著高維數(shù)組，實(shí)際上在物理學(xué)中對張量有嚴(yán)格的定義，由于其概念過于抽象，這里暫不贅述。

現(xiàn)在假設(shè)訓(xùn)練數(shù)據(jù)都存放在一張二維表格中，這里的“二維”指張量的二維。假設(shè)表格有列，行，前列為特征，最后一列為target ，每一行的前列構(gòu)成維樣本向量，前列所有數(shù)據(jù)叫作特征空間(輸入空間)，最后一列叫作輸出空間?；貧w樹用啟發(fā)式方法在特征空間中尋找最優(yōu)分裂節(jié)點(diǎn)對表格進(jìn)行多次劃分，意思就是遍歷每個(gè)特征的取值，根據(jù)每個(gè)特征的取值作為判斷依據(jù)(分裂節(jié)點(diǎn))把表格一分為二，一分為二后的兩份表格的這個(gè)特征的所有取值要么都大于等于這個(gè)判斷依據(jù)(分裂節(jié)點(diǎn))，要么都小于等于這個(gè)判斷依據(jù)(分裂節(jié)點(diǎn))。第一次把原始表格進(jìn)行一分為二劃分的節(jié)點(diǎn)叫作根(root)節(jié)點(diǎn)，后面用同樣的方法把“子表格”進(jìn)行劃分的節(jié)點(diǎn)都叫中間節(jié)點(diǎn)。那么如何判斷哪個(gè)特征的哪個(gè)值是當(dāng)前的最優(yōu)分裂節(jié)點(diǎn)？

我們知道原始表格最終一定會(huì)被劃分成多個(gè)子表格，每個(gè)子表格實(shí)際上是由多個(gè)判據(jù)值(分裂節(jié)點(diǎn))所構(gòu)成的規(guī)則下的樣本的集合，這些樣本同屬一類，高度相似，因此可以假設(shè)每個(gè)子表格里(也就是符合這套規(guī)則的所有樣本)的所有樣本對應(yīng)同一個(gè)估計(jì)值，假設(shè)最終總子表格數(shù)為，用代表相應(yīng)的子表格(樣本集合)，相應(yīng)的估計(jì)值就為，也即

也就是說回歸樹的hypothesis function為

其中

根據(jù)式最小化Squared Loss

令式等于，有

由式知道在Squared Loss下每個(gè)內(nèi)部的最優(yōu)估計(jì)值就是內(nèi)部所有樣本對應(yīng)的平均值。那么每一次分裂要如何選擇最優(yōu)分裂節(jié)點(diǎn)并一步步迭代呢？

我們已經(jīng)知道每一次分裂相當(dāng)于把表格一分為二，并且已經(jīng)知道了在Squared Loss下分裂之后每個(gè)子表格對應(yīng)的估計(jì)值取子表格內(nèi)部所有樣本對應(yīng)的target值的平均值就可以使得子表格內(nèi)部的Squared Loss最小，也就是說只要每次分裂后的兩個(gè)子表格的最小Squared Loss值相加最小即可，采用的方法就是遍歷每個(gè)特征及其每一個(gè)取值，嘗試把每一個(gè)特征下的具體的值作為分裂節(jié)點(diǎn)，分裂成兩個(gè)子表格后計(jì)算兩個(gè)子表格的最小Squared Loss的和，如果這個(gè)和在遍歷了所有可能的分裂節(jié)點(diǎn)后是最小的，那么這一次分裂就選當(dāng)前的分裂節(jié)點(diǎn)。

具體地，假設(shè)是第個(gè)特征，是特征的某個(gè)取值，把和分別作為切分變量和切分點(diǎn)，則可以把當(dāng)前表格切分成如下兩個(gè)表格：

和

計(jì)算下式尋找最優(yōu)切分變量和最優(yōu)切分點(diǎn)，

由(21)式可以知道和時(shí)可以使得式在當(dāng)前分裂點(diǎn)最小，也就是說只要遍歷所有可能的分裂點(diǎn)(j,s)，找到全局最小的即可。后續(xù)每一次表格的一分為二都采取同樣的方法，直到滿足停止條件。采用Squared Loss的回歸樹也叫最小二乘回歸樹。

采用Logistic Loss的回歸樹二分類

由式已經(jīng)知道了Logistic Loss由Logistic function和Binary Entropy Loss推導(dǎo)而來，而Logistic function也叫Sigmoid function，所以Logistic Loss也叫Sigmoid Binary Entropy Loss，它可以把回歸模型用于二分類任務(wù)。

Logistic Loss最常用的形式是式的label 的形式，如果label ，則其形態(tài)為

在式中已經(jīng)知道了回歸樹的hypothesis function，這里嘗試采用Logistic Loss作為loss function來推導(dǎo)其訓(xùn)練過程。以下推導(dǎo)Logistic Loss采用式的形態(tài)，所以取label 。那么訓(xùn)練分類器也就是如下的優(yōu)化問題

令(27)式等于0，則

分裂思想與前述的最小二乘回歸樹一樣，只不過Loss采用Logistic loss，采用(31)式的計(jì)算值。實(shí)際上由(30)式已經(jīng)可以看出回歸樹的每個(gè)葉節(jié)點(diǎn)的權(quán)值都輸入Logistic function把輸出值映射到(0,1)后的值就是里面的均值。

往期精彩回顧適合初學(xué)者入門人工智能的路線及資料下載機(jī)器學(xué)習(xí)及深度學(xué)習(xí)筆記等資料打印機(jī)器學(xué)習(xí)在線手冊深度學(xué)習(xí)筆記專輯《統(tǒng)計(jì)學(xué)習(xí)方法》的代碼復(fù)現(xiàn)專輯 AI基礎(chǔ)下載機(jī)器學(xué)習(xí)的數(shù)學(xué)基礎(chǔ)專輯 本站qq群704220115，加入微信群請掃碼：

總結(jié)

以上是生活随笔為你收集整理的【机器学习基础】深入理解Logistic Loss与回归树的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。