本文為《Kernel Logistic Regression and the Import Vector Machine》的閱讀筆記
是技法課的課外閱讀

Abstract:
基于KLR kernel logistic regression，能自然延伸到多分類問題
提供屬于各類的概率
也有類似support vector，且這部分training data占比比SVM小

algrithm:
IVM基于Kernal logistic regression（KLR），下面介紹KLR

原始logistic regression為：
$H = -\frac{1}{n}\sum_i^n \left\{ [y_i=1]ln(p(x_i))+[y_i=0]ln(1-p(x_i))\right \}+\frac{\lambda}{2}w^tw$ (1)
其中$p(x)=\frac{1}{1+exp(-(xw+b))}$

根據represent theory，$xw=\sum_i^n K(x,x_i)a_i$(2)，這里K表示kernel
(1)中前半部分，很容易用(2)替換后得到對應的kernel化版本
(1)中后半部分，令$a=(a_1,a_2,...,a_n)$，$K$為nxn的矩陣，$K_{ij}=K(x_i,x_j)$，
$X$為nxd的矩陣，n為樣本量，d為每個樣本變換后的維度，$K=XX^t$根據(2)，有
$Xw=Ka=XX^ta$，$w=X^ta$，$w^tw=a^tXX^ta=a^tKa$

$H=\frac{1}{n}\sum_i^n \left\{ [y_i=1]ln(1+exp(-f(x_i)))+[y_i=0]ln(1+exp(f(x_i)))\right \}+\frac{\lambda}{2}a^tKa$(3)
其中$f(x)=b+\sum_{x_i\in S} K(x,x_i)a_i,S=\left\{x_1,x_2,...,x_n\right\}$(4)

由于KLR并非hinge loss，所以解完后得到的每個$a_i$都不等于0
IVM是基于KLR的，所做的改進即選出一些$a_i\neq 0$，而其他$a_i=0$，這些不等于0的樣本點，類似于SVM的support vector，此處叫Import point

令這些Import point組成的集合成為$S$，大小為$n_s$，此時(4)式中的$S$只包含Import point
(3)式中的$K$也有變動
重新考慮(2)式：$xw=\sum_i^n K(x,x_i)a_i$，令$X_s$為由Import point變換后組成的矩陣，大小為$n_s\times d，$令$K_a=XX_s^t$為$n\times n_s$的矩陣
有$Xw = K_a a = XX_s^t a$，$w = X_s^t a$，$w^tw = a^tX_sX_s^ta=a^tK_q a$，此處$K_q=X_sX_s^t$,是$n_s\times n_s$的矩陣

用牛頓法求解$H$,令$H_1=\frac{1}{n}\sum_i^n \left\{ [y_i=1]ln(1+exp(-f(x_i)))+[y_i=0]ln(1+exp(f(x_i)))\right \}$,$H_2=\frac{\lambda}{2}a^tK_qa$
$\frac{\partial H_1}{\partial a_j} = \frac{1}{n}\sum_i^n \left\{ -[y_i=1]K(x_i,x_j)\frac{exp(-f(x_i))}{1+exp(-f(x_i))}+[y_i=0]K(x_i,x_j)\frac{exp(f(x_i))}{1+exp(f(x_i))}\right \}\\ \ \ \ = \frac{1}{n}\sum_i^n \left\{ -[y_i=1]K(x_i,x_j)(1-p(x_i))+[y_i=0]K(x_i,x_j)p(x_i)\right \}\\ \ \ \ = \frac{1}{n}\sum_i^n \left\{ -y_iK(x_i,x_j)(1-p(x_i))+(1-y_i)K(x_i,x_j)p(x_i)\right \}\\ \ \ \ = \frac{1}{n}\sum_i^n (p(x_i)-y_i)K(x_i,x_j)=\frac{1}{n}\sum_i^n {K_a^t}_{ji}{(p-y)}_{i1}=\frac{1}{n} {[K_a^t(p-y)]}_{j1}$
由于$H_2$是一個數字，所以$trace H_2=H_2$
$\partial a\ trace H_2 = \partial a\ trace \frac{\lambda}{2}a^tK_qa = \frac{\lambda}{2}(K_qa+K_qa)=\lambda K_qa$
$\frac{\partial H_2}{\partial a_j}=\lambda {[K_qa]}_{j1}=\lambda \sum_i^{n_s} {[K_q]}_{ji}a_{i1}$

$\frac{\partial^2 H_1}{\partial a_j\partial a_z}=\frac{1}{n}\sum_i^n \frac{exp(-f(x_i))}{(1+exp(-f(x_i)))^2}K(x_i,x_z)K(x_i,x_j)=\frac{1}{n}\sum_i^np(x_i)(1-p(x_i)){[K_a]}_{iz}{[K_a]}_{ij}$
令$W=diag(p(x_i)(1-p(x_i)))$
$\frac{\partial^2 H_1}{\partial a_j\partial a_z}=\frac{1}{n}\sum_i^n {[K_a^t]}_{ji}W_{ii}{[K_a]}_{iz}=\frac{1}{n} {[K_a^tWK_a]}_{jz}$
$\frac{\partial^2 H_2}{\partial a_j\partial a_z}=\lambda {[K_q]}_{jz}$

根據牛頓法的更新公式：$\alpha_{k+1} = \alpha_{k}-Hessian^{-1}g$
$a_{k+1} = a_{k}+{(\frac{1}{n} K_a^tWK_a+\lambda K_q)}^{-1}(\frac{1}{n}K_a^t(y-p)-\lambda K_qa_k)\\ \ \ \ ={(\frac{1}{n} K_a^tWK_a+\lambda K_q)}^{-1} (\frac{1}{n}K_a^t(y-p)-\lambda K_qa_k+\frac{1}{n} K_a^tWK_aa_k+\lambda K_qa_k)\\ \ \ \ ={(\frac{1}{n} K_a^tWK_a+\lambda K_q)}^{-1} (\frac{1}{n}K_a^t[(y-p)+WK_aa_k])$ (3)

detail:
1.$S=\emptyset$，$R={x_1,x_2,...,x_n}$
2.遍歷R中的每一個樣本，令$S=S\bigcup x_l$，求解a，使H最小
3.選取使H最小的$x_l$，記此時H的値為$H_{k+1}$
4.如果$\frac{|H_{k+1}-H_k|}{H_k}<\eta$，判定為收斂，返回S，以及a；否則重復2-4，直到收斂(通常設$\eta=0.001$)

2步驟中如果加入一個$x_l$，就要進行一輪牛頓法的迭代，是很花時間的，改為如下更新策略
每一次加入一個$x_l$，按公式(3)執行一次迭代

轉載于:https://www.cnblogs.com/porco/p/4621345.html

總結

以上是生活随笔為你收集整理的IVM import vector machine的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。