編者注：本文用logistic回歸來(lái)識(shí)別多分類(lèi)問(wèn)題的手寫(xiě)數(shù)字，是之前l(fā)ogisitic回歸二分類(lèi)問(wèn)題的延續(xù)，該篇文章關(guān)于其思想以及編程原理見(jiàn)本人之前文章，在這里只注重識(shí)別及其編程過(guò)程。

01數(shù)據(jù)準(zhǔn)備

數(shù)據(jù)為Matlab加載格式(mat)，包含y、X變量，數(shù)據(jù)來(lái)源為(大家可以去這下載)：

https://github.com/jdwittenauer/ipython-notebooks/blob/master/data/ex3data1.mat ，至于為什么要用Matlab格式，因?yàn)閄是個(gè)矩陣不方便用excel之類(lèi)軟件來(lái)保存。

image.png其中，X為5000X400維矩陣，5000代表5000個(gè)訓(xùn)練樣本，400則代表每個(gè)訓(xùn)練樣本(也就是手寫(xiě)數(shù)字圖像)20 X20像素的灰度強(qiáng)度，隨機(jī)選擇其中100個(gè)樣本，在Matlab可視化的結(jié)果如下：

image.pngy 是一個(gè)5000行1列的列向量，取值包括(1,2,3,4,5,6,7,8,9,10)T，注意，由于Matlab下標(biāo)是從1開(kāi)始的，故用 10 表示數(shù)字 0。在python中使用scipy導(dǎo)入mat數(shù)據(jù)，代碼如下：

import numpy as np

import pandas as pd

import matplotlib.pyplot as plt

from scipy.io import loadmat

data = loadmat('E:\studypythonml\ex3data1.mat')

data

data['X'].shape, data['y'].shape

02 構(gòu)建相關(guān)函數(shù)

在python中分別構(gòu)建sigmoid、梯度下降、成本函數(shù)等。

def sigmoid(z):

return 1 / (1 + np.exp(-z))

def cost(theta, X, y, learningRate):

theta = np.matrix(theta)

X = np.matrix(X)

y = np.matrix(y)

first = np.multiply(-y, np.log(sigmoid(X * theta.T)))

second = np.multiply((1 - y), np.log(1 - sigmoid(X * theta.T)))

reg = (learningRate / 2 * len(X)) * np.sum(np.power(theta[:,1:theta.shape[1]], 2))

return np.sum(first - second) / (len(X)) + reg

def gradient(theta, X, y, learningRate):

theta = np.matrix(theta)

X = np.matrix(X)

y = np.matrix(y)

parameters = int(theta.ravel().shape[1])

error = sigmoid(X * theta.T) - y

grad = ((X.T * error) / len(X)).T + ((learningRate / len(X)) * theta)

# intercept gradient is not regularized

grad[0, 0] = np.sum(np.multiply(error, X[:,0])) / len(X)

return np.array(grad).ravel()

這其中的編程思想在之前寫(xiě)的相關(guān)隨筆：梯度下降法求解線性回歸、logisitic回歸等出現(xiàn)過(guò)，大家可以參考之前文章來(lái)了解構(gòu)建函數(shù)的過(guò)程。特別注意的是，從最開(kāi)始的求解一元線性回歸時(shí)，都注重了將X變量的向量化，對(duì)于這里更復(fù)雜的X變量(矩陣形式)起到了作用，避免采用更復(fù)雜的code，如for循環(huán)來(lái)引入。

03 構(gòu)建one vs all函數(shù)

對(duì)于logisitic多分類(lèi)問(wèn)題，在stanford Coursera公開(kāi)課中有過(guò)專(zhuān)門(mén)介紹，所謂多分類(lèi)問(wèn)題，是指分類(lèi)的結(jié)果為三類(lèi)以上。其分類(lèi)思想與二分類(lèi)類(lèi)似，對(duì)于k個(gè)類(lèi)別，在預(yù)測(cè)某個(gè)類(lèi)i的時(shí)候，將其作為一類(lèi)，剩下的作為另一類(lèi)，這樣的話，就會(huì)有k個(gè)logisitic分類(lèi)器，如下圖：

image.png

就需要N個(gè)假設(shè)函數(shù)(預(yù)測(cè)模型)，也即需要N組模型參數(shù)θ，對(duì)于每一個(gè)類(lèi) i 訓(xùn)練一個(gè)邏輯回歸模型的分類(lèi)器h(i)θ(x)，并且預(yù)測(cè) y = i時(shí)的概率；對(duì)于一個(gè)新的輸入變量x, 分別對(duì)每一個(gè)類(lèi)進(jìn)行預(yù)測(cè)，取概率最大的那個(gè)類(lèi)作為分類(lèi)結(jié)果 。因此，在這里構(gòu)建一個(gè)函數(shù)將分類(lèi)器訓(xùn)練全部包含進(jìn)去，這個(gè)函數(shù)計(jì)算10個(gè)分類(lèi)器中每個(gè)分類(lèi)器的最終權(quán)重，并將權(quán)重返回為一個(gè)k X(n + 1)數(shù)組，其中n是參數(shù)個(gè)數(shù)。如下：

from scipy.optimize import minimize

def one_vs_all(X, y, num_labels, learning_rate):

rows = X.shape[0] #X的行數(shù)

params = X.shape[1] #X的列數(shù)

# 對(duì)于k個(gè)分類(lèi)器，構(gòu)建k*(n+1)維向量組

all_theta = np.zeros((num_labels, params + 1))

# 在X第一列之前插入一列全為1的列向量作為常數(shù)項(xiàng)

X = np.insert(X, 0, values=np.ones(rows), axis=1)

# 對(duì)于y若將某個(gè)類(lèi)別i拿出來(lái)之后剩下的類(lèi)別構(gòu)成一類(lèi)

for i in range(1, num_labels + 1):

theta = np.zeros(params + 1)

y_i = np.array([1 if label == i else 0 for label in y])

y_i = np.reshape(y_i, (rows, 1))

# 采用梯度下降法最小化目標(biāo)函數(shù)(cost)

fmin = minimize(fun=cost, x0=theta, args=(X, y_i, learning_rate), method='TNC', jac=gradient)

all_theta[i-1,:] = fmin.x

return all_theta

rows = data['X'].shape[0]

params = data['X'].shape[1]

all_theta = np.zeros((10, params + 1))

X = np.insert(data['X'], 0, values=np.ones(rows), axis=1)

theta = np.zeros(params + 1)

y_0 = np.array([1 if label == 0 else 0 for label in data['y']])

y_0 = np.reshape(y_0, (rows, 1))

X.shape, y_0.shape, theta.shape, all_theta.shape

np.unique(data['y'])

all_theta = one_vs_all(data['X'], data['y'], 10, 1)

all_theta

得到10個(gè)分類(lèi)器的最優(yōu)參數(shù)為：

image.png

04 得到預(yù)測(cè)值并與原值比較計(jì)算準(zhǔn)確率

根據(jù)訓(xùn)練生成的all_theta參數(shù)構(gòu)建預(yù)測(cè)函數(shù)，得到X對(duì)應(yīng)的預(yù)測(cè)值

def predict_all(X, all_theta):

rows = X.shape[0]

params = X.shape[1]

num_labels = all_theta.shape[0]

# 與前相同，插入一列全部為1的列向量

X = np.insert(X, 0, values=np.ones(rows), axis=1)

# 轉(zhuǎn)換為矩陣

X = np.matrix(X)

all_theta = np.matrix(all_theta)

# 計(jì)算每個(gè)訓(xùn)練實(shí)例上每個(gè)類(lèi)的類(lèi)概率

h = sigmoid(X * all_theta.T)

# 選取最高的那個(gè)概率為該實(shí)例的預(yù)測(cè)數(shù)字標(biāo)簽并構(gòu)建數(shù)組

h_argmax = np.argmax(h, axis=1)

# 由于該數(shù)組在訓(xùn)練時(shí)是基于圖片的0-9而預(yù)測(cè)的，所以要+1以匹配y

h_argmax = h_argmax + 1

return h_argmax

代入，得到預(yù)測(cè)精度

y_pred = predict_all(data['X'], all_theta)

correct = [1 if a == b else 0 for (a, b) in zip(y_pred, data['y'])]

accuracy = (sum(map(int, correct)) / float(len(correct)))

print 'accuracy = {0}%'.format(accuracy * 100)

首先構(gòu)建預(yù)測(cè)值函數(shù)，然后將該值與原始類(lèi)別值0,1比較，計(jì)算其正確的精度，結(jié)果為97.46%。

寫(xiě)作不易，特別是技術(shù)類(lèi)的寫(xiě)作，請(qǐng)大家多多支持，關(guān)注、點(diǎn)贊、轉(zhuǎn)發(fā)等等，也歡迎大家關(guān)注.

總結(jié)

以上是生活随笔為你收集整理的python数据分析实战案例logistic_Python机器学习随笔之logistic回归识别手写数字的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。