本文實例講述了Python實現(xiàn)的簡單線性回歸算法。分享給大家供大家參考，具體如下：

用python實現(xiàn)R的線性模型(lm)中一元線性回歸的簡單方法，使用R的women示例數(shù)據(jù)，R的運行結果：

> summary(fit)

Call:

lm(formula = weight ~ height, data = women)

Residuals:

Min 1Q Median 3Q Max

-1.7333 -1.1333 -0.3833 0.7417 3.1167

Coefficients:

Estimate Std. Error t value Pr(>|t|)

(Intercept) -87.51667 5.93694 -14.74 1.71e-09 ***

height 3.45000 0.09114 37.85 1.09e-14 ***

---

Signif. codes: 0 ‘***' 0.001 ‘**' 0.01 ‘*' 0.05 ‘.' 0.1 ‘ ' 1

Residual standard error: 1.525 on 13 degrees of freedom

Multiple R-squared: 0.991, Adjusted R-squared: 0.9903

F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14

python實現(xiàn)的功能包括：

計算pearson相關系數(shù)

使用最小二乘法計算回歸系數(shù)

計算擬合優(yōu)度判定系數(shù)R2R2

計算估計標準誤差Se

計算顯著性檢驗的F和P值

import numpy as np

import scipy.stats as ss

class Lm:

"""簡單一元線性模型，計算回歸系數(shù)、擬合優(yōu)度的判定系數(shù)和

估計標準誤差，顯著性水平"""

def __init__(self, data_source, separator):

self.beta = np.matrix(np.zeros(2))

self.yhat = np.matrix(np.zeros(2))

self.r2 = 0.0

self.se = 0.0

self.f = 0.0

self.msr = 0.0

self.mse = 0.0

self.p = 0.0

data_mat = np.genfromtxt(data_source, delimiter=separator)

self.xarr = data_mat[:, :-1]

self.yarr = data_mat[:, -1]

self.ybar = np.mean(self.yarr)

self.dfd = len(self.yarr) - 2 # 自由度n-2

return

# 計算協(xié)方差

@staticmethod

def cov_custom(x, y):

result = sum((x - np.mean(x)) * (y - np.mean(y))) / (len(x) - 1)

return result

# 計算相關系數(shù)

@staticmethod

def corr_custom(x, y):

return Lm.cov_custom(x, y) / (np.std(x, ddof=1) * np.std(y, ddof=1))

# 計算回歸系數(shù)

def simple_regression(self):

xmat = np.mat(self.xarr)

ymat = np.mat(self.yarr).T

xtx = xmat.T * xmat

if np.linalg.det(xtx) == 0.0:

print('Can not resolve the problem')

return

self.beta = np.linalg.solve(xtx, xmat.T * ymat) # xtx.I * (xmat.T * ymat)

self.yhat = (xmat * self.beta).flatten().A[0]

return

# 計算擬合優(yōu)度的判定系數(shù)R方，即相關系數(shù)corr的平方

def r_square(self):

y = np.mat(self.yarr)

ybar = np.mean(y)

self.r2 = np.sum((self.yhat - ybar) ** 2) / np.sum((y.A - ybar) ** 2)

return

# 計算估計標準誤差

def estimate_deviation(self):

y = np.array(self.yarr)

self.se = np.sqrt(np.sum((y - self.yhat) ** 2) / self.dfd)

return

# 顯著性檢驗F

def sig_test(self):

ybar = np.mean(self.yarr)

self.msr = np.sum((self.yhat - ybar) ** 2)

self.mse = np.sum((self.yarr - self.yhat) ** 2) / self.dfd

self.f = self.msr / self.mse

self.p = ss.f.sf(self.f, 1, self.dfd)

return

def summary(self):

self.simple_regression()

corr_coe = Lm.corr_custom(self.xarr[:, -1], self.yarr)

self.r_square()

self.estimate_deviation()

self.sig_test()

print('The Pearson\'s correlation coefficient: %.3f' % corr_coe)

print('The Regression Coefficient: %s' % self.beta.flatten().A[0])

print('R square: %.3f' % self.r2)

print('The standard error of estimate: %.3f' % self.se)

print('F-statistic: %d on %s and %s DF, p-value: %.3e' % (self.f, 1, self.dfd, self.p))

python執(zhí)行結果：

The Regression Coefficient: [-87.51666667 3.45 ]

R square: 0.991

The standard error of estimate: 1.525

F-statistic: 1433 on 1 and 13 DF, p-value: 1.091e-14

其中求回歸系數(shù)時用矩陣轉置求逆再用numpy內置的解線性方程組的方法是最快的：

a = np.mat(women.xarr); b = np.mat(women.yarr).T

timeit (a.I * b)

99.9 μs ± 941 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

timeit ata.I * (a.T*b)

64.9 μs ± 717 ns per loop (mean ± std. dev. of 7 runs, 10000 loops each)

timeit np.linalg.solve(ata, a.T*b)

15.1 μs ± 126 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

更多關于Python相關內容感興趣的讀者可查看本站專題：《Python數(shù)學運算技巧總結》、《Python數(shù)據(jù)結構與算法教程》、《Python函數(shù)使用技巧總結》、《Python字符串操作技巧匯總》及《Python入門與進階經(jīng)典教程》

希望本文所述對大家Python程序設計有所幫助。

本文標題: Python實現(xiàn)的簡單線性回歸算法實例分析

本文地址: http://www.cppcns.com/jiaoben/python/248466.html

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結

以上是生活随笔為你收集整理的python线性回归算法简介_Python实现的简单线性回归算法实例分析的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內容還不錯，歡迎將生活随笔推薦給好友。