一元線性回歸

變量間的關(guān)系

　變量與變量之間的關(guān)系分為確定性關(guān)系和相關(guān)性關(guān)系。
　確定性關(guān)系是指當(dāng)自變量給定一個(gè)值的時(shí)候，就能計(jì)算出應(yīng)變量的值。例如物體下落高度h與下落時(shí)間t的關(guān)系：h=12gt2。
　相關(guān)性關(guān)系是指變量之間的關(guān)系不確定，表現(xiàn)為具有隨機(jī)性的一種“趨勢(shì)”。對(duì)自變量X的同一個(gè)值，取得的因變量Y的值可能不同，而且是隨機(jī)的。但對(duì)應(yīng)X在一定范圍內(nèi)的不同值，可以觀測(cè)到Y(jié)隨X的變化呈現(xiàn)出一定的趨勢(shì)。E(Y)=μ(x)（這句話說(shuō)得真是妙。以前因果關(guān)系這樣的邏輯深深地刻在腦海里，總覺(jué)得所有事情都是由A=>B。這種即隨機(jī)，又趨勢(shì)的這種關(guān)系從未曾理解過(guò)）
　
　相關(guān)性關(guān)系的例子生活中是有很多的。身高和體重沒(méi)有確定的函數(shù)關(guān)系，但從統(tǒng)計(jì)意義上講身高高的，體重大。

概念與模型

　一元線性回歸研究一個(gè)變量對(duì)另外一個(gè)變量的影響。
　解釋變量x
　響應(yīng)變量Y
　Y的變化除了X的影響外，還有其他隨機(jī)因素的影響，記為ε
　對(duì)從總體(x,Y)中抽取的一個(gè)樣本：(x1,Y1),(x2,Y2),....(xn,Yn)。字母大小寫區(qū)別了是解釋變量，還是響應(yīng)變量。
　Yi=β0+β1xi+εi,i=1,2..n
　εi~N(0,σ2)，且相互獨(dú)立
　β0,β1是回歸系數(shù)，未知；σ2未知
　y關(guān)于x的一元線性回歸：y^=β^0+β^1xi
　樣本值(x1,y1),(x2,y2)...(xn,yn)

回歸系數(shù)估計(jì)

　β0,β1的估計(jì)采用最小二乘法。
　Q(β0,β1)=∑ni=1(yi?(β0+βixi))2，能夠使得Q(β0,β1)最小的β0,β1的值就是估計(jì)的β^0,β^1。
　求導(dǎo)，導(dǎo)數(shù)為0，得到β^0,β^1。整理方程組得到：
　β^0=yˉ?xˉβ^1
　β^1=sxy/sxx
　其中xˉ=1n∑ni=1xi，yˉ=1n∑ni=1yi，sxx=∑ni=1(xi?xˉ)2，sxy=∑ni=1(xi?xˉ)(yi?yˉ)，syy=∑ni=1(yi?yˉ)2
　說(shuō)明：最小二乘法事先并不需要知道Y與x之間一定有線性關(guān)系。可以通過(guò)專業(yè)知識(shí)，或者根據(jù)實(shí)際觀測(cè)的數(shù)據(jù)用假設(shè)檢驗(yàn)方法來(lái)判斷。

σ2估計(jì)

　ei=yi?y^i，ei是εi的估計(jì)。
　σ2=D(εi)=E(εi)2
　用殘差平方和∑ni=1(yi?y^i)2估計(jì)σ2
　可以證明E(∑ni=1(yi?y^i)2)=(n?2)σ2，因此S2=1n?2∑ni=1(yi?y^i)2是σ2的無(wú)偏估計(jì)。

線性假設(shè)的顯著性檢驗(yàn)

H0假設(shè)

　H0:β1=0
　H1:β1≠0
　如果接受H0，x與Y沒(méi)有線性關(guān)系，回歸方程無(wú)意義；如果拒絕H0，說(shuō)明回歸效果顯著。
　x與Y沒(méi)有回歸效果不顯著的原因可能有：1 影響Y的因素除了x還有別的因素且不能忽略；2E(Y)與x的關(guān)系不是線性關(guān)系，而是其他關(guān)系；3Y與x沒(méi)關(guān)系。　

回歸方程檢驗(yàn)

回歸系數(shù)檢驗(yàn)

回歸系數(shù)的置信區(qū)間

　(β^1±tα/2(n?2)ssxx???√)

一元線性回歸方程的應(yīng)用–預(yù)測(cè)

　y^0=β^0+β^1x0 在x=x0點(diǎn)預(yù)測(cè)y0。
　

總結(jié)

以上是生活随笔為你收集整理的第八章方差分析以及线性回归(2)的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。