目錄

一、回歸問(wèn)題概述

1、舉例

2、通俗解釋

3、數(shù)學(xué)應(yīng)用

二、誤差項(xiàng)定義

誤差

三、獨(dú)立同分布的意義

四、似然函數(shù)的作用

1、似然函數(shù)

2、對(duì)數(shù)似然

3、展開(kāi)化簡(jiǎn)

4、目標(biāo):讓似然函數(shù)(對(duì)數(shù)變換后也一樣)越大越好

五、參數(shù)求解

1、目標(biāo)函數(shù)

?2、求偏導(dǎo)

3、偏導(dǎo)等于0

4、評(píng)估方法

---

一、回歸問(wèn)題概述

在機(jī)器學(xué)習(xí)有監(jiān)督學(xué)習(xí)中，分為兩種問(wèn)題：分類和回歸。

1、舉例

????????數(shù)據(jù):工資和年齡(2個(gè)特征)

????????目標(biāo):預(yù)測(cè)銀行會(huì)貸款給我多少錢(標(biāo)簽）

?????????考慮:工資和年齡都會(huì)都會(huì)影響最終銀行貸款的 結(jié)果那么它們各自有多大的影響呢?(參數(shù)）

2、通俗解釋

• X1,X2就是我們的兩個(gè)特征(年齡，工資) Y是銀行最終會(huì)借給我們多少錢
• 找到最合適的一條線(想象一個(gè)高維)來(lái)盡可能多的擬合我們的數(shù)據(jù)點(diǎn)

3、數(shù)學(xué)應(yīng)用

• 假設(shè)是年齡的參數(shù)， 是工資的參數(shù)
• 擬合的平面，其中（：權(quán)重項(xiàng)；：偏置項(xiàng) 微調(diào)）
• 整合：

二、誤差項(xiàng)定義

誤差

真實(shí)值和預(yù)測(cè)值之間肯定是要存在差異的 (用來(lái)表示該誤差)

對(duì)于每個(gè)樣本：

(真實(shí)值=預(yù)測(cè)值+誤差項(xiàng))損失函數(shù)越接近零，越好。

三、獨(dú)立同分布的意義

• 誤差是獨(dú)立并且具有相同的分布， 并且服從均值為0方差為的高斯分布；
• 獨(dú)立:張三和李四一起來(lái)貸款，他倆沒(méi)關(guān)系；
• 同分布:他倆都來(lái)得是我們假定的這家銀行；
• 高斯分布:銀行可能會(huì)多給，也可能會(huì)少給，但是絕大多數(shù)情況下 這個(gè)浮動(dòng)不會(huì)太大，極小情況下浮動(dòng)會(huì)比較大，符合正常情況；

四、似然函數(shù)的作用

• 預(yù)測(cè)值與誤差:? ? ? ? ? (1)
• 由于誤差服從高斯分布：?? ? ? ?(2)
• 將(1)式帶入(2)式：

1、似然函數(shù)

?解釋了什么樣的參數(shù)跟我們的數(shù)據(jù)組合后恰好是真實(shí)值 （聯(lián)合邊緣密度等于邊緣密度乘積。）??

2、對(duì)數(shù)似然

? 解釋了乘法難解，加法就容易了，對(duì)數(shù)里面乘法可以轉(zhuǎn)換成加法

3、展開(kāi)化簡(jiǎn)

求：成為y的可能性越大越好。

4、目標(biāo):讓似然函數(shù)(對(duì)數(shù)變換后也一樣)越大越好

五、參數(shù)求解

1、目標(biāo)函數(shù)

2、求偏導(dǎo)

得到極值點(diǎn)

3、偏導(dǎo)等于0

4、評(píng)估方法

的取值越接近于1我們認(rèn)為模型擬合的越好。

總結(jié)

以上是生活随笔為你收集整理的唐宇迪学习笔记6：线性回归算法原理推导的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。