目錄

• 最小二乘法概念
• 最大似然法概念
• 兩者的聯系
• 總結

一、最小二乘法概念

最小二乘法（又稱最小平方法）是一種數學優化技術。它通過最小化誤差的平方和尋找數據的最佳函數匹配。利用最小二乘法可以簡便地求得未知的數據，并使得這些求得的數據與實際數據之間誤差的平方和為最小。最小二乘法還可用于曲線擬合。

如果實驗數據呈下圖藍點分布，我們想要擬合下圖中的變量分布函數，首先選擇一個直線模型y=ax+b，想要假設函數與實驗數據盡可能的小，那就需要誤差的和盡量保持最小,也就是下面這個式子盡量最小

那為了消除正負號,我們將絕對值改成平方,

那我們只需要對這個誤差的平方和函數求導,并且令倒數等于零時,就可以使誤差最小了。

那如果是多元函數呢？

一個多元函數如果在某一點可微并且取到極值，那么它在此點每一個方向上的導數都必須是0。比如

我們需要滿足下面這兩個條件

這是一個關于

的二元一次線性方程組，可以證明，你能解出唯一的一組并且它恰好使函數達到極小。

以上就是最小二乘法。

二、最大似然法概念

最大似然法估計認為，我們多次觀察到的結果就是最有可能發生的結果，也就是讓我們的觀察樣本概率最大的參數就是整體分布的參數。

我認為最大似然估計類似與人們的思維慣性。

三、兩者的聯系

下圖是最大似然法的損失函數，我們可以看到最大似然法的損失函數和最小二乘法的損失函數是相等的。

在最大似然法中，通過選擇參數，使已知數據在某種意義下最有可能出現，而某種意義通常指似然函數最大，而似然函數又往往指數據的概率分布函數。與最小二乘法不同的是，最大似然法需要已知這個概率分布函數，這在實踐中是很困難的。一般假設其滿足正態分布函數的特性，在這種情況下，最大似然估計和最小二乘估計相同。

四、總結

最大似然法，就是利用已知的樣本結果，推最有可能導致這樣結果的參數值。

最小二乘法，就是選擇與所有點的誤差之和最小的。

感謝觀看！

創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的七参数 布尔萨 最小二乘法_最小二乘法和最大似然法的联系的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。