1、求解方程。

　　并不是所有的方程都有求根公式，或者求根公式很復雜，導致求解困難。利用牛頓法，可以迭代求解。

　　原理是利用泰勒公式，在x0處展開，且展開到一階，即f(x) = f(x0)+(x－x0)f'(x0)

　　求解方程f(x)=0，即f(x0)+(x-x0)*f'(x0)=0，求解x =?x1=x0－f(x0)/f'(x0)，因為這是利用泰勒公式的一階展開，f(x) = f(x0)+(x－x0)f'(x0)處并不是完全相等，而是近似相等，這里求得的x1并不能讓f（x）=0，只能說f(x1)的值比f(x0)更接近f（x）=0，于是乎，迭代求解的想法就很自然了，可以進而推出x(n+1)=x(n)－f(x(n))/f'(x(n))，通過迭代，這個式子必然在f（x*）=0的時候收斂。整個過程如下圖：

?

　　2、牛頓法用于最優化

　　在最優化的問題中，線性最優化至少可以使用單純行法求解，但對于非線性優化問題，牛頓法提供了一種求解的辦法。假設任務是優化一個目標函數f，求函 數f的極大極小問題，可以轉化為求解函數f的導數f'=0的問題，這樣求可以把優化問題看成方程求解問題（f'=0）。剩下的問題就和第一部分提到的牛頓 法求解很相似了。

　　這次為了求解f'=0的根，把f（x）的泰勒展開，展開到2階形式：

　　這個式子是成立的，當且僅當?Δx?無線趨近于0。此時上式等價與：

　　求解：

　　得出迭代公式：

　　一般認為牛頓法可以利用到曲線本身的信息，比梯度下降法更容易收斂（迭代更少次數），如下圖是一個最小化一個目標方程的例子，紅色曲線是利用牛頓法迭代求解，綠色曲線是利用梯度下降法求解。

　　在上面討論的是2維情況，高維情況的牛頓迭代公式是：

　　其中H是hessian矩陣，定義為：

?

　　高維情況依然可以用牛頓迭代求解，但是問題是Hessian矩陣引入的復雜性，使得牛頓迭代求解的難度大大增加，但是已經有了解決這個問題的辦法就 是Quasi-Newton methond，不再直接計算hessian矩陣，而是每一步的時候使用梯度向量更新hessian矩陣的近似。Quasi-Newton method的詳細情況我還沒完全理解，且聽下回分解吧。。。

　　http://blog.sina.com.cn/s/blog_5364f9f20101dkyr.html

總結

以上是生活随笔為你收集整理的Hession矩阵与牛顿迭代法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。