牛顿法中为何出现hessian矩阵
生活随笔
收集整理的這篇文章主要介紹了
牛顿法中为何出现hessian矩阵
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
牛頓法包含兩種用途：
1.函數為０時的解
2.函數極值時的解
對于1有：
f′(x0)=f(x0)?0x?x0f'(x_0)=\frac{f(x_0)-0}{x-x_0}f′(x0?)=x?x0?f(x0?)?0?
對于2有：
f′′(xn)=0?f′(xn)xn+1?xnf''(x_n)=\frac{0-f'(x_n)}{x_{n+1}-x_n}f′′(xn?)=xn+1??xn?0?f′(xn?)?
?xn+1=xn?f′(xn)f′′(xn)?x_{n+1}=x_n-\frac{f'(x_n)}{f''(x_n)}?xn+1?=xn??f′′(xn?)f′(xn?)?
?xn+1=xn?αf′(xn)f′′(xn)?x_{n+1}=x_n-\alpha\frac{f'(x_n)}{f''(x_n)}?xn+1?=xn??αf′′(xn?)f′(xn?)?
這里的二次求導項是hessian矩陣出現的原因；
α\alphaα:學習率；
令f′(xn)f'(x_n)f′(xn?)=g,上式變為：
?xn+1=xn?αH(xn)?1g(xn)?x_{n+1}=x_n-\alpha H(x_n)^{-1}g(x_n)?xn+1?=xn??αH(xn?)?1g(xn?)
Reference:
[1]牛頓法
總結
以上是生活随笔為你收集整理的牛顿法中为何出现hessian矩阵的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： fatal error: Python.
- 下一篇： Rosenbrock函数到底什么用