????擬牛頓法分為五部分來講，本文這部分作為引言，第二部分講Hessian矩陣逆矩陣的近似，第三部分秩1修正公式，第四部分為DFP算法，最后BFGS算法。
????牛頓法是一種具有較高實用性的優化問題的求解方法。牛頓法如果收斂，收斂階數至少是2。但是，當目標函數為一般性的非線性函數時，牛頓法就不能保證從任意起始點x(0)收斂到函數的極小點。也就是說，如果初始點x(0)不足夠接近極小點，那么牛頓法可能不具備下降性。
????牛頓法的基本思路是在每次迭代中，利用二次型函數的局部近似目標函數f，并求解近似函數的極小點作為下一個迭代點，迭代公式為：
x(k+1)=x(k)?F(x(k))?1g(k)
對上式進行適當修正，可以保證牛頓法具有下降性：

x(k+1)=x(k)?αkF(x(k))?1g(k)
其中， αk為步長，合理確定步長，使得：
f(x(k+1))<f(x(k))
????牛頓法的另外一個缺陷是必須計算Hessian矩陣 F(x(k))和求解方程 F(x(k))d(k)=?g(k),即 d(k)=?F(x(k))?1g(k),為了避免求解 F(x(k))(?1)這種矩陣求逆運算，可以通過設計 F(x(k))(?1)的近似矩陣來代替，這就是擬牛頓法的基本思路。
命題 函數f是一階連續可微f∈C1,x(k)∈Rn,g(k)=?f(x(k))≠0,Hk是n×n對稱正定實矩陣， 如果令x(k+1)=x(k)?αkHkg(k),其中，αk=argminα≥0f(x(k)?αkHkg(k)),那么有αk>0,f(x(k+1))<f(x(k))。
????在擬牛頓法中，構造Hessian矩陣逆矩陣的近似矩陣時，只需要用到目標函數值和梯度。因此，只要確定了合適的近似矩陣 Hk的構造方法，那么迭代過程中不需要任何涉及Hessian矩陣以及現行方程求解的計算工作。

總結

以上是生活随笔為你收集整理的最优化学习笔记（十五）——拟牛顿法(1)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。