對于局部方法，當接近最優點時，才保證收斂。單位步長。
全局方法采用線搜索或信賴域方法

1 局部方法

1.1 牛頓方法

如上圖，求解非線性方程組的根類似于求解無約束問題中的最優值，最優值在穩定點取到。




非精確牛頓法任然是local 的算法，沒有使用精確的線搜索

不精確牛頓法余量不超過一個上界

1.1.2 Broyden’s Method

利用$B_k$近似雅可比，不要求其對稱
推導如下圖，

2. 全局算法

出現在一個區間內震蕩的原因是前面的牛頓方法沒有采用精確的線搜索，得到P直接更新迭代點，無法保證向好的方向進行

2.1 價值函數

將原始問題轉化為價值函數的優化。


如果雅可比非奇異，則r(x*)=0.對于價值函數的穩定點，如果雅可比非奇異，則穩定點對應r(x)=0的解，但如果奇異的化則有可能穩定點不對應r的根。
所以從價值函數角度（非線性最小二乘）求解會出現這樣的問題，但是還是很有益的在很多方面


可以利用最小二乘中的SVD等避免求$J^{T}J$

2.1信賴域求解

3. Continuation/Homotopy Methods

總結

以上是生活随笔為你收集整理的Numerical Optimization之Nonlinear Equations的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。