最近博主復習了一下無約束問題最優化算法中的共軛梯度法。無約束問題最優化方法包括最速下降法、牛頓法、共軛梯度法、擬牛頓法等等。借用書中的一句話：

無約束優化問題的求解通過一系列一維搜索來實現。因此怎樣選擇搜索方向是解無約束問題的核心，搜索方向的不同選擇，形成不同的最優化方法

 

既然我們說到搜索方向的不同選擇會形成不同的最優化算法，那么今天復習的共軛梯度法是基于共軛方向的一種算法。那么問題來了，什么是共軛方向?

其實說白了兩個方向共軛和兩個方向正交從某種角度來說意思差不多，只不過正交在觀感上更容易被大家理解，而共軛也是兩個方向之間一種特殊的關系，只不過是通過正定矩陣將這兩個方向聯系起來。

 

在介紹完共軛方向之后，接下來介紹共軛梯度法（簡稱FR法），書中說道：

共軛梯度法的基本思想是把共軛性與最速下降方法相結合，利用已知點的梯度構造一組共軛方向，并沿這組方向進行搜索，求出目標函數的極小點

 

接下來不太想給出完整的證明，如果各位小伙伴想看完整的證明可以看

總結

以上是生活随笔為你收集整理的运筹学（最优化理论）学习笔记 | 共轭梯度法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。