共軛梯度法

最速下降法以及牛頓法都具有其自身的局限性。本文將要介紹的共軛梯度法是介于最速下降法與牛頓法之間的一種無約束優(yōu)化算法，它具有超線性的收斂速度，而且算法結(jié)構(gòu)簡單，容易編程實現(xiàn)。此外，根最速下降法相類似，共軛梯度法只用到了目標函數(shù)及其梯度值，避免了二階導數(shù)的計算，從而降低了計算量和存儲量，因此它是求解無約束優(yōu)化問題的一種比較有效而使用的算法。

一、共軛方向發(fā)
共軛方向法的基本思想是在求解$n$維正定二次目標函數(shù)極小點時產(chǎn)生一組共軛方向作為搜索方向，在線搜索條件下算法之多迭代$n$步即能求得極小點。京故宮適當修正后共軛方向法可以推廣到求解一般非二次目標函數(shù)情形。下面先介紹共軛方向的概念。
定義1：設(shè)$G$是$n$階對稱正定矩陣，若$n$維向量組$d_1,d_2,?,d_m(m\le n)滿足$$d_i^{T}G{d}_j=0,i=j$，則乘$d_1,d_2,?,d_m$是$G$共軛的。
顯然，向量組的共軛是正交的推廣，即當$G=I$（單位陣）時，上述定義變成了向量組正交的定義。此外，不難證明，對稱正定矩陣$G$的共軛向量組必然是線性無關(guān)的。
下面我們考慮求解正定二次目標函數(shù)極小點的共軛方向法。設(shè)
$$\min f(x)=\frac{1}{2}{x}^{T}Gx+b^{T}x+c\text{\hspace{1em}(1)}$$
其中$G$是$n$階對稱正定陣，$b$為$n$為常向量，$c$為常數(shù)。我們有下面的算法：

---

算法1：共軛方向法
0. 給定迭代精度$0\le ?\le 1$和初始點$x_0$。計算$g_0=?f(x_0)$。選取初始方向$d_0$使得$d_0^T{g}_0<0$。令$k=0$.

若$||g_k||\le ?$，停算，輸出$x^{?}\approx x_k$.

利用線搜索方法確定步長${\alpha }_k$

令$x_{k+1}=x_k+{\alpha }_k{d}_k$，并計算$g_{k+1}=?f(x_{k+1})$.

選取$d_{k+1}$滿足下降性和共軛性條件：$d_{k+1}^T{g}_{k+1}<0,d_{k+1}^{T}G{d}_i=0,,i=0,1,?,k$.

令$k=k+1$，轉(zhuǎn)步1

---

該算法的收斂性證明略過，如果感興趣，可以去查找相應(yīng)的數(shù)值優(yōu)化專著。這里直接給出結(jié)論，在精確線搜索下，算法1求解正定二次目標函數(shù)極小化問題，之多在$n$步內(nèi)即可求得其唯一極小點。這種能在有限步內(nèi)求得二次函數(shù)極小點的性質(zhì)通常稱為二次終止性。

二、共軛梯度法
共軛梯度法是在每一步迭代利用當前點處的最速下降方向來生成關(guān)于凸二次函數(shù)$f$的海塞陣$G$的共軛方向，并建立求$f$在${\mathbb{R}}^n$上的極小點的方法。這一方法最早是由Hesteness和Stiefel于1952年為求解正定線性方程組而提出來的，后經(jīng)Fletcher等人研究并應(yīng)用于無約束優(yōu)化問題取得了豐富的成果，共軛梯度法也因此成為當前求解無約束優(yōu)化問題的重要算法類。
設(shè)函數(shù)如（1）式所定義，則$f$的梯度和海塞矩陣為
$$g(x)=?f(x)=Gx+b,G(x)={?}^{2}f(x)=G\text{\hspace{1em}(2)}$$
下面我們討論算法（1）中共軛方向的構(gòu)造。我們?nèi)〕跏挤较?span id="ozvdkddzhkzd" class="katex--inline">$d_0$為初始點$x_0$處的負梯度方向，即
$$d_0=??f(x_0)=?g_0\text{\hspace{1em}(3)}$$
從$x_0$出發(fā)沿$d_0$方向進行線搜索得到步長${\alpha }_0$，令
$$x_1=x_0+{\alpha }_0{d}_0$$
其中${\alpha }_0$滿足條件
$$?f(x_1{)}^T{d}_0=g_1^T{d}_0\text{\hspace{1em}(4)}$$
在$x_1$處，用$f$在$x_1$的負梯度方向$?g_1$與$d_0$的組合來生成$d_1$，即
$$d_1=?g_1+{\beta }_0{d}_0\text{\hspace{1em}(5)}$$
然后選取系數(shù)${\beta }_0$使$d_1$與$d_0$關(guān)于G共軛，即令
$$d_1^{T}G{d}_0=0\text{\hspace{1em}(6)}$$
來確定${\beta }_0$，將（6）代入（5）得
$${\beta }_0=\frac{g_1^{T}G{d}_0}{d_0^{T}G{d}_0}\text{\hspace{1em}(7)}$$
由（2）得
$$g_1?g_0=G(x_1?x_0)={\alpha }_{0}G{d}_0\text{\hspace{1em}(8)}$$
故由（3）~（5）可得
$$g_2^T{g}_0=0,g_2^T{g}_1=0,d_0^T{g}_0=?g_0^T{g}_0,d_1^T{g}_1=?g_1^T{g}_1$$
現(xiàn)假設(shè)已得到互相共軛得搜索方向$d_1,d_2,?,d_{k?1}$，精確線搜索得到得步長為${\alpha }_0,{\alpha }_1,?,{\alpha }_{k?1}$，且滿足
$$?\begin{array}{rc}{d}_{k?1}^{T}G{d}_i=0,& i=0,1,?,k?2,\\ d_i^T{g}_i=?g_i^T{g}_i,& i=0,1,?,k?1,\\ g_k^T{g}_i=0,g_k^T{d}_i=0,& i=0,1,?,k?1.\end{array}\text{\hspace{1em}(9)}$$
現(xiàn)令
$$d_k=?g_k+{\beta }_{k?1}{d}_{k?1}+\sum _{i=0}^{k?1}{\beta }_k^{(i)}{d}_i\text{\hspace{1em}(10)}$$
其中${\beta }_{k?1},{\beta }_k^{(i)}(i=0,1,?,k?2)$得選擇要滿足
$$d_k^{T}G{d}_i=0,i=0,1,?,k?1\text{\hspace{1em}(11)}$$
用$d_i^{T}G(i=0,1,?,k?1)$左乘（10）得
$${\beta }_{k?1}=\frac{g_k^{T}G{d}_{k?1}}{d_{k?1}^{T}G{d}_{k?1}},{\beta }_k^{(1)}=\frac{g_k^{T}G{d}_i}{d_i^{T}G{d}_i},i=0,1,?,k?2\text{\hspace{1em}(12)}$$
類似于（8），我們有
$$g_{i+1}?g_i=G(x_{i+1}?x_i)={\alpha }_{i}G{d}_i,i=0,1,?,k?1$$
及
$${\alpha }_{i}G{d}_i=g_{i+1}?g_i,i=0,1,?,k?1\text{\hspace{1em}(13)}$$
于是由歸納法假設(shè)（9）可得
$${\beta }_k^{(i)}=\frac{g_k^{T}G{d}_i}{d_i^{T}G{d}_i}=\frac{g_k^T(g_{i+1}?g_i)}{d_i^T(g_{i+1}?g_i)}=0,i=0,1,?,k?2.$$
于是，第k步得搜索方向為
$$d_k=?g_k+{\beta }_{k?1}{d}_{k?1},\text{\hspace{1em}(14)}$$
其中${\beta }_{k?1}$由（12）確定，即
$${\beta }_{k?1}=\frac{g_k^{T}G{d}_{k?1}}{d_{k?1}^{T}G{d}_{k?1}}\text{\hspace{1em}(15)}$$
同時有$d_k^T{g}_k=?g_k^T{g}_k$。這樣確定了一組由負梯度方向形成得共軛方向，而把沿著這組方向進行迭代得方向稱為共軛梯度法。其證明過程這里略過。
下面我們給出共軛梯度法求解無約束優(yōu)化問題（1）極小點得算法步驟

---

算法2：共軛梯度法
0. 給定迭代精度$0\le ?<1$和初始點$x_0$。計算$g_0=?f(x_0)$。令$k=0$

若$||g_k||\le ?$，停算，輸出$x^{)}\approx x_k$

計算搜索方向$d_k$:
KaTeX parse error: Unknown column alignment: s at position 29: …\begin{array}{ls?c} -g_k,&k=0,\\…
其中當$k\ge 1$時，${\beta }_{k?1}$由（15）確定

利用線搜索方法確定搜索步長${\alpha }_k$

令$x_{k+1}=x_k+{\alpha }_k{d}_k$，并計算$g_{k+1}=?f(x_{k+1})$

令$k=k+1$，轉(zhuǎn)步1

---

計算公式（15）是由Fletcher和Reeves給出得，故稱之為FR公式，算法2也稱之為FR共軛梯度法。除FR工詩外，尚有下列著名公式：
$$\begin{array}{rl}{\beta }_k& =\frac{g_{k+1}^T{g}_{k+1}}{?d_k^T{g}_k},(Dixon公式)\\ {\beta }_k& =\frac{g_{k+1}^T{g}_{k+1}}{d_k^T(g_{k+1}?g_k)},(Dai?Yuan公式)\\ {\beta }_k& =\frac{g_{k+1}^T(g_{k+1}?g_k)}{d_k^T(g_{k+1}?g_k)},(Crowder?Wolfe公式)\\ {\beta }_k& =\frac{g_{k+1}^T(g_{k+1}?g_k)}{g_k^T{g}_k},(Polak,Ribiere,Ployak,PRP公式)\end{array}$$

三、共軛梯度法得matlab實現(xiàn)
在共軛梯度法得實際使用中，通常在迭代n步或n+1步之后，重新選取負梯度方向作為搜索方向，我們稱之為再開始共軛梯度法。這是因為對于一般非二次函數(shù)而言，n步迭代后共軛梯度法產(chǎn)生得搜索方向往往不再具有共軛性。而對于大規(guī)模問題，常常每$m(m<n或m?n)$步就進行再開始。此外，當搜索方向不是下降方向時，也插入負梯度方向所作為搜索方向。
這里給出基于Armijo-rule非精確線搜索得再開始FR共軛梯度法得matlab程序。

function [fmin, xmin] = frcg(fun, gfun, x0, epsilon)maxk = 5000; rho = 0.6; sigma = 0.4; k = 0; n = length(x0);while k < maxkg = feval(gfun, x0);itern = k - (n+1) * floor(k / (n + 1));itern = itern + 1;if (itern == 1)d = -g;elsebeta = (g' * g) / (g0' * g0);d = -g + beta * d0; gd = g' * d;if (gd >= 0.0)d = -g;endendif (norm(g) < epsilon), break; endm = 0; mk = 0;while (m < 20) % armijo-rule if (feval(fun, x0 + rho^m*d) < feval(fun, x0) + sigma * rho^m*g'*d)mk = m; break;endm = m + 1;endx0 = x0 + rho^mk*d;val = feval(fun, x0);fprintf('kIter = %d, fmin = %f\n', k, val);g0 = g; d0 = d;k = k+1;endx = x0;val = feval(fun, x);xmin = x;fmin = val;end

利用程序求解無約束優(yōu)化問題
$$\underset{x\in {\mathbb{R}}^2}{\min }f(x)=100(x_1^2?x_2{)}^2+(x_1?1{)}^2$$
該問題由精確解$x^{?}=(1,1{)}^T,f(x^{?})=0$

求解main函數(shù)

x0 = [0, 0]'; epsilon = 1e-4;[fmin, xmin] = frcg('func', 'gfunc', x0, epsilon); fprintf('frcg: fmin = %f, xmin = (%f, %f)\n', fmin, xmin(1), xmin(2));[x, f] = fminsearch('func', x0); fprintf('build-in search: fmin = %f, xmin = (%f, %f)\n', f, x(1), x(2));

函數(shù)定義以及梯度求解

function f = func(x)f = 100 * (x(1)^2 - x(2))^2 + (x(1) - 1)^2;end function grad = gfunc(x)grad = [400 * x(1) * (x(1)^2-x(2))+2*(x(1)-1); ...-200 * (x(1)^2-x(2))];end

求解結(jié)果為：

frcg: fmin = 0.000000, xmin = (0.999921, 0.999841) build-in search: fmin = 0.000000, xmin = (1.000004, 1.000011)

總結(jié)

以上是生活随笔為你收集整理的共轭梯度法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。