非精確一維線搜索（Armijo-Goldstein Rule 和 Wolfe-Powell Rule）

• Armijo-Goldstein Rule
• • 算法步驟
• Wolfe-Powell Rule
• • 算法步驟

Armijo-Goldstein Rule

核心思想：

目標(biāo)函數(shù)值有足夠下降；

一維線搜索的步長不應(yīng)該太小

算法步驟

• $Step1$：初始點(diǎn) $\mu$ ，令${\mu }_{min}$ = 0，${\mu }_{max}$ = +$\infty$，$\rho \in (0,\frac{1}{2})$，計(jì)算$f(0)$，$f^{\prime }(0)$;

• $Step2$：如果$f(\mu )>f(0)+\rho f^{\prime }(0)\mu$, 令${\mu }_{max}=\mu$，轉(zhuǎn)$Step3$ ,
  如果$f(\mu )\ge f(0)+(1?\rho )f^{\prime }(0)\mu$ , 停止迭代，輸出$\mu$ ,
  否則，令${\mu }_{min}=\mu$, 轉(zhuǎn)$Step3$；

• $Step3$：如果${\mu }_{max}<+\infty ,令\mu ={\mu }_{min}+{\mu }_{max}$,轉(zhuǎn)到$Step2$，
  否則，令$\mu =2\mu$, 轉(zhuǎn)到$Step2$.

Wolfe-Powell Rule

核心思想：

• 利用梯度避免將極小值排除在可接受區(qū)間外。

算法步驟

• $Step1$：初始點(diǎn)$\mu ,令{\mu }_{min}=0,{\mu }_{max}=+\infty ,令f_{min}=f(0),f_{min}^{\prime }=f^{\prime }(0)$,
  $\rho (=0.1),\sigma (=0.4)$;

• $Step2$：如果$f(\mu )>f(0)+\rho f^{\prime }(0)\mu ,令{\mu }_{max}=\mu ,轉(zhuǎn)到Step3$,
  如果$f^{\prime }(\mu )\ge \sigma f^{\prime }(0),停止迭代，輸出\mu$,
  否則，令${\mu }_{min}=\mu ，轉(zhuǎn)到Step4$；

• $Step3$：$\hat{\mu }={\mu }_{min}+\frac{1}{2}\frac{\mu ?{\mu }_{min}}{1+\frac{f_{min}?f(\mu )}{(\mu ?{\mu }_{min})f_{min}^{\prime }}},\mu =\hat{\mu }，$
  計(jì)算$f(\mu ),f^{\prime }(\mu ),轉(zhuǎn)到Step2$;

• $Step4$：$\hat{\mu }=\mu +\frac{\mu ?{\mu }_{min}}{f_{min}^{\prime }?f^{\prime }(\mu )}{f}^{\prime }(\mu ),$
  計(jì)算$f_{min}=f(\mu ),f_{min}^{\prime }=f^{\prime }(\mu ),令\mu =\hat{\mu }$;
  計(jì)算$f(\mu ),f^{\prime }(\mu ),轉(zhuǎn)到Step2$;

代碼實(shí)現(xiàn)后續(xù)補(bǔ)充

總結(jié)

以上是生活随笔為你收集整理的非精确一维线搜索（Armijo-Goldstein Rule 和 Wolfe-Powell Rule）的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。