一、引言

????前邊的博文我們討論過一些迭代算法，包括梯度方法、牛頓法、共軛梯度法和擬牛頓法，能夠從初始點(diǎn)出發(fā)，產(chǎn)生一個(gè)迭代序列，但是往往這些迭代序列只能收斂到局部極小點(diǎn)，而且這些迭代方法需要計(jì)算目標(biāo)函數(shù)的一階導(dǎo)數(shù)(牛頓法還需計(jì)算二階導(dǎo)數(shù))。從本節(jié)開始，討論一些全局搜索算法，這些方法只需要計(jì)算目標(biāo)函數(shù)值，而不需要對(duì)目標(biāo)函數(shù)求導(dǎo)。

二、Nelder-Mead 單純形法(一)

????Nelder-Mead 單純形法引入了單純形的概念，不需要計(jì)算目標(biāo)函數(shù)的梯度。所謂單純形，指的是由n維空間中的n+1個(gè)點(diǎn)p0,p1,…,pn構(gòu)成的幾何形狀，且滿足：

det[p01p11……pn1]≠0
這一條件的含義為 R中的兩個(gè)點(diǎn)不重合， R2中的三個(gè)點(diǎn)不共線， R3中的四個(gè)點(diǎn)不共面， 以此類推。這說明，單純形包圍的 n維空間具有有限的體積。
    針對(duì)函數(shù)f(x), x∈Rn的最小化問題， 首先選擇 n+1個(gè)點(diǎn)， 使其構(gòu)成一個(gè)初始的單純形。構(gòu)造單純形的一種方式為：選定初始點(diǎn) x(0)=p0 ,按照下式產(chǎn)生其他點(diǎn)：
pi=p0+λiei,i=1,2,…,n
其中， ei,i=1,2,…,n 表示一組單位向量， 是空間 Rn的標(biāo)準(zhǔn)基，系數(shù) λi為正數(shù)， 可以按照優(yōu)化問題的規(guī)模確定其大小。 按照這種方式產(chǎn)生的 n+1個(gè)點(diǎn)，正好能構(gòu)成一個(gè)單純形。初始單純形確定之后，接下來就一步步對(duì)其進(jìn)行修改，使得產(chǎn)生的單純形能夠朝著函數(shù)的極小點(diǎn)進(jìn)行收斂。在每次迭代中，都針對(duì)單純形的每個(gè)點(diǎn)計(jì)算目標(biāo)函數(shù)值。對(duì)于函數(shù) f<script type="math/tex" id="MathJax-Element-1764">f</script>最小化的優(yōu)化問題而言，目標(biāo)函數(shù)最大的點(diǎn)將被另外的點(diǎn)代替，持續(xù)開展這一迭代過程，直到單純形收斂到目標(biāo)函數(shù)極小點(diǎn)。
????下節(jié)將給出單純形的更新規(guī)則。

總結(jié)

以上是生活随笔為你收集整理的最优化学习笔记（二十）——全局搜索算法的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。