坐標輪換法

　　對于n維最優化問題

　　有初始點x₁? ?沿著n個方向(坐標軸的方向)不斷做一維搜索? 得到x_n+1

　　對于x₁沿著 x_n+1?- x₁的方向做一維搜索得到 x_n+2

　　x_i+1 = x_i +?α*d_i

　　當x_in+1滿足某一終止準則時，停止算法，否則繼續迭代下去

?

正交程度和共軛程度

正交程度

　　對于兩個方向向量u₁,u₂

　　我們以這兩個方向向量單位向量的平行四邊形面積作為正交程度

　　對于二維向量?δ = (x₁ * y₂ - y₁*x₂)??δ = || u₁?× u₂||

　　對于n維向量其中的d需要是已經單位化的向量

　　δ = | det(d₁,d₂,d₃,,,,,d_n) |

　　det表示行列式的值

?

共軛程度

　　q = G^1/2?* d

　　q的正交程度即為d關于G的共軛程度

?

正交程度和共軛程度都是越接近與1越好

?

Powell直接方法

對于n維函數f(x)?

取初始點x₁和n個正交方向 d_i? 進行一維搜索

得到點列x_{i? ?}?x_i+1?= x_i?+?α*d_i

?

求出進行一維搜索時，函數值下降的最大的位置x_m

f(x_m) - f(x_m+1)最大

記這個搜索方向為U

?

求解一維搜索問題

u = x_n+1?- x₁

x_n+2?= x₁ +?α*μ? 記步長為alaph

若 ||?x_n+2?- x₁ || <?ε 終止算法

若最后一次搜索的步長?alaph <(? (f(x₁) - f(x_n+2)) / u )?^1/2

則用最后的搜索方向替換第m次的搜索方向

具體替換方式，用前移的方式去填充空格，然后將最后的方向放在末尾

?

單純形法

單純形法有幾個基本步驟

對于n維函數f(x)，單純形有n+1個節點

記函數值最大的節點為x_max

函數值最小的節點為x_min

反射:

　　對于已有的一個單純形

　　找出單純形的節點中函數值最大的那一個(x_max,? f(x_max))

　　剩下的節點求均值得到重心u

　　x_max?+ x_new = 2*u

　　x_new即為反射之后的點，將x_new代替x_max即可得到反射之后的單純形

　　

　　當然u也不是非要作為中點，x_new = u +?α*(u - x_max)

擴大：

　　得到反射點之后，若f(x_new)?< f(x_min)

　　則說明這個方向很有可能是下降方向，那就擴大看看

　　x_new2= u +?γ*(x_new - u) 一般來說γ = 2

　　其實就是將反射的方向擴大了一倍

　　若f(x_new2) < f(x_new)

　　那么用x_new2代替x_new就好

?

收縮:

　　考慮次大值f(x_2nd)

　　若f(x_new) < f(x_2nd)可以進行下一步

　　若f(x_new) >= f(x_2nd) 那么下一步反射時會出現循環(因為f(x_new)仍是最大值，再反射的話會變成x_max)

　　這個時候就要用到收縮

　　找到x_new和x_max的最小值X’

　　x_new3?= u +?? * (X‘_? - u)

　　若f(x_new3) < f(X')

　　然后用x_new3替換x_new

　　一般來說?? = 1//2

　　這就是一個取中點的操作嘛

　　否則進行縮邊

?

縮邊:

　　若f(x_new3) >= f(X')

　　那么就進行縮邊將每個點往x_max的方向移動

　　x_i = x_max?+??*(x_i - x_max)

?

當函數的離差平方和< e時終止算法

?

可以看到單純型法就是如下幾步

取初始點x₀ 步長alaph

獲取n個點 x_i = x₀ + e_i?*alaph

?

先反射

　　若反射點的值 < 最小值則進行擴大，取擴大點和反射點的最小值來替換最大值----->結束

?

　　若反射點是反射之后單純形的最大值則進行收縮，就是取最大值和反射點的最小值，然后將其他點的均值和最小值作為端點，求他們的中點

　　若這個中點不是替換之后單純形的最大值? ----->結束

　　否則不對最大值進行替換，反而將單純形向最大值進行縮邊? ?----->結束

?

自己的一點理解:

　　整個算法就是盡量讓單純形向值變小的方向移動

　　先取試探最大值->均值方向是不是縮小方向

　　然后看均值往兩端的方向是不是縮小方向

　　若都不是，那么也就是說最大值點是一定程度上的最優點

　　就將所有點往最大值點移動

?

　　可以想象成一個多維空間中的超史萊姆，不斷地往最優點移動哈哈哈哈哈

　　

?

轉載于:https://www.cnblogs.com/shensobaolibin/p/10201681.html

總結

以上是生活随笔為你收集整理的最优化-直接方法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。