---

1、模擬退火算法

模擬退火算法借鑒了統(tǒng)計(jì)物理學(xué)的思想，是一種簡(jiǎn)單、通用的啟發(fā)式優(yōu)化算法，并在理論上具有概率性全局優(yōu)化性能，因而在科研和工程中得到了廣泛的應(yīng)用。
退火是金屬?gòu)娜廴跔顟B(tài)緩慢冷卻、最終達(dá)到能量最低的平衡態(tài)的過程。模擬退火算法基于優(yōu)化問題求解過程與金屬退火過程的相似性，以優(yōu)化目標(biāo)為能量函數(shù)，以解空間為狀態(tài)空間，以隨機(jī)擾動(dòng)模擬粒子的熱運(yùn)動(dòng)來求解優(yōu)化問題（[1] KIRKPATRICK,1988）。
模擬退火算法結(jié)構(gòu)簡(jiǎn)單，由溫度更新函數(shù)、狀態(tài)產(chǎn)生函數(shù)、狀態(tài)接受函數(shù)和內(nèi)循環(huán)、外循環(huán)終止準(zhǔn)則構(gòu)成。

溫度更新函數(shù)是指退火溫度緩慢降低的實(shí)現(xiàn)方案，也稱冷卻進(jìn)度表；
狀態(tài)產(chǎn)生函數(shù)是指由當(dāng)前解隨機(jī)產(chǎn)生新的候選解的方法；
狀態(tài)接受函數(shù)是指接受候選解的機(jī)制，通常采用Metropolis準(zhǔn)則；
外循環(huán)是由冷卻進(jìn)度表控制的溫度循環(huán)；
內(nèi)循環(huán)是在每一溫度下循環(huán)迭代產(chǎn)生新解的次數(shù)，也稱Markov鏈長(zhǎng)度。

模擬退火算法的基本流程如下：

（1）初始化：初始溫度T，初始解狀態(tài)s，迭代次數(shù)L；
（2）對(duì)每個(gè)溫度狀態(tài)，重復(fù) L次循環(huán)產(chǎn)生和概率性接受新解：
（3）通過變換操作由當(dāng)前解s 產(chǎn)生新解s′；
（4）計(jì)算能量差 ?E，即新解的目標(biāo)函數(shù)與原有解的目標(biāo)函數(shù)的差；
（5）若?E <0則接受s′作為新的當(dāng)前解，否則以概率exp(-?E/T) 接受s′ 作為新的當(dāng)前解；
（6）在每個(gè)溫度狀態(tài)完成 L次內(nèi)循環(huán)后，降低溫度 T，直到達(dá)到終止溫度。

歡迎關(guān)注 Youcans 原創(chuàng)系列，每周更新數(shù)模筆記

Python數(shù)模筆記-PuLP庫(kù)
Python數(shù)模筆記-StatsModels統(tǒng)計(jì)回歸
Python數(shù)模筆記-Sklearn
Python數(shù)模筆記-NetworkX
Python數(shù)模筆記-模擬退火算法

2、多變量函數(shù)優(yōu)化問題

選取經(jīng)典的函數(shù)優(yōu)化問題和組合優(yōu)化問題作為測(cè)試案例。

問題 1：Schwefel 測(cè)試函數(shù)，是復(fù)雜的多峰函數(shù)，具有大量局部極值區(qū)域。
　　F(X)=418.9829×n-∑(i=1,n)〖xi* sin?(√(|xi|)) 〗

本文取 d=10, x=[-500,500]，函數(shù)在 X=(420.9687,…420.9687)處為全局最小值 f(X)=0.0。

使用模擬退火算法的基本方案：控制溫度按照 T(k) = a * T(k-1) 指數(shù)衰減，衰減系數(shù)取 a；如式（1）按照 Metropolis 準(zhǔn)則接受新解。對(duì)于問題 1（Schwefel函數(shù)），通過對(duì)當(dāng)前解的一個(gè)自變量施加正態(tài)分布的隨機(jī)擾動(dòng)產(chǎn)生新解。
= 關(guān)注 Youcans，分享原創(chuàng)系列 https://blog.csdn.net/youcans =

3、模擬退火算法 Python 程序

# 模擬退火算法 程序：多變量連續(xù)函數(shù)優(yōu)化 # Program: SimulatedAnnealing_v1.py # Purpose: Simulated annealing algorithm for function optimization # Copyright 2021 YouCans, XUPT # Crated：2021-04-30 # = 關(guān)注 Youcans，分享原創(chuàng)系列 https://blog.csdn.net/youcans = # -*- coding: utf-8 -*- import math # 導(dǎo)入模塊 import random # 導(dǎo)入模塊 import pandas as pd # 導(dǎo)入模塊 import numpy as np # 導(dǎo)入模塊 numpy，并簡(jiǎn)寫成 np import matplotlib.pyplot as plt # 導(dǎo)入模塊 matplotlib.pyplot，并簡(jiǎn)寫成 plt from datetime import datetime# 子程序：定義優(yōu)化問題的目標(biāo)函數(shù) def cal_Energy(X, nVar):# 測(cè)試函數(shù) 1： Schwefel 測(cè)試函數(shù)# -500 <= Xi <= 500# 全局極值：(420.9687,420.9687,...),f(x)=0.0sum = 0.0for i in range(nVar):sum += X[i] * np.sin(np.sqrt(abs(X[i])))fx = 418.9829 * nVar - sumreturn fx# 子程序：模擬退火算法的參數(shù)設(shè)置 def ParameterSetting():cName = "funcOpt" # 定義問題名稱nVar = 2 # 給定自變量數(shù)量，y=f(x1,..xn)xMin = [-500, -500] # 給定搜索空間的下限，x1_min,..xn_minxMax = [500, 500] # 給定搜索空間的上限，x1_max,..xn_maxtInitial = 100.0 # 設(shè)定初始退火溫度(initial temperature)tFinal = 1 # 設(shè)定終止退火溫度(stop temperature)alfa = 0.98 # 設(shè)定降溫參數(shù)，T(k)=alfa*T(k-1)meanMarkov = 100 # Markov鏈長(zhǎng)度，也即內(nèi)循環(huán)運(yùn)行次數(shù)scale = 0.5 # 定義搜索步長(zhǎng)，可以設(shè)為固定值或逐漸縮小return cName, nVar, xMin, xMax, tInitial, tFinal, alfa, meanMarkov, scale# 模擬退火算法 def OptimizationSSA(nVar,xMin,xMax,tInitial,tFinal,alfa,meanMarkov,scale):# ====== 初始化隨機(jī)數(shù)發(fā)生器 ======randseed = random.randint(1, 100)random.seed(randseed) # 隨機(jī)數(shù)發(fā)生器設(shè)置種子，也可以設(shè)為指定整數(shù)# ====== 隨機(jī)產(chǎn)生優(yōu)化問題的初始解 ======xInitial = np.zeros((nVar)) # 初始化，創(chuàng)建數(shù)組for v in range(nVar):# random.uniform(min,max) 在 [min,max] 范圍內(nèi)隨機(jī)生成一個(gè)實(shí)數(shù)xInitial[v] = random.uniform(xMin[v], xMax[v])# 調(diào)用子函數(shù) cal_Energy 計(jì)算當(dāng)前解的目標(biāo)函數(shù)值fxInitial = cal_Energy(xInitial, nVar)# ====== 模擬退火算法初始化 ======xNew = np.zeros((nVar)) # 初始化，創(chuàng)建數(shù)組xNow = np.zeros((nVar)) # 初始化，創(chuàng)建數(shù)組xBest = np.zeros((nVar)) # 初始化，創(chuàng)建數(shù)組xNow[:] = xInitial[:] # 初始化當(dāng)前解，將初始解置為當(dāng)前解xBest[:] = xInitial[:] # 初始化最優(yōu)解，將當(dāng)前解置為最優(yōu)解fxNow = fxInitial # 將初始解的目標(biāo)函數(shù)置為當(dāng)前值fxBest = fxInitial # 將當(dāng)前解的目標(biāo)函數(shù)置為最優(yōu)值print('x_Initial:{:.6f},{:.6f},\tf(x_Initial):{:.6f}'.format(xInitial[0], xInitial[1], fxInitial))recordIter = [] # 初始化，外循環(huán)次數(shù)recordFxNow = [] # 初始化，當(dāng)前解的目標(biāo)函數(shù)值recordFxBest = [] # 初始化，最佳解的目標(biāo)函數(shù)值recordPBad = [] # 初始化，劣質(zhì)解的接受概率kIter = 0 # 外循環(huán)迭代次數(shù)，溫度狀態(tài)數(shù)totalMar = 0 # 總計(jì) Markov 鏈長(zhǎng)度totalImprove = 0 # fxBest 改善次數(shù)nMarkov = meanMarkov # 固定長(zhǎng)度 Markov鏈# ====== 開始模擬退火優(yōu)化 ======# 外循環(huán)，直到當(dāng)前溫度達(dá)到終止溫度時(shí)結(jié)束tNow = tInitial # 初始化當(dāng)前溫度(current temperature)while tNow >= tFinal: # 外循環(huán)，直到當(dāng)前溫度達(dá)到終止溫度時(shí)結(jié)束# 在當(dāng)前溫度下，進(jìn)行充分次數(shù)(nMarkov)的狀態(tài)轉(zhuǎn)移以達(dá)到熱平衡kBetter = 0 # 獲得優(yōu)質(zhì)解的次數(shù)kBadAccept = 0 # 接受劣質(zhì)解的次數(shù)kBadRefuse = 0 # 拒絕劣質(zhì)解的次數(shù)# ---內(nèi)循環(huán)，循環(huán)次數(shù)為Markov鏈長(zhǎng)度for k in range(nMarkov): # 內(nèi)循環(huán)，循環(huán)次數(shù)為Markov鏈長(zhǎng)度totalMar += 1 # 總 Markov鏈長(zhǎng)度計(jì)數(shù)器# ---產(chǎn)生新解# 產(chǎn)生新解：通過在當(dāng)前解附近隨機(jī)擾動(dòng)而產(chǎn)生新解，新解必須在 [min,max] 范圍內(nèi)# 方案 1：只對(duì) n元變量中的一個(gè)進(jìn)行擾動(dòng)，其它 n-1個(gè)變量保持不變xNew[:] = xNow[:]v = random.randint(0, nVar-1) # 產(chǎn)生 [0,nVar-1]之間的隨機(jī)數(shù)xNew[v] = xNow[v] + scale * (xMax[v]-xMin[v]) * random.normalvariate(0, 1)# random.normalvariate(0, 1)：產(chǎn)生服從均值為0、標(biāo)準(zhǔn)差為 1 的正態(tài)分布隨機(jī)實(shí)數(shù)xNew[v] = max(min(xNew[v], xMax[v]), xMin[v]) # 保證新解在 [min,max] 范圍內(nèi)# ---計(jì)算目標(biāo)函數(shù)和能量差# 調(diào)用子函數(shù) cal_Energy 計(jì)算新解的目標(biāo)函數(shù)值fxNew = cal_Energy(xNew, nVar)deltaE = fxNew - fxNow# ---按 Metropolis 準(zhǔn)則接受新解# 接受判別：按照 Metropolis 準(zhǔn)則決定是否接受新解if fxNew < fxNow: # 更優(yōu)解：如果新解的目標(biāo)函數(shù)好于當(dāng)前解，則接受新解accept = TruekBetter += 1else: # 容忍解：如果新解的目標(biāo)函數(shù)比當(dāng)前解差，則以一定概率接受新解pAccept = math.exp(-deltaE / tNow) # 計(jì)算容忍解的狀態(tài)遷移概率if pAccept > random.random():accept = True # 接受劣質(zhì)解kBadAccept += 1else:accept = False # 拒絕劣質(zhì)解kBadRefuse += 1# 保存新解if accept == True: # 如果接受新解，則將新解保存為當(dāng)前解xNow[:] = xNew[:]fxNow = fxNewif fxNew < fxBest: # 如果新解的目標(biāo)函數(shù)好于最優(yōu)解，則將新解保存為最優(yōu)解fxBest = fxNewxBest[:] = xNew[:]totalImprove += 1scale = scale*0.99 # 可變搜索步長(zhǎng)，逐步減小搜索范圍，提高搜索精度# ---內(nèi)循環(huán)結(jié)束后的數(shù)據(jù)整理# 完成當(dāng)前溫度的搜索，保存數(shù)據(jù)和輸出pBadAccept = kBadAccept / (kBadAccept + kBadRefuse) # 劣質(zhì)解的接受概率recordIter.append(kIter) # 當(dāng)前外循環(huán)次數(shù)recordFxNow.append(round(fxNow, 4)) # 當(dāng)前解的目標(biāo)函數(shù)值recordFxBest.append(round(fxBest, 4)) # 最佳解的目標(biāo)函數(shù)值recordPBad.append(round(pBadAccept, 4)) # 最佳解的目標(biāo)函數(shù)值if kIter%10 == 0: # 模運(yùn)算，商的余數(shù)print('i:{},t(i):{:.2f}, badAccept:{:.6f}, f(x)_best:{:.6f}'.\format(kIter, tNow, pBadAccept, fxBest))# 緩慢降溫至新的溫度，降溫曲線：T(k)=alfa*T(k-1)tNow = tNow * alfakIter = kIter + 1# ====== 結(jié)束模擬退火過程 ======print('improve:{:d}'.format(totalImprove))return kIter,xBest,fxBest,fxNow,recordIter,recordFxNow,recordFxBest,recordPBad# 結(jié)果校驗(yàn)與輸出 def ResultOutput(cName,nVar,xBest,fxBest,kIter,recordFxNow,recordFxBest,recordPBad,recordIter):# ====== 優(yōu)化結(jié)果校驗(yàn)與輸出 ======fxCheck = cal_Energy(xBest,nVar)if abs(fxBest - fxCheck)>1e-3: # 檢驗(yàn)?zāi)繕?biāo)函數(shù)print("Error 2: Wrong total millage!")returnelse:print("\nOptimization by simulated annealing algorithm:")for i in range(nVar):print('\tx[{}] = {:.6f}'.format(i,xBest[i]))print('\n\tf(x):{:.6f}'.format(fxBest))return# 主程序 = 關(guān)注 Youcans，分享原創(chuàng)系列 https://blog.csdn.net/youcans =**加粗樣式** def main():# 參數(shù)設(shè)置，優(yōu)化問題參數(shù)定義，模擬退火算法參數(shù)設(shè)置[cName, nVar, xMin, xMax, tInitial, tFinal, alfa, meanMarkov, scale] = ParameterSetting()# print([nVar, xMin, xMax, tInitial, tFinal, alfa, meanMarkov, scale])# 模擬退火算法[kIter,xBest,fxBest,fxNow,recordIter,recordFxNow,recordFxBest,recordPBad] \= OptimizationSSA(nVar,xMin,xMax,tInitial,tFinal,alfa,meanMarkov,scale)# print(kIter, fxNow, fxBest, pBadAccept)# 結(jié)果校驗(yàn)與輸出ResultOutput(cName, nVar,xBest,fxBest,kIter,recordFxNow,recordFxBest,recordPBad,recordIter)# = 關(guān)注 Youcans，分享原創(chuàng)系列 https://blog.csdn.net/youcans = if __name__ == '__main__':main()

4、程序運(yùn)行結(jié)果

x_Initial:-143.601793,331.160277, f(x_Initial):959.785447 i:0,t(i):100.00, badAccept:0.469136, f(x)_best:300.099320 i:10,t(i):81.71, badAccept:0.333333, f(x)_best:12.935760 i:20,t(i):66.76, badAccept:0.086022, f(x)_best:2.752498... i:200,t(i):1.76, badAccept:0.000000, f(x)_best:0.052055 i:210,t(i):1.44, badAccept:0.000000, f(x)_best:0.009448 i:220,t(i):1.17, badAccept:0.000000, f(x)_best:0.009448 improve:18Optimization by simulated annealing algorithm:x[0] = 420.807471x[1] = 420.950005f(x):0.003352

版權(quán)說明：
原創(chuàng)作品 = 關(guān)注 Youcans，分享原創(chuàng)系列 https://blog.csdn.net/youcans =
Copyright 2021 YouCans, XUPT
Crated：2021-05-01

關(guān)注 Youcans，分享原創(chuàng)系列 https://blog.csdn.net/youcans

Python數(shù)模筆記-PuLP庫(kù)（1）線性規(guī)劃入門
Python數(shù)模筆記-PuLP庫(kù)（2）線性規(guī)劃進(jìn)階
Python數(shù)模筆記-PuLP庫(kù)（3）線性規(guī)劃實(shí)例
Python數(shù)模筆記-StatsModels 統(tǒng)計(jì)回歸（1）簡(jiǎn)介
Python數(shù)模筆記-StatsModels 統(tǒng)計(jì)回歸（2）線性回歸
Python數(shù)模筆記-StatsModels 統(tǒng)計(jì)回歸（3）模型數(shù)據(jù)的準(zhǔn)備
Python數(shù)模筆記-StatsModels 統(tǒng)計(jì)回歸（4）可視化
Python數(shù)模筆記-Sklearn （1）介紹
Python數(shù)模筆記-Sklearn （2）聚類分析
Python數(shù)模筆記-Sklearn （3）主成分分析
Python數(shù)模筆記-Sklearn （4）線性回歸
Python數(shù)模筆記-Sklearn （5）支持向量機(jī)
Python數(shù)模筆記-模擬退火算法（1）多變量函數(shù)優(yōu)化
Python數(shù)模筆記-模擬退火算法（2）約束條件的處理
Python數(shù)模筆記-模擬退火算法（3）整數(shù)規(guī)劃問題
Python數(shù)模筆記-模擬退火算法（4）旅行商問題

總結(jié)

以上是生活随笔為你收集整理的Python数模笔记-模拟退火算法（1）多变量函数优化的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。