前言

今天測試OpenAI Gym，然后發現CartPole的最快實現快到離譜，使用Simulated Annealing，也就是SA模擬退火法。效果如下圖：

代碼地址：模擬退火解CartPole

于是好好研究了一下。

關于模擬退火法

一種最優控制算法，基本思想就是每次找一個鄰近的點（解法），如果鄰近的點比較優，就接受這個點，但是下一次使用隨機有一定概率繼續選擇新的鄰近的點，從而避免局部最優，從而通過多次測試達到全局最優。

比較清楚的介紹詳見：大白話解析模擬退火算法

如何將模擬退火法SA應用到CartPole中？

對于CartPole倒立擺，其控制輸出A很簡單，就是向左或者向右。輸入O就是車的位置，速度，桿的角度，角速度。

為了應用SA，首先需要構造一個從輸入到輸出的映射:

A=f(O)

那么這里顯然我們可以使用最簡單的映射，就是線性映射：

A=wO

w<script type="math/tex" id="MathJax-Element-276">w</script> 即為參數向量。模擬退火就來改這些參數，從而得到一個新的“點”。

再下來的問題就是如何判斷w好壞了，想法也很簡單，每次運行一次episode即一次實驗，累加計算得到的reward值，用Score得分表示，代表這個參數效果更好。

所以接下來是思路就簡單了：

初始化w 初始化最優w 初始化動作選擇w每次給動作選擇w增加一點隨機性，（隨機性不斷減少），計算得到的回報Score 如果Score 最大，就將當前的w賦給最優w，并將最優w賦給動作選擇w 如果Score 小，那么可以增大隨機性。反復運算，值得一定時間w不再波動（即不再退火）

更具體的大家可以參考代碼。這里只分析一下思路。

思考

模擬退火法是一種類貪婪算法，通過純隨機的方式來尋找更優的結果。對于低維空間可以，但對于高維控制，這種方向性不強的做法（比起隨機梯度下降恐怕就不好了）

總結

以上是生活随笔為你收集整理的OpenAI Gym 关于CartPole的模拟退火解法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。