solver 是caffe的核心之重，它是整個模型運行的參數配置文件。運行代碼一般為：

#caffe train --solver=*_solver.prototxt

在DL中，損失函數（loss function）是非凸的，沒有解析解，我們需要通過優化的方法來求解。solver的作用就是交替調用前向（forward）算法和后向（backward）算法來更新參數，從而最小化損失（loss），實際上就是一種迭代的優化算法。

接下來，我們看一個實例：

net:"examples/myfile/train_val.prototxt"

test_iter:10

test_interval:50

base_lr:0.001

lr_policy:"step"

gamma:0.1

stepsize:100

momentum:0.9

display:20

max_iter:500

snapshot:40

snapshot_prefix:"examples/myfile"

weight_decay:0.005

solver_mode:GPU

接下來，我們對每一行進行解析：

net:"examples/myfile/train_val.prototxt"

設置深度網絡模型。每一個模型就是一個net，需要在一個專門的配置文件中對net進行配置，每個net由許多的layer所組成。上面這句代碼就是設置訓練網絡的，網絡模型文件配置，即examples/myfile/文件下的train_val.prototxt里面的配置。

接下來第二行代碼：

test_iter:10

這個要與train layer 中的batch_size結合起來理解。訓練數據中測試樣本總數為400，一次性執行全部數據的效率太低，因此我將測試數據分成幾個批次來執行，每個批次的數量就是batch_size。本文，我將batch_size設置為40，則需要迭代10次才能將400個數據全部執行完。因此test_iter設置為10.執行完一次全部數據，稱之為一個epoch.

test_interval:50

測試間隔。也就是每訓練50次，才進行一次測試。

base_lr:0.001

lr_policy:"step"

gamma:0.1

stepsize:100

這四行可以放在一起理解，用于學習率的設置。只要是梯度下降法來求解優化，都會有一個學習率，也叫步長。base_lr用于設置基礎學習率，在迭代的過程中，可以對基礎學習率進行調整。怎樣進行調整，就是調整的策略，由lr_policy來設置。

lr_policy可以設置為下面這些值，相應的學習率的計算為：

• fixed：保持base_lr不變
• step：如果設置為step，則還需要設置一個stepsize，返回base_lr*gamma^(floor(iter/stepsize))，其中iter表示當前的迭代次數
• exp：返回base_lr*gamma^iter，iter為當前迭代次數
• inv：如果設置為inv，還需要設置一個power，返回base_lr*（1+gamma*iter)^(-power)
• multistep：如果設置為multistep，則還需要設置一個stepvalue。這個參數和step很相似，step是均勻等間隔變化，而multistep則是根據stepvalue值變化
• poly：學習率進行多項式誤差，返回base_lr(1-iter/max_iter)^(power)
• sigmoid：學習率進行sigmoid衰減，返回base_lr(1/(1+exp(-gamma*(iter-stepsize))))

multistep示例：

base_lr:0.01

momentum:0.9

weight_decay:0.0005

lr_policy:"multistep"

gamma:0.9

stepvalue:5000

stepvalue:7000

stepvalue:8000

stepvalue:9000

stepvalue:9500

下一行代碼解析：

momentum:0.9

上一次梯度更新的權重。

下一行代碼解析:

display:20

沒訓練20次，在屏幕顯示一次。如果設置為0，則不顯示。

max_iter:500

最大迭代次數。這個參數設置太小，會導致沒有收斂，精確度很低。設置太大，會導致震蕩，浪費時間。

snapshot:40

snapshot_prefix:"examples/myfile"

快照。將訓練出來的model和solver狀態進行保存，snapshot用于設置訓練多少次后進行保存，默認為0，不保存。snapshot_prefix:設置保存路徑。

還可以設置snapshot_diff，是否保存梯度值，默認為false，不保存。

也可以設置snapshot_format，保存的類型。有兩種選擇：HDF5和BINARYPROTO，默認為BINARYPROTO

weight_decay:0.005

權重衰減項，防止過擬合的一個參數。

solver_mode:GPU

設置運行模式。默認為GPU，如果你沒有GPU，則需改成CPU，否則會出錯。

注意：以上的所有參數均為可選參數，都有默認值，根據solver（type）方法的不同，還有一些其他的參數，大家根據自己的需要自己設置。

總結

以上是生活随笔為你收集整理的solver.prototxt文件里面参数含义及其设置的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。