1：優(yōu)化器。機(jī)器學(xué)習(xí)訓(xùn)練的目的在于更新參數(shù)，優(yōu)化目標(biāo)函數(shù)，常見優(yōu)化器有SGD，Adagrad，Adadelta，Adam，Adamax，Nadam。其中SGD和Adam優(yōu)化器是最為常用的兩種優(yōu)化器，SGD根據(jù)每個(gè)batch的數(shù)據(jù)計(jì)算一次局部的估計(jì)，最小化代價(jià)函數(shù)。

學(xué)習(xí)速率決定了每次步進(jìn)的大小，因此我們需要選擇一個(gè)合適的學(xué)習(xí)速率進(jìn)行調(diào)優(yōu)。學(xué)習(xí)速率太大會(huì)導(dǎo)致不收斂，速率太小收斂速度慢。因此SGD通常訓(xùn)練時(shí)間更長(zhǎng)，但是在好的初始化和學(xué)習(xí)率調(diào)度方案的情況下，結(jié)果更可靠。

Adam優(yōu)化器結(jié)合了Adagrad善于處理稀疏梯度和RMSprop善于處理非平穩(wěn)目標(biāo)的優(yōu)點(diǎn)，能夠自動(dòng)調(diào)整學(xué)習(xí)速率，收斂速度更快，在復(fù)雜網(wǎng)絡(luò)中表現(xiàn)更優(yōu)。

2：學(xué)習(xí)速率。學(xué)習(xí)速率的設(shè)置第一次可以設(shè)置大一點(diǎn)的學(xué)習(xí)率加快收斂，后續(xù)慢慢調(diào)整；也可以采用動(dòng)態(tài)變化學(xué)習(xí)速率的方式（比如，每一輪乘以一個(gè)衰減系數(shù)或者根據(jù)損失的變化動(dòng)態(tài)調(diào)整學(xué)習(xí)速率）。

3：dropout。數(shù)據(jù)第一次跑模型的時(shí)候可以不加dropout，后期調(diào)優(yōu)的時(shí)候dropout用于防止過(guò)擬合有比較明顯的效果，特別是數(shù)據(jù)量相對(duì)較小的時(shí)候。

4：變量初始化。常見的變量初始化有零值初始化、隨機(jī)初始化、均勻分布初始值、正態(tài)分布初始值和正交分布初始值。一般采用正態(tài)分布或均勻分布的初始化值，有的論文說(shuō)正交分布的初始值能帶來(lái)更好的效果。實(shí)驗(yàn)的時(shí)候可以才正態(tài)分布和正交分布初始值做一個(gè)嘗試。

5：訓(xùn)練輪數(shù)。模型收斂即可停止迭代，一般可采用驗(yàn)證集作為停止迭代的條件。如果連續(xù)幾輪模型損失都沒(méi)有相應(yīng)減少，則停止迭代。

6：正則化。為了防止過(guò)擬合，可通過(guò)加入l1、l2正則化。從公式可以看出，加入l1正則化的目的是為了加強(qiáng)權(quán)值的稀疏性，讓更多值接近于零。而l2正則化則是為了減小每次權(quán)重的調(diào)整幅度，避免模型訓(xùn)練過(guò)程中出現(xiàn)較大抖動(dòng)。

7：預(yù)訓(xùn)練。對(duì)需要訓(xùn)練的語(yǔ)料進(jìn)行預(yù)訓(xùn)練可以加快訓(xùn)練速度，并且對(duì)于模型最終的效果會(huì)有少量的提升，常用的預(yù)訓(xùn)練工具有word2vec和glove。

8：激活函數(shù)。常用的激活函數(shù)為sigmoid、tanh、relu、leaky relu、elu。采用sigmoid激活函數(shù)計(jì)算量較大，而且sigmoid飽和區(qū)變換緩慢，求導(dǎo)趨近于0，導(dǎo)致梯度消失。sigmoid函數(shù)的輸出值恒大于0，這會(huì)導(dǎo)致模型訓(xùn)練的收斂速度變慢。

tanh它解決了zero-centered的輸出問(wèn)題，然而，gradient vanishing的問(wèn)題和冪運(yùn)算的問(wèn)題仍然存在。

relu從公式上可以看出，解決了gradient vanishing問(wèn)題并且計(jì)算簡(jiǎn)單更容易優(yōu)化，但是某些神經(jīng)元可能永遠(yuǎn)不會(huì)被激活，導(dǎo)致相應(yīng)的參數(shù)永遠(yuǎn)不能被更新（Dead ReLU Problem）；leaky relu有relu的所有優(yōu)點(diǎn)，外加不會(huì)有Dead ReLU問(wèn)題，但是在實(shí)際操作當(dāng)中，并沒(méi)有完全證明leaky relu總是好于relu。

elu也是為解決relu存在的問(wèn)題而提出，elu有relu的基本所有優(yōu)點(diǎn)，但計(jì)算量稍大，并且沒(méi)有完全證明elu總是好于relu。

9：特征學(xué)習(xí)函數(shù)。常用的特征學(xué)習(xí)函數(shù)有cnn、rnn、lstm、gru。cnn注重詞位置上的特征，而具有時(shí)序關(guān)系的詞采用rnn、lstm、gru抽取特征會(huì)更有效。gru是簡(jiǎn)化版的lstm，具有更少的參數(shù)，訓(xùn)練速度更快。但是對(duì)于足夠的訓(xùn)練數(shù)據(jù)，為了追求更好的性能可以采用lstm模型。

10：特征抽取。max-pooling、avg-pooling是深度學(xué)習(xí)中最常用的特征抽取方式。max-pooling是抽取最大的信息向量，然而當(dāng)存在多個(gè)有用的信息向量時(shí)，這樣的操作會(huì)丟失大量有用的信息。

avg-pooling是對(duì)所有信息向量求平均，當(dāng)僅僅部分向量相關(guān)而大部分向量無(wú)關(guān)時(shí)，會(huì)導(dǎo)致有用信息向量被噪聲淹沒(méi)。針對(duì)這樣的情況，在有多個(gè)有用向量的情形下盡量在最終的代表向量中保留這些有用的向量信息，又想在只有一個(gè)顯著相關(guān)向量的情形下直接提取該向量做代表向量，避免其被噪聲淹沒(méi)。那么解決方案只有：加權(quán)平均，即Attention。

11：每輪訓(xùn)練數(shù)據(jù)亂序。每輪數(shù)據(jù)迭代保持不同的順序，避免模型每輪都對(duì)相同的數(shù)據(jù)進(jìn)行計(jì)算。

12：batch_size選擇。對(duì)于小數(shù)據(jù)量的模型，可以全量訓(xùn)練，這樣能更準(zhǔn)確的朝著極值所在的方向更新。但是對(duì)于大數(shù)據(jù)，全量訓(xùn)練將會(huì)導(dǎo)致內(nèi)存溢出，因此需要選擇一個(gè)較小的batch_size。

如果這時(shí)選擇batch_size為1，則此時(shí)為在線學(xué)習(xí)，每次修正方向?yàn)楦髯詷颖镜奶荻确较蛐拚?#xff0c;難以達(dá)到收斂。batch_size增大，處理相同數(shù)據(jù)量的時(shí)間減少，但是達(dá)到相同精度的輪數(shù)增多。實(shí)際中可以逐步增大batch_size，隨著batch_size增大，模型達(dá)到收斂，并且訓(xùn)練時(shí)間最為合適。

原文發(fā)布時(shí)間為：2018-11-27

本文來(lái)自云棲社區(qū)合作伙伴“機(jī)器學(xué)習(xí)算法與Python學(xué)習(xí)”，了解相關(guān)信息可以關(guān)注“機(jī)器學(xué)習(xí)算法與Python學(xué)習(xí)”。

總結(jié)

以上是生活随笔為你收集整理的深度学习参数怎么调优，这12个trick告诉你的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。