權(quán)重的初始化，決定了模型訓(xùn)練的起點。一個良好的初始化可以加快訓(xùn)練過程，同時避免模型收斂至局部最小值。為了在訓(xùn)練過程中避免使得權(quán)重的變化總沿著同一個方向，我們盡量避免將所有權(quán)重都初始化為同一個值，如全0矩陣或全1矩陣。

往往我們使用均勻分布或者正則分布初始化權(quán)重矩陣。在使用tensorflow框架時，keras為我們提供了許多封裝好的層，其中常見的有Dense全連接層，Conv2D卷積層等等。查閱文檔我們發(fā)現(xiàn)默認的權(quán)重初始化都使用了glorot uniform :

$$W_{ij}?U(?\sqrt{\frac{6}{n+m}},\sqrt{\frac{6}{n+m}})$$

其中，n為inputs的個數(shù)，m為outputs的個數(shù)。在由輸入輸出個數(shù)決定的 [-limit, limit] 的范圍中使用均勻分布初始化。

除了默認的使用glorot uniform初始化矩陣以外，keras還封裝了例如Glorot Normal， RandomNormal，RandomUniform等等權(quán)重初始化的方式。

總結(jié)

以上是生活随笔為你收集整理的keras模型中的默认初始化权重的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。