一、單個神經元

單個神經元輸出時 y=w*x+b

1 、正向傳播：輸入數據，通過初始給定的參數w,b? 計算出對應的函數值

2、反向傳播：計算正向傳播得到的函數值與真實標簽之間的誤差值，之后調整w,b

二、激活函數

主要解決模型表達能力不足的缺陷

常用的激活函數如下：

1、sigmoid? ? ? ? y~[0,1]? ? ? ?tf.nn.sigmoid(x,name=None)

2、tanh? ? ? ? ? ? y~[-1,1]? ? ? tf.nn.tanh(x,name=None)

3、relu? ? ? ? ? ? ?y = max(0,x)? tf.nn.relu(x,name=None)

三、softmax

判定輸入某一類的概率大于其他類概率，那么這個類對應的函數值逼近1

四、損失函數

用于描述模型預測值和真實值的差距大小

常見的兩種算法：

1、均值平方差? 如果輸入是實數、無界的值

2、交叉熵? 輸入的標簽的位矢量

五、梯度下降

用于遞歸性逼近最小偏差模型，沿著梯度下降的方向求解最小值

1、常用方法：

批量梯度下降

隨機梯度下降

小批量梯度下降

2、梯度下降函數

如：optimizer = tf.train.GradientDescentOptimizer(learning_rate)

模型的整個過程求導和反向傳播操作都是在優化器里自動完成的

3、退化學習率

目的就是模型剛開始訓練時使用大的學習率加快速度，訓練到一定程度后使用小的學習率來提高精度

《新程序員》：云原生和全面數字化實踐50位技術專家共同創作，文字、視頻、音頻交互閱讀

總結

以上是生活随笔為你收集整理的tensorflow就该这么学－－5( 神经网络基础)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。