文章目錄

• • • 全連接網絡結構的前向傳播算法
    • • 單個神經元
      • 全連接網絡結構
      • 計算過程舉例
    • 代碼實現該神經網絡樣例程序
    • 搭建神經網絡的過程：準備、前向傳播、反向傳播、循環迭代
    • • 準備
      • 前向傳播：定義輸入、參數和輸出
      • 反向傳播：定義損失函數、反向傳播方法
      • 循環迭代：生成會話，訓練STEPS輪
    • 總結

全連接網絡結構的前向傳播算法

單個神經元

從上圖可以看出，單個神經元有多個輸入和一個輸出。而神經網絡的結構是不同神經元之間的連接結構。神經元的輸出是所有輸入的加權和。神經元的參數就是輸入的權重ω。神經網絡的優化是優化參數的取值過程。

全連接網絡結構

所謂全連接，指相鄰的兩層之間任意兩個節點之間都有連接。

一個簡單的判斷零件是否合格的三層全連接網絡。該圖展示了這個神經網絡前向傳播過程。

場景描述：
該網絡通過輸入零件長度和零件質量來判斷零件是否合格

該神經網絡的輸入為：
$$X=\begin{array}{c}\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\end{array}$$
其中，x1是零件的長度，x2是零件的質量。

神經網絡的參數為：
$$W^{(1)}=\begin{array}{c}\left[\begin{array}{ccc}{w}_{1,1}^{(1)}& w_{1,2}^{(1)}& w_{1,3}^{(1)}\\ w_{2,1}^{(1)}& w_{2,2}^{(1)}& w_{2,3}^{(1)}\end{array}\right]\end{array}$$
$$W^{(2)}=\begin{array}{c}?\begin{array}{c}{w}_{1,1}^{(2)}\\ w_{2,1}^{(2)}\\ w_{2,1}^{(2)}\end{array}?\end{array}$$

計算過程
$$\begin{array}{c}\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{cc}{x}_1& x_2\end{array}\right]\end{array}?\begin{array}{c}\left[\begin{array}{ccc}{w}_{1,1}^{(1)}& w_{1,2}^{(1)}& w_{1,3}^{(1)}\\ w_{2,1}^{(1)}& w_{2,2}^{(1)}& w_{2,3}^{(1)}\end{array}\right]\end{array}$$

$$\begin{array}{c}\left[\begin{array}{c}y\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\end{array}\right]\end{array}?\begin{array}{c}?\begin{array}{c}{w}_{1,1}^{(2)}\\ w_{2,1}^{(2)}\\ w_{2,1}^{(2)}\end{array}?\end{array}$$

計算過程舉例

當零件長度=0.7，零件質量=0.9，權重
$$W^{(1)}=\begin{array}{c}\left[\begin{array}{ccc}0.2& 0.1& 0.4\\ 0.3& ?0.5& 0.2\end{array}\right]\end{array}$$
$$W^{(2)}=\begin{array}{c}?\begin{array}{c}0.6\\ 0.1\\ ?0.2\end{array}?\end{array}$$
計算中間變量：
$$\begin{array}{c}\left[\begin{array}{ccc}{a}_{1,1}& a_{1,2}& a_{1,3}\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{cc}0.7& 0.9\end{array}\right]\end{array}?\begin{array}{c}\left[\begin{array}{ccc}0.2& 0.1& 0.4\\ 0.3& ?0.5& 0.2\end{array}\right]\end{array}=\begin{array}{c}\left[\begin{array}{ccc}0.41& 0.1& ?0.2\end{array}\right]\end{array}$$
得出y值
$$\begin{array}{c}\left[\begin{array}{c}y\end{array}\right]\end{array}=\left[\begin{array}{ccc}0.41& 0.1& ?0.2\end{array}\right]??\begin{array}{c}0.6\\ 0.1\\ ?0.2\end{array}?=\left[\begin{array}{c}0.116\end{array}\right]$$

代碼實現該神經網絡樣例程序

用一個完整的程序來訓練神經網絡來解決二分類問題
數據集：隨機數生成一個

import tensorflow as tf import numpy as npBATCH_SIZE = 8 seed = 23455# 基于seed產生隨機數 rng = np.random.RandomState(seed=seed) X = rng.rand(32, 2) Y = [[int(x0 + x1 <1)] for (x0, x1) in X]print("X:\n",X) print("X的類型：", X.shape) print("Y:\n",Y) print("Y的類型", len(Y))# 1、定義神經網絡的輸入、參數和輸出，定義前向傳播過程 x = tf.placeholder(tf.float32,shape=(None, 2)) # 知道每組有兩個特征變量，但是不知道多少組，用None占位 y_ = tf.placeholder(tf.float32,shape=(None, 1)) # 存放真實的結果值，合格為1，w1 = tf.Variable(tf.random_normal([2, 3], stddev=1, seed=1)) w2 = tf.Variable(tf.random_normal([3, 1], stddev=1, seed=1))a = tf.matmul(x, w1) y = tf.matmul(a, w2)# 2、定義損失函數以及反向傳播方法 loss = tf.reduce_mean(tf.square(y-y_)) # 使用均方誤差計算loss train_step = tf.train.GradientDescentOptimizer(0.001).minimize(loss) # 學習率為0.001# 3、生成會話，訓練STEPS輪 with tf.Session() as sess:# 3.1、初始化參數值init_op = tf.global_variables_initializer()sess.run(init_op)print("w1:\n", sess.run(w1))print("w1:\n", sess.run(w2))print("\n")# 3.2、訓練模型STEPS = 3000for i in range(STEPS):# 3.2.1 每輪確定讀取數據集的游標start = (i*BATCH_SIZE) % 32end = start + BATCH_SIZE# 3.2.2 喂入數據，開始訓練sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})# 3.2.3 每500輪輸出一次loss值if i % 500 == 0:total_loss = sess.run(loss, feed_dict={x: X, y_: Y})print("After % dtraining step(s), cross entropy on all data is % g" % (i, total_loss))print("w1:\n", sess.run(w1))print("w2:\n", sess.run(w2))

搭建神經網絡的過程：準備、前向傳播、反向傳播、循環迭代

準備

import導入相關庫
常量的定義
數據集生成

前向傳播：定義輸入、參數和輸出

x=
y_=

w1=
w2=

a=
y=

反向傳播：定義損失函數、反向傳播方法

loss=
train_step=

循環迭代：生成會話，訓練STEPS輪

# 3、生成會話，訓練STEPS輪 with tf.Session() as sess:# 3.1、初始化參數值init_op = tf.global_variables_initializer()sess.run(init_op)# 3.2、訓練模型STEPS = 3000for i in range(STEPS):# 3.2.1 每輪確定讀取數據集的游標start = (i*BATCH_SIZE) % 32end = start + BATCH_SIZE# 3.2.2 喂入數據，開始訓練sess.run(train_step, feed_dict={x: X[start:end], y_: Y[start:end]})

總結

整個神經網絡總共分為四個部分：

前期準備好數據集以及其他參數。

前向傳播確定網絡結構

反向傳播優化網絡參數

循環迭代2,3兩個過程不斷優化兩個參數

總結

以上是生活随笔為你收集整理的TensorFlow学习笔记之二（使用TensorFlow实现神经网络）的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。