深度學習（10）TensorFlow基礎操作六: 數學運算

• 1. Operation type
• 2. + - * / % //
• 3. tf.math.log & tf.exp
• 4. log2, log10?
• 5. pow, sqrt
• 6. @ & matmul
• 7. With Broadcasting
• 8. Recap
• 9. $Y=X@W+b$
• 10. $out=relu(X@W+b)$

第四章 TensorFlow基礎操作
06 數學運算
Outline

• • • • /
• **, pow, squre
• sqrt
• //, %
• exp, log
• @, matmul
• linear layer

1. Operation type

(1) element-wise

• {+ - * /}

(2) matrix-wise

• @, matmul

(3) dim-wise

• reduce_mean/max/min/sum

2. + - * / % //

b = tf.fill([2, 2], 2.): 2×2的元素都為2的Tensor;
a = tf.ones([2, 2]): 2×2的元素都為1的Tensor;
(1) a + b: 2×2的元素都為3的Tensor;
(2) a - b: 2×2的元素都-1的Tensor;
(3) a * b: 2×2的元素都為2的Tensor;
(4) a / b: 2×2的元素都為0.5的Tensor;
(5) b // a: 整除操作，得到2×2的元素都為2的Tensor;
(6) b % a: 余除操作，得到2×2的元素都為0的Tensor;

3. tf.math.log & tf.exp

(1) tf.math.log(a): $lo{g}_{e}a$，因為$lo{g}_{e}1=0$，所以得到2×2的元素都為0的Tensor;
(2) tf.exp(a): $e^a$，因為$e^1=e$，而$e\approx 2.7182817$，所以得到2×2的元素都為2.7182817的Tensor;

4. log2, log10?

沒有這倆API，不過我們可以利用:
$$\frac{lo{g}_{a}b}{lo{g}_{a}c}=lo{g}_{c}b$$
$\to$
$$\frac{lo{g}_{e}b}{lo{g}_{e}c}=lo{g}_{c}b$$
來計算，如下圖所示:

(1) tf.math.log(8.)/tf.math.log(2.): $lo{g}_{2}8=3.0$;
(2) tf.math.log(100.)/tf.math.log(10.): $lo{g}_{10}100=2.0$;

5. pow, sqrt

(1) tf.pow(b, 3): n次方操作，因為$2^3=8$，所以得到2×2的元素都為8的Tensor;
(2)b**3: 與tf.pow(b, 3)的作用一樣，所以得到2×2的元素都為8的Tensor;
(3) tf.sqrt(b): 開方操作，因為$\surd 2\approx 1.4142135$，所以得到2×2的元素都為1.4142135的Tensor;

6. @ & matmul

(1) a@b: 矩陣a與矩陣b相乘，得到2×2的元素都為4的Tensor;
(2) tf.matmul(a, b): 作用與a@b一樣;

a = tf.ones([4, 2, 3]): 可以看成是4個2×3的矩陣元素都為1的Tensor;
a = tf.fill([4, 2, 3], 2.): 可以看成是4個2×3的矩陣元素都為2的Tensor;
(3) a@b: 可以看成是[2, 3]的矩陣和[3, 5]的矩陣相乘，這個操作是可以并行的，我們可以一次并行4個這樣的操作，所以得到4個2×5的矩陣，所以其shape=[4, 2, 5];
(4) tf.matmul(a, b): 作用與a@b一樣;

7. With Broadcasting

(1) bb = tf.broadcast_to(b, [4, 3, 5]): 使用Broadcasting方法將b.shape由[3, 5]變為[4, 3, 5];
(2) a@bb: 可以看成是[2, 3]的矩陣和[3, 5]的矩陣相乘，這個操作是可以并行的，我們可以一次并行4個這樣的操作，所以得到4個2×5的矩陣，所以其shape=[4, 2, 5];

8. Recap

• $y=w?x+b$
• $Y=X@W+b$
• $\left[\begin{array}{cc}{x}_0^0& x_0^1\\ x_1^0& x_1^1\end{array}\right]\left[\begin{array}{ccc}{w}_{00}& w_{01}& w_{02}\\ w_{10}& w_{11}& w_{12}\end{array}\right]+[b_0,b_1,b_2]\to \left[\begin{array}{ccc}{y}_0^0& y_0^1& y_0^2\\ y_1^0& y_1^1& y_1^2\end{array}\right]$
• $[b,2]\to [b,3]$

9. $Y=X@W+b$

10. $out=relu(X@W+b)$

參考文獻:
[1] 龍良曲:《深度學習與TensorFlow2入門實戰》

總結

以上是生活随笔為你收集整理的深度学习（10）TensorFlow基础操作六: 数学运算的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。