當前位置：首頁 > 人工智能 > pytorch >内容正文

pytorch

01.神经网络和深度学习 W2.神经网络基础

發布時間：2024/7/5 pytorch 33 豆豆

生活随笔收集整理的這篇文章主要介紹了 01.神经网络和深度学习 W2.神经网络基础小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

文章目錄

- 1. 二分類
- 2. 邏輯回歸
- 3. 邏輯回歸損失函數
- 4. 梯度下降
- 5. 導數
- 6. 計算圖導數計算
- 7. 邏輯回歸中的梯度下降
- 8. m個樣本的梯度下降
- 9. 向量化
- 10. 向量化的更多例子
- 11. 向量化 logistic 回歸
- 12. 向量化 logistic 回歸梯度輸出
- 13. numpy 廣播機制
- 14. 關于 python / numpy 向量的說明
- 作業

參考：
吳恩達視頻課
深度學習筆記

1. 二分類

判斷圖片中動物是貓？不是貓？特征向量是 3通道的RGB矩陣展平

2. 邏輯回歸

3. 邏輯回歸損失函數

幾種常見的損失函數

$L(y^(i),y(i))=?(y(i)log?(y^(i))+(1?y(i))log?(1?y^(i)))L\left(\hat{y}^{(i)}, y^{(i)}\right)=-\left(y^{(i)} \log \left(\hat{y}^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-\hat{y}^{(i)}\right)\right)$
交叉熵損失函數，常用于二分類問題。

代價函數：

所有的樣本的損失函數的平均值
$J(w,b)=1m∑i=1mL(y^(i),y(i))=?1m∑i=1m[y(i)log?(y^(i))+(1?y(i))log?(1?y^(i))]J(w, b)=\frac{1}{m} \sum_{i=1}^{m} L\left(\hat{y}^{(i)}, y^{(i)}\right)=-\frac{1}{m} \sum_{i=1}^{m}\left[y^{(i)} \log \left(\hat{y}^{(i)}\right)+\left(1-y^{(i)}\right) \log \left(1-\hat{y}^{(i)}\right)\right]$

目標就是找到合適的參數，使得代價函數最小化

4. 梯度下降

如何尋找合適的 $w ， b$ 使得代價函數最小呢？

迭代的過程中，不斷的在各參數的偏導數方向上更新參數值， $α\alpha$ 是學習率
$w:=w?α?J(w,b)?wb:=b?α?J(w,b)?b\begin{array}{l}w:=w-\alpha \frac{\partial J(w, b)}{\partial w} \\ \\ b:=b-\alpha \frac{\partial J(w, b)}{\partial b}\end{array}$

5. 導數

函數在某一點的斜率，在不同的點，斜率可能是不同的。

6. 計算圖導數計算

鏈式求導法則：

7. 邏輯回歸中的梯度下降

$z=wTx+by^=a=σ(z)L(a,y)=?(ylog?(a)+(1?y)log?(1?a))\begin{array}{l}z=w^{T} x+b \\ \hat{y}=a=\sigma(z) \\ \mathcal{L}(a, y)=-(y \log (a)+(1-y) \log (1-a))\end{array}$

sigmoid 函數： $f(z)=11+e?zf(z)=\frac{1}{1+e^{-z}}$
sigmoid 求導：
$?f(z)?z=?1??1?e?z(1+e?z)2=e?z(1+e?z)2=1+e?z?1(1+e?z)2=11+e?z?1(1+e?z)2=11+e?z(1?11+e?z)=f(z)(1?f(z))\begin{aligned} \frac{\partial f(z)}{\partial z} &=\frac{-1 *-1 * e^{-z}}{\left(1+e^{-z}\right)^{2}}\\ &=\frac{e^{-z}}{\left(1+e^{-z}\right)^{2}}\\ &=\frac{1+e^{-z}-1}{\left(1+e^{-z}\right)^{2}}\\ &=\frac{1}{1+e^{-z}}-\frac{1}{\left(1+e^{-z}\right)^{2}}\\ &=\frac{1}{1+e^{-z}}\left(1-\frac{1}{1+e^{-z}}\right) \\ &=f(z)(1-f(z))\end{aligned}$

$?L?a=?ya+1?y1?a?L?z=?L?a?a?z=(?ya+1?y1?a)?a(1?a)=a?y?L?w1=?L?z?z?w1=x1(a?y)nameddw1?L?w2=?L?z?z?w2=x2(a?y)nameddw2?L?b=?L?z?z?b=a?ynameddb\begin{aligned} \frac{\partial\mathcal{L}}{\partial a} &= -\frac{y}{a}+\frac{1-y}{1-a}\\ \frac{\partial\mathcal{L}}{\partial z} &= \frac{\partial\mathcal{L}}{\partial a}\frac{\partial{a}}{\partial z} = \bigg(-\frac{y}{a}+\frac{1-y}{1-a}\bigg)*a(1-a)=a-y\\ \frac{\partial\mathcal{L}}{\partial w_1} &=\frac{\partial\mathcal{L}}{\partial z}\frac{\partial{z}}{\partial w_1} = x_1(a-y) \quad named \quad dw_1\\ \frac{\partial\mathcal{L}}{\partial w_2} &=\frac{\partial\mathcal{L}}{\partial z}\frac{\partial{z}}{\partial w_2} = x_2(a-y) \quad named \quad dw_2\\ \frac{\partial\mathcal{L}}{\partial b} &=\frac{\partial\mathcal{L}}{\partial z}\frac{\partial{z}}{\partial b} = a-y \quad\quad\quad named \quad db\\ \end{aligned}$

$w1:=w1?α?dw1w2:=w2?α?dw2b:=b?α?db\begin{array}{l}w_1:=w_1-\alpha *dw_1 \\ w_2 :=w_2-\alpha *dw_2 \\ b:=b-\alpha* db\end{array}$

8. m個樣本的梯度下降

假設有m個樣本，樣本有2個特征

// 偽代碼 from http://www.ai-start.com/dl2017/html/lesson1-week2.html J=0; dw1=0; dw2=0; db=0; for i = 1 to mz(i) = wx(i)+b;a(i) = sigmoid(z(i));J += -[y(i)log(a(i))+(1-y(i))log(1-a(i))];dz(i) = a(i)-y(i);dw1 += x1(i)dz(i); // 全部樣本的梯度累加dw2 += x2(i)dz(i);db += dz(i);// 求平均值 J /= m; dw1 /= m; dw2 /= m; db /= m;// 更新參數 w, b w = w - alpha*dw b = b - alpha*db

顯式的使用 for 循環是很低效的，要使用向量化技術加速計算速度

9. 向量化

使用 numpy 等庫實現向量化計算，效率更高

import numpy as np #導入numpy庫 a = np.array([1,2,3,4]) #創建一個數據a print(a) # [1 2 3 4] import time #導入時間庫 a = np.random.rand(1000000) b = np.random.rand(1000000) #通過round隨機得到兩個一百萬維度的數組tic = time.time() #現在測量一下當前時間 #向量化的版本 c = np.dot(a,b) toc = time.time() print(c) print('Vectorized version:' + str(1000*(toc-tic)) +'ms') #打印一下向量化的版本的時間#繼續增加非向量化的版本 c = 0 tic = time.time() for i in range(1000000):c += a[i]*b[i] toc = time.time() print(c) print('For loop:' + str(1000*(toc-tic)) + 'ms')#打印for循環的版本的時間

上面例子，向量化計算快了600多倍

250241.79388712568 Vectorized version:0.9975433349609375ms 250241.7938871326 For loop:687.734842300415ms

10. 向量化的更多例子

J=0; db=0; dw = np.zeros((nx,1)) // numpy向量化 for i = 1 to mz(i) = wx(i)+b;a(i) = sigmoid(z(i));J += -[y(i)log(a(i))+(1-y(i))log(1-a(i))];dz(i) = a(i)-y(i);dw += x(i)dz(i); // 向量化，全部樣本的梯度累加db += dz(i);// 求平均值 J /= m; dw /= m;// 向量化 db /= m;// 更新參數 w, b w = w - alpha*dw b = b - alpha*db

這樣就把內層的 dw1,... dwn 的計算使用向量化了，只用1層 for 循環，還可以做的更好，往下看

11. 向量化 logistic 回歸

邏輯回歸前向傳播步驟：

對每個樣本進行計算
$z^{(1)}=w^{T} x^{(1)}+b$
計算激活函數，得到預測值 y`
$a(1)=σ(z(1))a^{(1)} = \sigma(z^{(1)})$

可以使用 numpy 來計算：

$Z = np.dot(w^T, X)+b$ ，+ b 會對每個元素操作，是 numpy 的廣播機制
$A=[a(1)a(2)…a(m)]=σ(Z)A=\left[a^{(1)} a^{(2)} \ldots a^{(m)}\right]=\sigma(Z)$

這樣就沒有顯式使用 for 循環，計算非常高效

12. 向量化 logistic 回歸梯度輸出

$Z=wTX+b=np.dot(w.T,X)+bA=σ(Z)dZ=A?Ydw=1m?X?dZTdb=1m?np.sum(dZ)w:=w?a?dwb:=b?a?db\begin{array}{l}Z=w^{T} X+b=n p . d o t(w . T, X)+b \\ A=\sigma(Z) \\ d Z=A-Y \\ d w=\frac{1}{m} * X * d Z^{T} \\ d b=\frac{1}{m} * n p . sum(d Z) \\ w:=w-a * d w \\ b:=b-a * d b\end{array}$

非向量化、向量化對比：

這樣就向量化的計算，完成了邏輯回歸的 1 次迭代，要完成 n_iter 次迭代就在外層加一層 for 循環，這個 for 是省不了的

13. numpy 廣播機制

import numpy as npA = np.array([[56, 0, 4.4, 68],[1.2, 104, 52, 8],[1.8, 135, 99, 0.9] ])cal = A.sum(axis=0) # 按列求和 print(cal)percentage = 100 * A / cal.reshape(1, 4) print(percentage) [ 59. 239. 155.4 76.9] [[94.91525424 0. 2.83140283 88.42652796][ 2.03389831 43.51464435 33.46203346 10.40312094][ 3.05084746 56.48535565 63.70656371 1.17035111]]

axis指明運算沿著哪個軸執行，在numpy中，0軸是垂直的，也就是列，而1軸是水平的，也就是行

例1

A = np.array([[1, 2, 3, 4]]) b = 100 print(A+b)

[[101 102 103 104]]

例2

A = np.array([[1, 2, 3],[4, 5, 6]]) B = np.array([100, 200, 300]) print(A+B)

[[101 202 303][104 205 306]]

例3

A = np.array([[1, 2, 3],[4, 5, 6]]) B = np.array([[100], [200]]) print(A + B)

[[101 102 103][204 205 206]]

廣播機制與執行的運算種類無關

14. 關于 python / numpy 向量的說明

總是使用 nx1 維矩陣（列向量），或者 1xn 維矩陣（行向量）
為了確保所需要的維數時，不要羞于 reshape 操作

作業

01.神經網絡和深度學習 W2.神經網絡基礎（作業 - 邏輯回歸圖片識別）

總結

以上是生活随笔為你收集整理的01.神经网络和深度学习 W2.神经网络基础的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。

上一篇： LeetCode 1550. 存在连续三
下一篇：梳理百年深度学习发展史-七月在线机器学习