. 輸入為z向量，$z=[z_1,z_2,...,z_n]$，維度為（1，n）輸出$s=[\frac{e^1}{{\sum }_{k=1}^n{e}^k},\frac{e^2}{{\sum }_{k=1}^n{e}^k},...,\frac{e^n}{{\sum }_{k=1}^n{e}^k}]$,

維度為（1，n）

2. 經過softmax函數， $s_i=\frac{e^i}{{\sum }_{k=1}^n{e}^k}$

3. Softmax Loss損失函數定義為L， $L=?{\sum }_{k=1}^n{y}_i\ln \left(s_i\right)$,L是一個標量，維度為（1,1）

其中y向量為模型的Label，維度也是（1，n），為已知量，一般為onehot形式。

我們假設第 j 個類別是正確的，則y=[0,0,…1,…,0],只有$y_j=1$,其余$y_j=0$

$L=?y_j\ln \left(s_j\right)==?\ln \left(s_j\right)$

我們的目標是求 標量L對向量 Z 的導數$\frac{?L}{?Z}$

由鏈式法則，$\frac{?L}{?z}=\frac{?L}{?s}?\frac{?s}{?z}$

其中s和z均為維度為（1，n）的向量。

$\frac{?L}{?s}=[0,0,...,?\frac{1}{s_j},0,...,0],dim=[1?n]$

$\frac{?s}{?z}=$如下,dim=[n*n]

$$\frac{?s}{?z}=?\begin{array}{cccccccc}{s}_1?[1?s_1]& ?s_1?s_2& ?s_1?s_3& ...& ?s_1?s_j& ...& ?s_1?s_n& \\ ?s_2?s_1& s_2?[1?s_2]& ?s_2?s_2& ....& ?s_2?s_j& ...& ?s_2?s_n& \\ ?s_3?s_1& ?s_3?s_2& s_3?[1?s_3]& ...& ?s_3?s_j& ...& ?s_3?s_n& \\ ...& ...& ...& ...& ...& ...& & \\ ?s_j?s_1& ?s_j?s_2& ?s_j?s_3& ...& s_j?[1?s_j]& ...& ?s_j?s_n& \\ ...& ...& ...& ...& ...& ...& & \\ ?s_n?s_1& ?s_n?s_2& ?s_n?s_3& ....& ?s_n?s_j& ...& s_n?[1?s_n]& \end{array}?$$

[1＊n] $\frac{?L}{?s}$的矩陣左乘n*n的矩陣$\frac{?s}{?z}$

$$\frac{?L}{?z}=\frac{?L}{?s}?\frac{?s}{?z}=[s_1,s_2,...,s_j?1,...,s_n]=s?y$$

主要鏈接
在線latex
一個國外的小哥的推導

總結

以上是生活随笔為你收集整理的交叉熵求导的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。