functions中的一個交叉熵的代碼是這樣的：

def cross_entropy_error(y, t):if y.ndim == 1:t = t.reshape(1, t.size)y = y.reshape(1, y.size)if t.size == y.size:t = t.argmax(axis=1) #① batch_size = y.shape[0]#這里batch_size是100return -np.sum(np.log(y[np.arange(batch_size), t] + 1e-7)) / batch_size

我們來仔細對照下這個函數到底怎么回事。
根據[1]:

$$L(w)=\frac{1}{N}\sum _{n=1}^{N}H(p_n,q_n)$$
$$=?\frac{1}{N}\sum _{n=1}^N[p_{n}log{q}_n+(1?p_n)log(1?q_n)]（這個形式僅僅適用于二分類）$$
$$=?\frac{1}{N}\sum _{n=1}^N\sum _{k=1}^2[p_{nk}?log{q}_{nk}]$$

代碼中公式中備注

batch_size	$N$
np.sum	$\sum$
$p_n$	代碼①處等號右側的$t$	因為這個$t$中的元素非0即1，所以在代碼中沒有顯式體現
$q_n$	$y$

注意：

課本P87的(4.2):
$$E=?\sum _k{t}_{k}log{y}_k$$
針對的是單條數據的預測，這里的k指的是單條數據的第$k$個元素，對應神經網絡的第$k$個輸出端口。

課本P89的(4.3):
$$E=?\frac{1}{N}\sum _n\sum _k{t}_{nk}log{y}_{nk}$$
針對的是$N$條數據,這里的$n\in [1,N]$

Reference:
[1]https://blog.csdn.net/appleyuchi/article/details/86497288

總結

以上是生活随笔為你收集整理的第五章functions.py中的交叉熵代码解释的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。