學習筆記，僅供參考，有錯必糾

---

文章目錄

• • 原理
  • 代碼
  • • 初始設置
    • 導包
    • 載入數據
    • 模型

---

原理

• 交叉熵（Cross-Entropy）

$$Loss=?(t?\ln y+(1?t)\ln (1?y))$$

代碼

初始設置

# 支持多行輸出 from IPython.core.interactiveshell import InteractiveShell InteractiveShell.ast_node_interactivity = 'all' #默認為'last'

導包

# 導入常用的包 import numpy as np from torch import nn,optim from torch.autograd import Variable from torchvision import datasets, transforms from torch.utils.data import DataLoader import torch

載入數據

# 載入數據 train_dataset = datasets.MNIST(root = './data/', # 載入的數據存放的位置train = True, # 載入訓練集數據transform = transforms.ToTensor(), # 將載入進來的數據變成Tensordownload = True) # 是否下載數據 test_dataset = datasets.MNIST(root = './data/', # 載入的數據存放的位置train = False, # 載入測試集數據transform = transforms.ToTensor(), # 將載入進來的數據變成Tensordownload = True) # 是否下載數據

?

# 批次大小 batch_size = 64# 裝載訓練集 train_loader = DataLoader(dataset=train_dataset,batch_size=batch_size,shuffle=True)# 裝載訓練集 test_loader = DataLoader(dataset=test_dataset,batch_size=batch_size,shuffle=True)

模型

# 定義網絡結構 class Net(nn.Module):def __init__(self):super(Net, self).__init__()self.fc1 = nn.Linear(784,10)self.softmax = nn.Softmax(dim=1)def forward(self,x):# ([64, 1, 28, 28])->(64,784)x = x.view(x.size()[0], -1)x = self.fc1(x)x = self.softmax(x)return x LR = 0.5 # 定義模型 model = Net() # 定義代價函數為交叉熵代價函數 mse_loss = nn.CrossEntropyLoss() # 定義優化器 optimizer = optim.SGD(model.parameters(), LR)

相比于PyTorch基礎(part4)中的MSELoss()，這里我們改用CrossEntropyLoss().

同時，在下面的訓練過程中，我們也不需要把標簽該為獨熱編碼的形式.

def train():for i,data in enumerate(train_loader):# 獲得一個批次的數據和標簽inputs, labels = data# 獲得模型預測結果（64,10）out = model(inputs)# 計算loss,交叉熵代價函數out(batch,C), labels(batch)loss = mse_loss(out, labels)# 梯度清0optimizer.zero_grad()# 計算梯度loss.backward()# 修改權值optimizer.step()def test():correct = 0for i,data in enumerate(test_loader):# 獲得一個批次的數據和標簽inputs, labels = data# 獲得模型預測結果（64,10）out = model(inputs)# 獲得最大值，以及最大值所在的位置_, predicted = torch.max(out, 1)# 預測正確的數量correct += (predicted == labels).sum()print("Test acc:{0}".format(correct.item()/len(test_dataset))) for epoch in range(10):print('epoch:',epoch)train()test() epoch: 0 Test acc:0.9064 epoch: 1 Test acc:0.9138 epoch: 2 Test acc:0.9172 epoch: 3 Test acc:0.9206 epoch: 4 Test acc:0.92 epoch: 5 Test acc:0.9215 epoch: 6 Test acc:0.9208 epoch: 7 Test acc:0.9243 epoch: 8 Test acc:0.9237 epoch: 9 Test acc:0.9237

對比上一篇blog中的訓練準確率，在訓練相同次數的情況下，使用交叉熵代價函數的效果會更好一些.

總結

以上是生活随笔為你收集整理的PyTorch基础(part5)--交叉熵的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。