假設(shè)有一個(gè)保存為npy格式的numpy數(shù)據(jù)集，現(xiàn)在需要將其變?yōu)閜ytorch的數(shù)據(jù)集，并能夠被數(shù)據(jù)加載器DataLoader所加載

首先自定義一個(gè)數(shù)據(jù)集類，繼承torch.utils.data.Dataset類

在這個(gè)類中要實(shí)現(xiàn)__init__，__getitem__，__len__這三個(gè)方法，否則會(huì)報(bào)錯(cuò)

然后實(shí)例化這個(gè)類，得到train_data，最后將train_data放入DataLoader數(shù)據(jù)加載器，到此已經(jīng)完成

注意，在下面這個(gè)代碼中的x（也就是數(shù)據(jù)加載器加載出來(lái)的數(shù)據(jù)）的類型是tensor。也就是說(shuō)，上面的實(shí)現(xiàn)中自動(dòng)把numpy數(shù)據(jù)類型轉(zhuǎn)化為了tensor類型

from torch.utils.data import Dataset, DataLoaderclass MyDataset(Dataset):"""path：數(shù)據(jù)集存放路徑"""def __init__(self, path):self.data = np.load(path)def __getitem__(self, index):return self.data[index]def __len__(self):return len(self.data)if __name__ == '__main__':train_data = MyDataset(r"D:\dataset.npy")load1 = DataLoader(train_data, batch_size=128, shuffle=True, pin_memory=True, num_workers=3)for x in load1:print(x.size())

有時(shí)候我們需要同時(shí)加載數(shù)據(jù)和其對(duì)應(yīng)的標(biāo)簽，則需要將數(shù)據(jù)集和標(biāo)簽定義在同一個(gè)數(shù)據(jù)加載器中，這時(shí)可以采用以下方法：

from torch.utils.data import Dataset, DataLoaderclass MyDataset(Dataset):def __init__(self, data, label):self.data = dataself.label = labeldef __getitem__(self, index):return self.data[index], self.label[index]def __len__(self):return len(self.label)if __name__ == '__main__':a = np.array([0,1,2,3,4,5])b = np.array([6,7,8,9,10,11])trainset = MyDataset(a, b)train_loader = torch.utils.data.DataLoader(trainset, batch_size=2, shuffle=True, pin_memory=True,num_workers=3)for x, y in train_loader:print(x, y)

重點(diǎn)在__getitem__方法的實(shí)現(xiàn)，需要同時(shí)返回?cái)?shù)據(jù)和標(biāo)簽

總結(jié)

以上是生活随笔為你收集整理的pytorch自定义数据集和数据加载器的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。