从零学PyTorch:DataLoader构建高效的自定义数据集
生活随笔
收集整理的這篇文章主要介紹了
从零学PyTorch:DataLoader构建高效的自定义数据集
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
Torch中可以創建一個DataSet對象,并與dataloader一起使用,在訓練模型時不斷為模型提供數據Torch中DataLoader的參數如下
DataLoader(dataset, batch_size=1, shuffle=False, sampler=None, batch_sampler=None, num_workers=0, collate_fn=None, pin_memory=False, drop_last=False, timeout=0, worker_init_fn=None)其中最重要的參數是dataset,是一個抽象類,包含兩種類型:map-style datasets 和 iterable-style datasets.
1、map-style datasets 映射樣式
借助映射樣式構建數據集有兩種方法,一種是構建dateset類,另外一種是借助TensorDataset直接將數據包裝成dataset類,再傳入到dataloader.
第一種方法:構建dateset類
該類型的dataset,其所有的子類必須重寫__getitem__() 方法和__len()__方法:
(1)其中__getitem__函數的作用是根據索引index遍歷數據 (2)__len__函數的作用是返回數據集的長度 (3)在創建的dataset類中可根據自己的需求對數據進行處理。可編寫獨立的數據處理函數,在__getitem__函數中進行調用;或者直接將數據處理方法寫在__getitem__函數中或者__init__函數中,但__getitem
總結
以上是生活随笔為你收集整理的从零学PyTorch:DataLoader构建高效的自定义数据集的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 自动驾驶中激光雷达如何检测障碍物?
- 下一篇: 深入理解支持向量机(SVM)