在使用深度學習學習圖像文件的時候，如果圖片文件很多，比如大幾千張，或者幾萬張。如果將一個圖片再接一個圖片導入到內存中，會極大地拖慢深度學習算法運行速度。我們都有過這樣的經驗，如果將一個文件夾里面有幾萬個文件的文件夾進行復制，其速度要比將文件夾打包之后復制速度要慢很多。

為了不讓IO運算（將硬件中的圖片一個一個導入到內存中）成為深度學習訓練速度無法提高的一個瓶頸，這里來介紹一種方法，就是將很多的文件打包成一個HDF5的文件格式，最后用深度學習算法學習的時候，直接HDF5文件中導入數據就可以。

HDF5文件介紹

HDF5是一種數據存儲格式，特別適合向磁盤中存取大數據的時候使用。一個HDF5文件可以被看成一個組，包含了不同的數據集，數據集可以是圖像表格等等。HDF5組結構類似于文件系統的目錄層次結構，根目錄再包含其他目錄。節點目錄里存放相應的數據集。

安裝很簡單，使用pip

pip install h5py

如何將訓練數據生成HDF5文件

class HDF5DatasetWriter:def __init__(self, dims, outputPath, dataKey="images", bufSize=1000):# 如果輸出文件路徑存在，提示異常if os.path.exists(outputPath):raise ValueError("The supplied 'outputPath' already exists and cannot be overwritten. Manually delete the file before continuing", outputPath)# 構建兩種數據，一種用來存儲圖像特征一種用來存儲標簽self.db = h5py.File(outputPath, "w")self.data = self.db.create_dataset(dataKey, dims, dtype="float")self.labels = self.db.create_dataset("labels", (dims[0],), dtype="int")# 設置buffer大小，并初始化bufferself.bufSize = bufSizeself.buffer = {"data": [], "labels": []}self.idx = 0 # 用來進行計數def add(self, rows, labels):self.buffer["data"].extend(rows)self.buffer["labels"].extend(labels)# 查看是否需要將緩沖區的數據添加到磁盤中if len(self.buffer["data"]) >= self.bufSize:self.flush()def flush(self):# 將buffer中的內容寫入磁盤之后重置bufferi = self.idx + len(self.buffer["data"])self.data[self.idx:i] = self.buffer["data"]self.labels[self.idx:i] = self.buffer["labels"]self.idx = iself.buffer = {"data": [], "labels": []}def storeClassLabels(self, classLabels):# 存儲類別標簽dt = h5py.special_dtype(vlen=str) # 表明存儲的數據類型為字符串類型labelSet = self.db.create_dataset("label_names", (len(classLabels),), dtype=dt)# 將classLabels賦值給labelSet但二者不指向同一內存地址labelSet[:] = classLabelsdef close(self):if len(self.buffer["data"]) > 0: # 查看是否緩沖區中還有數據self.flush()self.db.close()

在這段代碼中，我們定義一個類來實現文件的讀取和打包并生成HDF5文件。

如何讀取HDF5文件用于訓練

class HDF5DatasetGenerator:def __init__(self, dbPath, batchSize, preprocessors = None, aug = None, binarize=True, classes=2):# 保存參數列表self.batchSize = batchSizeself.preprocessors = preprocessorsself.aug = augself.binarize = binarizeself.classes = classes# hdf5數據集self.db = h5py.File(dbPath)self.numImages = self.db['labels'].shape[0]def generator(self, passes=np.inf):epochs = 0# 默認是無限循環遍歷，因為np.inf是無窮while epochs < passes:# 遍歷數據for i in np.arange(0, self.numImages, self.batchSize):# 從hdf5中提取數據集images = self.db['images'][i: i + self.batchSize]labels = self.db['labels'][i: i + self.batchSize]# 檢查是否標簽需要二值化處理if self.binarize:labels = np_utils.to_categorical(labels, self.classes)# 預處理if self.preprocessors is not None:proImages = []for image in images:for p in self.preprocessors:image = p.preprocess(image)proImages.append(image)images = np.array(proImages)# 查看是否存在數據增強，如果存在，應用數據增強if self.aug is not None:(images, labels) = next(self.aug.flow(images,labels, batch_size = self.batchSize))# 返回yield (images, labels)epochs += 1def close(self):# 關閉dbself.db.close()

在這段代碼中，我們以生成器的形式來讀取HDF5文件，返回用于訓練。

另外，我錄制了一個視頻用來演示如何將貓狗大戰數據集生成HDF5文件，然后讀取HDF5文件用于進行神經網絡訓練。對具體如何操作感興趣的，可以看我這個視頻了解一下。

對貓狗圖片數據集生成HDF5文件和模型訓練

總結

以上是生活随笔為你收集整理的如何生成HDF5文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。