在TensorFlow中讀取數據一般有兩種方法：

• 使用placeholder讀內存中的數據
• 使用queue讀硬盤中的數據

Dataset API同時支持從內存和硬盤的讀取，相比之前的兩種方法在語法上更加簡潔易懂。此外，如果想要用到TensorFlow新出的Eager模式，就必須要使用Dataset API來讀取數據。

一、tensorflow讀取機制圖解

首先需要思考的一個問題是，什么是數據讀取？以圖像數據為例，讀取數據的過程可以用下圖來表示：

假設我們的硬盤中有一個圖片數據集0001.jpg，0002.jpg，0003.jpg……我們只需要把它們讀取到內存中，然后提供給GPU或是CPU進行計算就可以了。這聽起來很容易，但事實遠沒有那么簡單。事實上，我們必須要把數據先讀入后才能進行計算，假設讀入用時0.1s，計算用時0.9s，那么就意味著每過1s，GPU都會有0.1s無事可做，這就大大降低了運算的效率。

如何解決這個問題？方法就是將讀入數據和計算分別放在兩個線程中，將數據讀入內存的一個隊列，如下圖所示：

讀取線程源源不斷地將文件系統中的圖片讀入到一個內存的隊列中，而負責計算的是另一個線程，計算需要數據時，直接從內存隊列中取就可以了。這樣就可以解決GPU因為IO而空閑的問題！

而在tensorflow中，為了方便管理，在內存隊列前又添加了一層所謂的“文件名隊列”。

為什么要添加這一層文件名隊列？我們首先得了解機器學習中的一個概念：epoch。對于一個數據集來講，運行一個epoch就是將這個數據集中的圖片全部計算一遍。如一個數據集中有三張圖片A.jpg、B.jpg、C.jpg，那么跑一個epoch就是指對A、B、C三張圖片都計算了一遍。兩個epoch就是指先對A、B、C各計算一遍，然后再全部計算一遍，也就是說每張圖片都計算了兩遍。

tensorflow使用文件名隊列+內存隊列雙隊列的形式讀入文件，可以很好地管理epoch。下面我們用圖片的形式來說明這個機制的運行方式。如下圖，還是以數據集A.jpg, B.jpg, C.jpg為例，假定我們要跑一個epoch，那么我們就在文件名隊列中把A、B、C各放入一次，并在之后標注隊列結束。

程序運行后，內存隊列首先讀入A（此時A從文件名隊列中出隊）：

再依次讀入B和C：

此時，如果再嘗試讀入，系統由于檢測到了“結束”，就會自動拋出一個異常（OutOfRange）。外部捕捉到這個異常后就可以結束程序了。這就是tensorflow中讀取數據的基本機制。如果我們要跑2個epoch而不是1個epoch，那只要在文件名隊列中將A、B、C依次放入兩次再標記結束就可以了。

二、tensorflow讀取數據機制的對應函數

如何在tensorflow中創建上述的兩個隊列呢？

對于文件名隊列，我們使用tf.train.string_input_producer函數。這個函數需要傳入一個文件名list，系統會自動將它轉為一個文件名隊列。

此外tf.train.string_input_producer還有兩個重要的參數，一個是num_epochs，它就是我們上文中提到的epoch數。另外一個就是shuffle，shuffle是指在一個epoch內文件的順序是否被打亂。若設置shuffle=False，如下圖，每個epoch內，數據還是按照A、B、C的順序進入文件名隊列，這個順序不會改變：

如果設置shuffle=True，那么在一個epoch內，數據的前后順序就會被打亂，如下圖所示：

在tensorflow中，內存隊列不需要我們自己建立，我們只需要使用reader對象從文件名隊列中讀取數據就可以了，具體實現可以參考下面的實戰代碼。

除了tf.train.string_input_producer外，我們還要額外介紹一個函數：tf.train.start_queue_runners。初學者會經常在代碼中看到這個函數，但往往很難理解它的用處，在這里，有了上面的鋪墊后，我們就可以解釋這個函數的作用了。

在我們使用tf.train.string_input_producer創建文件名隊列后，整個系統其實還是處于“停滯狀態”的，也就是說，我們文件名并沒有真正被加入到隊列中（如下圖所示）。此時如果我們開始計算，因為內存隊列中什么也沒有，計算單元就會一直等待，導致整個系統被阻塞。

而使用tf.train.start_queue_runners之后，才會啟動填充隊列的線程，這時系統就不再“停滯”。此后計算單元就可以拿到數據并進行計算，整個程序也就跑起來了，這就是函數tf.train.start_queue_runners的用處。

三、實戰代碼

我們用一個具體的例子感受tensorflow中的數據讀取。如圖，假設我們在當前文件夾中已經有A.jpg、B.jpg、C.jpg三張圖片，我們希望讀取這三張圖片5個epoch并且把讀取的結果重新存到read文件夾中。

# 導入tensorflow import tensorflow as tf # 新建一個Session with tf.Session() as sess:# 我們要讀三幅圖片A.jpg, B.jpg, C.jpgfilename = ['A.jpg', 'B.jpg', 'C.jpg']# string_input_producer會產生一個文件名隊列filename_queue = tf.train.string_input_producer(filename, shuffle=False, num_epochs=5)# reader從文件名隊列中讀數據。對應的方法是reader.readreader = tf.WholeFileReader()key, value = reader.read(filename_queue)# tf.train.string_input_producer定義了一個epoch變量，要對它進行初始化tf.local_variables_initializer().run()# 使用start_queue_runners之后，才會開始填充隊列threads = tf.train.start_queue_runners(sess=sess)i = 0while True:i += 1# 獲取圖片數據并保存image_data = sess.run(value)with open('read/test_%d.jpg' % i, 'wb') as f:f.write(image_data)

我們這里使用filename_queue = tf.train.string_input_producer(filename, shuffle=False, num_epochs=5)建立了一個會跑5個epoch的文件名隊列。并使用reader讀取，reader每次讀取一張圖片并保存。

運行代碼后，我們得到就可以看到read文件夾中的圖片，正好是按順序的5個epoch：

如果我們設置filename_queue = tf.train.string_input_producer(filename, shuffle=False, num_epochs=5)中的shuffle=True，那么在每個epoch內圖像就會被打亂，如圖所示：

我們這里只是用三張圖片舉例，實際應用中一個數據集肯定不止3張圖片，不過涉及到的原理都是共通的。

下面就詳細地介紹一下Dataset API的使用方法（包括在非Eager模式和Eager模式下兩種情況）。

Dataset API的導入

在TensorFlow 1.3中，Dataset API是放在contrib包中的：

tf.contrib.data.Dataset

而在TensorFlow 1.4中，Dataset API已經從contrib包中移除，變成了核心API的一員：

tf.data.Dataset

下面的示例代碼將以TensorFlow 1.4版本為例，如果使用TensorFlow 1.3的話，需要進行簡單的修改（即加上contrib）。

基本概念：Dataset與Iterator

讓我們從基礎的類來了解Dataset API。參考Google官方給出的Dataset API中的類圖：

在初學時，我們只需要關注兩個最重要的基礎類：Dataset和Iterator。

Dataset可以看作是相同類型“元素”的有序列表。在實際使用時，單個“元素”可以是向量，也可以是字符串、圖片，甚至是tuple或者dict。

先以最簡單的，Dataset的每一個元素是一個數字為例：

import tensorflow as tf import numpy as npdataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))

這樣，我們就創建了一個dataset，這個dataset中含有5個元素，分別是1.0, 2.0, 3.0, 4.0, 5.0。

如何將這個dataset中的元素取出呢？方法是從Dataset中示例化一個Iterator，然后對Iterator進行迭代。

在非Eager模式下，讀取上述dataset中元素的方法為：

iterator = dataset.make_one_shot_iterator() one_element = iterator.get_next() with tf.Session() as sess:for i in range(5):print(sess.run(one_element))

對應的輸出結果應該就是從1.0到5.0。語句iterator = dataset.make_one_shot_iterator()從dataset中實例化了一個Iterator，這個Iterator是一個“one shot iterator”，即只能從頭到尾讀取一次。one_element = iterator.get_next()表示從iterator里取出一個元素。由于這是非Eager模式，所以one_element只是一個Tensor，并不是一個實際的值。調用sess.run(one_element)后，才能真正地取出一個值。

如果一個dataset中元素被讀取完了，再嘗試sess.run(one_element)的話，就會拋出tf.errors.OutOfRangeError異常，這個行為與使用隊列方式讀取數據的行為是一致的。在實際程序中，可以在外界捕捉這個異常以判斷數據是否讀取完，請參考下面的代碼：

dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0])) iterator = dataset.make_one_shot_iterator() one_element = iterator.get_next() with tf.Session() as sess:try:while True:print(sess.run(one_element))except tf.errors.OutOfRangeError:print("end!")

在Eager模式中，創建Iterator的方式有所不同。是通過tfe.Iterator(dataset)的形式直接創建Iterator并迭代。迭代時可以直接取出值，不需要使用sess.run()：

import tensorflow.contrib.eager as tfe tfe.enable_eager_execution()dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))for one_element in tfe.Iterator(dataset):print(one_element)

從內存中創建更復雜的Dataset

之前我們用tf.data.Dataset.from_tensor_slices創建了一個最簡單的Dataset：

dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0]))

其實，tf.data.Dataset.from_tensor_slices的功能不止如此，它的真正作用是切分傳入Tensor的第一個維度，生成相應的dataset。

例如：

dataset = tf.data.Dataset.from_tensor_slices(np.random.uniform(size=(5, 2)))

傳入的數值是一個矩陣，它的形狀為(5, 2)，tf.data.Dataset.from_tensor_slices就會切分它形狀上的第一個維度，最后生成的dataset中一個含有5個元素，每個元素的形狀是(2, )，即每個元素是矩陣的一行。

在實際使用中，我們可能還希望Dataset中的每個元素具有更復雜的形式，如每個元素是一個Python中的元組，或是Python中的詞典。例如，在圖像識別問題中，一個元素可以是{"image": image_tensor, "label": label_tensor}的形式，這樣處理起來更方便。

tf.data.Dataset.from_tensor_slices同樣支持創建這種dataset，例如我們可以讓每一個元素是一個詞典：

dataset = tf.data.Dataset.from_tensor_slices({"a": np.array([1.0, 2.0, 3.0, 4.0, 5.0]), "b": np.random.uniform(size=(5, 2))} )

這時函數會分別切分"a"中的數值以及"b"中的數值，最終dataset中的一個元素就是類似于{"a": 1.0, "b": [0.9, 0.1]}的形式。

利用tf.data.Dataset.from_tensor_slices創建每個元素是一個tuple的dataset也是可以的：

dataset = tf.data.Dataset.from_tensor_slices((np.array([1.0, 2.0, 3.0, 4.0, 5.0]), np.random.uniform(size=(5, 2))) )

對Dataset中的元素做變換：Transformation

Dataset支持一類特殊的操作：Transformation。一個Dataset通過Transformation變成一個新的Dataset。通常我們可以通過Transformation完成數據變換，打亂，組成batch，生成epoch等一系列操作。

常用的Transformation有：

• map
• batch
• shuffle
• repeat

下面就分別進行介紹。

（1）map

map接收一個函數，Dataset中的每個元素都會被當作這個函數的輸入，并將函數返回值作為新的Dataset，如我們可以對dataset中每個元素的值加1：

dataset = tf.data.Dataset.from_tensor_slices(np.array([1.0, 2.0, 3.0, 4.0, 5.0])) dataset = dataset.map(lambda x: x + 1) # 2.0, 3.0, 4.0, 5.0, 6.0

（2）batch

batch就是將多個元素組合成batch，如下面的程序將dataset中的每個元素組成了大小為32的batch：

dataset = dataset.batch(32)

（3）shuffle

shuffle的功能為打亂dataset中的元素，它有一個參數buffersize，表示打亂時使用的buffer的大小：

dataset = dataset.shuffle(buffer_size=10000)

（4）repeat

repeat的功能就是將整個序列重復多次，主要用來處理機器學習中的epoch，假設原先的數據是一個epoch，使用repeat(5)就可以將之變成5個epoch：

dataset = dataset.repeat(5)

如果直接調用repeat()的話，生成的序列就會無限重復下去，沒有結束，因此也不會拋出tf.errors.OutOfRangeError異常：

dataset = dataset.repeat()

例子：讀入磁盤圖片與對應label

講到這里，我們可以來考慮一個簡單，但同時也非常常用的例子：讀入磁盤中的圖片和圖片相應的label，并將其打亂，組成batch_size=32的訓練樣本。在訓練時重復10個epoch。

對應的程序為（從官方示例程序修改而來）：

# 函數的功能時將filename對應的圖片文件讀進來，并縮放到統一的大小 def _parse_function(filename, label):image_string = tf.read_file(filename)image_decoded = tf.image.decode_image(image_string)image_resized = tf.image.resize_images(image_decoded, [28, 28])return image_resized, label# 圖片文件的列表 filenames = tf.constant(["/var/data/image1.jpg", "/var/data/image2.jpg", ...]) # label[i]就是圖片filenames[i]的label labels = tf.constant([0, 37, ...])# 此時dataset中的一個元素是(filename, label) dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))# 此時dataset中的一個元素是(image_resized, label) dataset = dataset.map(_parse_function)# 此時dataset中的一個元素是(image_resized_batch, label_batch) dataset = dataset.shuffle(buffersize=1000).batch(32).repeat(10)

在這個過程中，dataset經歷三次轉變：

• 運行dataset = tf.data.Dataset.from_tensor_slices((filenames, labels))后，dataset的一個元素是(filename, label)。filename是圖片的文件名，label是圖片對應的標簽。
• 之后通過map，將filename對應的圖片讀入，并縮放為28x28的大小。此時dataset中的一個元素是(image_resized, label)
• 最后，dataset.shuffle(buffersize=1000).batch(32).repeat(10)的功能是：在每個epoch內將圖片打亂組成大小為32的batch，并重復10次。最終，dataset中的一個元素是(image_resized_batch, label_batch)，image_resized_batch的形狀為(32, 28, 28, 3)，而label_batch的形狀為(32, )，接下來我們就可以用這兩個Tensor來建立模型了。

Dataset的其它創建方法....

除了tf.data.Dataset.from_tensor_slices外，目前Dataset API還提供了另外三種創建Dataset的方式：

• tf.data.TextLineDataset()：這個函數的輸入是一個文件的列表，輸出是一個dataset。dataset中的每一個元素就對應了文件中的一行。可以使用這個函數來讀入CSV文件。
• tf.data.FixedLengthRecordDataset()：這個函數的輸入是一個文件的列表和一個record_bytes，之后dataset的每一個元素就是文件中固定字節數record_bytes的內容。通常用來讀取以二進制形式保存的文件，如CIFAR10數據集就是這種形式。
• tf.data.TFRecordDataset()：顧名思義，這個函數是用來讀TFRecord文件的，dataset中的每一個元素就是一個TFExample。

它們的詳細使用方法可以參閱文檔：Module: tf.data

更多類型的Iterator....

在非Eager模式下，最簡單的創建Iterator的方法就是通過dataset.make_one_shot_iterator()來創建一個one shot iterator。除了這種one shot iterator外，還有三個更復雜的Iterator，即：

• initializable iterator
• reinitializable iterator
• feedable iterator

initializable iterator必須要在使用前通過sess.run()來初始化。使用initializable iterator，可以將placeholder代入Iterator中，這可以方便我們通過參數快速定義新的Iterator。一個簡單的initializable iterator使用示例：

limit = tf.placeholder(dtype=tf.int32, shape=[])dataset = tf.data.Dataset.from_tensor_slices(tf.range(start=0, limit=limit))iterator = dataset.make_initializable_iterator() next_element = iterator.get_next()with tf.Session() as sess:sess.run(iterator.initializer, feed_dict={limit: 10})for i in range(10):value = sess.run(next_element)assert i == value

此時的limit相當于一個“參數”，它規定了Dataset中數的“上限”。

initializable iterator還有一個功能：讀入較大的數組。

在使用tf.data.Dataset.from_tensor_slices(array)時，實際上發生的事情是將array作為一個tf.constants保存到了計算圖中。當array很大時，會導致計算圖變得很大，給傳輸、保存帶來不便。這時，我們可以用一個placeholder取代這里的array，并使用initializable iterator，只在需要時將array傳進去，這樣就可以避免把大數組保存在圖里，示例代碼為（來自官方例程）：

# 從硬盤中讀入兩個Numpy數組 with np.load("/var/data/training_data.npy") as data:features = data["features"]labels = data["labels"]features_placeholder = tf.placeholder(features.dtype, features.shape) labels_placeholder = tf.placeholder(labels.dtype, labels.shape)dataset = tf.data.Dataset.from_tensor_slices((features_placeholder, labels_placeholder)) iterator = dataset.make_initializable_iterator() sess.run(iterator.initializer, feed_dict={features_placeholder: features,labels_placeholder: labels})

reinitializable iterator和feedable iterator相比initializable iterator更復雜，也更加少用，如果想要了解它們的功能，可以參閱官方介紹，這里就不再贅述了。

總結

本文主要介紹了Dataset API的基本架構：Dataset類和Iterator類，以及它們的基礎使用方法。

在非Eager模式下，Dataset中讀出的一個元素一般對應一個batch的Tensor，我們可以使用這個Tensor在計算圖中構建模型。

在Eager模式下，Dataset建立Iterator的方式有所不同，此時通過讀出的數據就是含有值的Tensor，方便調試。

作為兼容兩種模式的Dataset API，在今后應該會成為TensorFlow讀取數據的主流方式。

總結

以上是生活随笔為你收集整理的TensorFlow数据读取方式：Dataset用法的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。