模塊:tf.data
定義在tensorflow/_api/v1/data/init.py
輸入管道的tf.data.Dataset API
模塊
實驗模塊:構建輸入管道的實驗API。
類
class Dataset:可能是大型的元素集。
class FixedLengthRecordDataset: 來自一個或多個二進制文件的固定長度記錄的數據集。
class Iterator: 表示通過數據集迭代的狀態。
class Options:表示tf.data.Dataset的選項。
class TFRecordDataset: 包含來自一個或多個TFRecord文件的記錄的數據集。
class TextLineDataset: 由一個或多個文本文件中的行組成的數據集。
從簡單的、可重用的部分構建復雜的輸入管道。
例如，圖像模型的管道可以聚合分布式文件系統中文件中的數據，對每個圖像應用隨機擾動，并將隨機選擇的圖像合并成一批進行訓練。文本模型的管道可能包括從原始文本數據中提取符號，將它們轉換為嵌入查找表的標識符，以及將不同長度的序列批處理在一起。

tf.data API使處理大量數據、不同的數據格式和復雜的轉換變得容易。
tf.data.Dataset表示一個元素序列，其中每個元素包含一個或多個張量對象。例如，在圖像管道中，元素可能是單個訓練示例，其中有一對張量表示圖像數據和一個標簽。創建數據集有兩種不同的方法:

創建一個源(例如data et.from_tensor_slice())從一個或多個tf.Tensor 構造一個數據集。

應用轉換(例如data et.batch())從一個或多個tf.data.Dataset構造一個數據集

tf.data.Iterator 提供了從數據集中提取元素的主要方法。
Iterator.get_next()返回的操作在執行時生成數據集的下一個元素，通常充當輸入管道代碼和模型之間的接口。最簡單的迭代器是“一次性迭代器”，它與特定的數據集關聯并迭代一次。對于更復雜的用途，迭代器。初始化器操作使您能夠使用不同的數據集重新初始化和參數化迭代器，例如，您可以在同一個程序中多次迭代訓練和驗證數據。

總結

以上是生活随笔為你收集整理的tensorflow随笔-读写数据tf.data的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。