本文PDF文件下載地址：http://download.csdn.net/download/qq_36330643/9938438

Tensorflow的數(shù)據(jù)讀取有三種方式：

1. Preloaded data: 預(yù)加載數(shù)據(jù) 。

2. Feeding: Python產(chǎn)生數(shù)據(jù)，再把數(shù)據(jù)喂給后端。

3. Reading from file: 從文件中直接讀取。

這三種有讀取方式有什么區(qū)別呢？ 我們首先要知道TensorFlow(TF)是怎么樣工作的。

TF的核心是用C++寫的，這樣的好處是運(yùn)行快，缺點(diǎn)是調(diào)用不靈活。而Python恰好相反，所以結(jié)合兩種語言的優(yōu)勢。涉及計(jì)算的核心算子和運(yùn)行框架是用C++寫的，并提供API給Python。Python調(diào)用這些API，設(shè)計(jì)訓(xùn)練模型(Graph)，再將設(shè)計(jì)好的Graph給后端去執(zhí)行。簡而言之，Python的角色是Design，C++是Run。

1. Preload

import tensorflow as tf
a = tf.constant(5, name="input_a")
b = tf.constant(3, name="input_b")
sess = tf.Session()
sess.run(a)
c = tf.multiply(a,b, name="mul_c")
d = tf.add(a,b, name="add_d")
print(c)
e = tf.add(c,d, name="add_e")
print(e)
sess = tf.Session()
output = sess.run(e)
print(a)
print(output)
sess.close()

2. Feeding
import tensorflow as tf
import numpy as np

a = tf.placeholder(tf.int32,shape=[2],name="my_input")
b = tf.reduce_prod(a,name="prod_b")
c = tf.reduce_sum(a,name="sum_c")

d = tf.add(b,c,name="add-d")
sess = tf.Session()
input_dict = {a:np.array([5,3],dtype=np.int32)}
output = sess.run(d,feed_dict=input_dict)
print(output)

sess.run()中的feed_dict參數(shù)，將Python產(chǎn)生的數(shù)據(jù)喂給后端，并計(jì)算output。

以上兩種方法的區(qū)別 Preload: 將數(shù)據(jù)直接內(nèi)嵌到Graph中，再把Graph傳入Session中運(yùn)行。當(dāng)數(shù)據(jù)量比較大時(shí)，Graph的傳輸會遇到效率問題。 Feeding: 用占位符替代數(shù)據(jù)，待運(yùn)行的時(shí)候填充數(shù)據(jù)。

3. Reading From File

前兩種方法很方便，但是遇到大型數(shù)據(jù)的時(shí)候就會很吃力，即使是Feeding，中間環(huán)節(jié)的增加也是不小的開銷，比如數(shù)據(jù)類型轉(zhuǎn)換等等。最優(yōu)的方案就是在Graph定義好文件讀取的方法，讓TF自己去從文件中讀取數(shù)據(jù)，并解碼成可使用的樣本集。

在上圖中，首先由一個(gè)單線程把文件名堆入隊(duì)列，兩個(gè)Reader同時(shí)從隊(duì)列中取文件名并讀取數(shù)據(jù)，Decoder將讀出的數(shù)據(jù)解碼后堆入樣本隊(duì)列，最后單個(gè)或批量取出樣本（圖中沒有展示樣本出列）。我們這里通過三段代碼逐步實(shí)現(xiàn)上圖的數(shù)據(jù)流，這里我們不使用隨機(jī)，讓結(jié)果更清晰。

下面部分由于敲字慢，全部采用圖片了。

總結(jié)

以上是生活随笔為你收集整理的TensorFlow学习笔记（二十二） tensorflow数据读取方法总结的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。