我在使用python讀取幾十萬行的文件中的數據，并構造字典，列表等數據結構時，再訪問字典，列表時，一般都會出現內存不夠的問題，然后只能循環讀取幾百行或者一定數量的行數來循環操作。

keyword_list=[line.strip() for line in open("keywords.txt",'r')]

#f1=open("part_wiki_vec.txt",'r')

f1=open("wiki_vectors.txt")

f2=open("result.txt",'w')

i=0

content=f1.readlines()

while i<1150:

for line in content[300*i:300*(i+1)]:

line=line.strip().split(' ')

if line[0] in keyword_list:

wordvec=' '.join(line)

print wordvec

f2.write(wordvec)

#print line

i+=1

我是這樣讀取的

應該還有很多好的方法，比如多線程等等。

做此記錄只為了學習

總結

以上就是這篇文章的全部內容了，希望本文的內容對大家的學習或者工作具有一定的參考學習價值，謝謝大家對我們的支持。如果你想了解更多相關內容請查看下面相關鏈接

本文標題: 用Python讀取幾十萬行文本數據

本文地址: http://www.cppcns.com/jiaoben/python/248247.html

總結

以上是生活随笔為你收集整理的用python处理文本数据_用Python读取几十万行文本数据的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。