用python处理文本数据_用Python读取几十万行文本数据
我在使用python讀取幾十萬行的文件中的數據,并構造字典,列表等數據結構時,再訪問字典,列表時,一般都會出現內存不夠的問題,然后只能循環讀取幾百行或者一定數量的行數來循環操作。
keyword_list=[line.strip() for line in open("keywords.txt",'r')]
#f1=open("part_wiki_vec.txt",'r')
f1=open("wiki_vectors.txt")
f2=open("result.txt",'w')
i=0
content=f1.readlines()
while i<1150:
for line in content[300*i:300*(i+1)]:
line=line.strip().split(' ')
if line[0] in keyword_list:
wordvec=' '.join(line)
print wordvec
f2.write(wordvec)
#print line
i+=1
我是這樣讀取的
應該還有很多好的方法,比如多線程等等。
做此記錄只為了學習
總結
以上就是這篇文章的全部內容了,希望本文的內容對大家的學習或者工作具有一定的參考學習價值,謝謝大家對我們的支持。如果你想了解更多相關內容請查看下面相關鏈接
本文標題: 用Python讀取幾十萬行文本數據
本文地址: http://www.cppcns.com/jiaoben/python/248247.html
總結
以上是生活随笔為你收集整理的用python处理文本数据_用Python读取几十万行文本数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python小游戏代码_20行pytho
- 下一篇: 用什么技术实现前台页面设计_装饰+装配式