Python读取大文件
生活随笔
收集整理的這篇文章主要介紹了
Python读取大文件
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
前言:通常對于大文件讀取及處理,不可能直接加載到內存中,因此進行分批次小量讀取及處理
1、第一種讀取方式
一行一行的讀取,速度較慢
def read_line(path):with open(path, 'r', encoding='utf-8') as fout:line = fout.readline()while line:line = fout.readline()print(line)2、第二種讀取方式
設置每次讀取大小,從而完成多行快速讀取
''' 遇到問題沒人解答?小編創建了一個Python學習交流QQ群:531509025 尋找有志同道合的小伙伴,互幫互助,群里還有不錯的視頻學習教程和PDF電子書! ''' def read_size(path):with open(path, "r", encoding='utf-8') as fout:while 1:buffer = fout.read(8 * 1024 * 1024)if not buffer:breakprint(buffer)3、第三種讀取方式
使用itertools模塊,islice返回的是一個生成器,可以用list格式化
from itertools import islice def read_itertools(path):with open(path, 'r', encoding='utf-8') as fout:list_gen = islice(fout, 0, 5) # 兩個參數分別表示開始行和結束行for line in list_gen:print(line)總結
以上是生活随笔為你收集整理的Python读取大文件的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: python中判断实例可迭代地几种方式
- 下一篇: Python类的使用总结