Python大文件切割
生活随笔
收集整理的這篇文章主要介紹了
Python大文件切割
小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
"""
例如:一個(gè)1T文件,需要切割成10小文件,可采用均勻?yàn)⑺绞竭M(jìn)行切割.
完美運(yùn)行!
"""
import ossource_file_path = r'bigfile.csv'
target_file_dir = os.path.join(os.path.dirname(os.path.abspath(__file__)), 'splits')
target_file_count = 10
target_file_list = [open(target_file_dir + '/%s.csv' % x, 'a+', encoding='utf-8-sig') for x in range(target_file_count)]
# print(target_file_list)with open(source_file_path, 'r', encoding='utf-8-sig') as source_file: # 打開原始文件for index, source_file_line in enumerate(source_file): # 讀原始文件每一行target_file_index = index % 10 # 任何一個(gè)數(shù) %10 產(chǎn)生 0-9的數(shù),剛好為target_file_list下標(biāo)target_file_list[target_file_index].write(source_file_line)
?
總結(jié)
以上是生活随笔為你收集整理的Python大文件切割的全部內(nèi)容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: C#分割文件路径中的文件名与路径
- 下一篇: python文件切割