日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python csv读取数据 去掉标题-Python读csv文件去掉一列后再写入新的文件实例

發布時間:2024/1/23 python 35 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python csv读取数据 去掉标题-Python读csv文件去掉一列后再写入新的文件实例 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

用了兩種方式解決該問題,都是網上現有的解決方案。

場景說明:

有一個數據文件,以文本方式保存,現在有三列user_id,plan_id,mobile_id。目標是得到新文件只有mobile_id,plan_id。

解決方案

方案一:用python的打開文件寫文件的方式直接擼一遍數據,for循環內處理數據并寫入到新文件。

代碼如下:

def readwrite1( input_file,output_file):

f = open(input_file, "r")

out = open(output_file,"w")

print (f)

for line in f.readlines():

a = line.split(",")

x=a[0] + "," + a[1]+" "

out.writelines(x)

f.close()

out.close()

方案二:用 pandas 讀數據到 DataFrame 再做數據分割,直接用 DataFrame 的寫入功能寫到新文件

代碼如下:

def readwrite2(input_file,output_file): date_1=pd.read_csv(input_file,header=0,sep=",") date_1[["mobile", "plan_id"]].to_csv(output_file, sep=",", header=True,index=False)

從代碼上看,pandas邏輯更清晰。

下面看下執行的效率吧!

def getRunTimes( fun ,input_file,output_file):

begin_time=int(round(time.time() * 1000))

fun(input_file,output_file)

end_time=int(round(time.time() * 1000))

print("讀寫運行時間:",(end_time-begin_time),"ms")

getRunTimes(readwrite1,input_file,output_file) #直接擼數據

getRunTimes(readwrite2,input_file,output_file1) #使用dataframe讀寫數據

讀寫運行時間: 976 ms

讀寫運行時間: 777 ms

input_file 大概有27萬的數據,dataframe的效率比for循環效率還是要快一點的,如果數據量更大些,效果是否更明顯呢?

下面試下增加input_file記錄的數量試試,有如下結果

input_file

readwrite1

readwrite2

27W

976

777

55W

1989

1509

110W

4312

3158

從上面測試結果來看,dataframe的效率提高大約30%左右。

以上這篇Python讀csv文件去掉一列后再寫入新的文件實例就是小編分享給大家的全部內容了,希望能給大家一個參考,也希望大家多多支持。

總結

以上是生活随笔為你收集整理的python csv读取数据 去掉标题-Python读csv文件去掉一列后再写入新的文件实例的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。