日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程语言 > python >内容正文

python

python保存数据到本地_Python爬虫入门 | 6 将爬回来的数据存到本地

發布時間:2024/10/14 python 36 豆豆
生活随笔 收集整理的這篇文章主要介紹了 python保存数据到本地_Python爬虫入门 | 6 将爬回来的数据存到本地 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.用Python語句存儲數據

寫文件時,我們主要用到 with open() 語句:

with open(name,mode,encoding) as file:? file.write()? # 注意,with open() 后面的語句有一個縮進

name:包含文件名稱的字符串,比如:‘xiaozhu.txt’;?mode:決定了打開文件的模式,只讀/寫入/追加等;?encoding:表示我們要寫入數據的編碼,一般為 utf-8 或者 gbk ;?file:表示我們在代碼中對文件的命名。

用我們前面爬的小豬的例子來看一下,實際是什么樣的:

from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xzzf.txt','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))

將寫入的文件名 xzzf.txt,如果沒有將自動創建。

/Users/mac/Desktop/xzzf.txt

在前面加了一個桌面的路徑,它將存在桌面,如果不加路徑,它將存在你當前工作目錄中。

w:只寫的模式,如果沒有文件將自動創建;

encoding='utf-8':指定寫入文件的編碼為:utf-8,一般指定utf-8即可;

f.write("{}? {}? {}? {}\n".format(title,price,scrible,pic))#將 title,price,scrible,pic 的值寫入文件

來看一下存下來的數據是怎樣的:

如果你沒有指定文件路徑,怎么找寫在本地的文件呢?給你兩種方法:

1.在 win10 中打開小娜(cortana),搜索你的文件名即可

2.推薦軟件“everything”,查詢文件更方便快捷。

這個軟件非常小,百度很容易找到,但確實是神器用了你會回來感謝我的~

所以還是建議你在寫代碼的時候,老老實實在文件名前面加上你想存放的路徑。什么,你連路徑怎么寫都不知道?好吧,比如我想把文件存在桌面,那么怎么查看路徑?

隨便找一個文檔,比如桌面的文檔, 右鍵 >“屬性”,“位置”后面的信息,就是該文檔所在的路徑了。

2.文件存為CSV格式

當然,你也可以將文件存為 .csv 格式,在 with open() 語句后更改文件后綴即可。

from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/xiaozhu.csv','w',encoding='utf-8') as f:? ? for a in range(1,6):? ? ? ? url = 'http://cd.xiaozhu.com/search-duanzufang-p{}-0/'.format(a)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="page_list"]/ul/li')? ? ? ? time.sleep(3)? ? ? ? ? ? for div in file:? ? ? ? ? ? title=div.xpath("./div[2]/div/a/span/text()")[0]? ? ? ? ? ? price=div.xpath("./div[2]/span[1]/i/text()")[0]? ? ? ? ? ? scrible=div.xpath("./div[2]/div/em/text()")[0].strip()? ? ? ? ? ? pic=div.xpath("./a/img/@lazy_src")[0]? ? ? ? ? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,price,scrible,pic))

另外,需要注意的是:CSV 每個字段之間要用逗號隔開,所以這里把之前的空格改為了逗號。

CSV 文件怎么打開?

一般情況下,用記事本就可以直接打開,如果你直接用 Excel 打開,很有肯能會出現亂碼,就像下面這樣:

Excel 打開 CSV 出現亂碼怎么辦?

在記事本中打開文件

另存為 – 選擇編碼為“ANSI”

再來看看之前的豆瓣TOP250圖書寫入文件:

from lxml import etreeimport requestsimport timewith open('/Users/mac/Desktop/top250.csv','w',encoding='utf-8') as f:? ? for a in range(10):? ? ? ? url = 'https://book.douban.com/top250?start={}'.format(a*25)? ? ? ? data = requests.get(url).text? ? ? ? s=etree.HTML(data)? ? ? ? file=s.xpath('//*[@id="content"]/div/div[1]/div/table')? ? ? ? time.sleep(3)? ? ? ? for div in file:? ? ? ? ? ? title = div.xpath("./tr/td[2]/div[1]/a/@title")[0]? ? ? ? ? ? href = div.xpath("./tr/td[2]/div[1]/a/@href")[0]? ? ? ? ? ? score=div.xpath("./tr/td[2]/div[2]/span[2]/text()")[0]? ? ? ? ? ? num=div.xpath("./tr/td[2]/div[2]/span[3]/text()")[0].strip("(").strip().strip(")").strip()? ? ? ? ? ? scrible=div.xpath("./tr/td[2]/p[2]/span/text()")? ? ? ? ? ? if len(scrible) > 0:? ? ? ? ? ? ? ? f.write("{},{},{},{},{}\n".format(title,href,score,num,scrible[0]))? ? ? ? ? ? else:? ? ? ? ? ? ? ? f.write("{},{},{},{}\n".format(title,href,score,num))

最后存下來的數據是這樣的:

好了,這節課就到這里!

總結

以上是生活随笔為你收集整理的python保存数据到本地_Python爬虫入门 | 6 将爬回来的数据存到本地的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。