python爬新闻并保存csv_用python爬取内容怎么存入 csv 文件中
小白一個(gè),爬取豆瓣電影250作為練習(xí),想把爬取的內(nèi)容用csv存儲(chǔ),想存但是不知道怎么自己原來(lái)代碼拼接在一起。
ps:非伸手黨,查閱了官方文檔,也做了csv讀寫的練習(xí),就是拼不到一起,不知道該怎么改。求大神給條思路。
python3.5
import requests
from bs4 import BeautifulSoup
import lxml
import time
import csv
headers={
'user-Agent':'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/50.0.2661.102 Safari/537.36'
}
url= 'http://movie.douban.com/top250'
urls=['https://movie.douban.com/top250?start={}&filter='.format(str(i)) for i in range(0,250,25)]
def get_item(url,data=None):
web_data=requests.get(url)
time.sleep(3)
soup=BeautifulSoup(web_data.text,'lxml')
#抓取電影名字
movie_names=soup.find_all('div',{'class':'hd'})
#抓取電影評(píng)分
movie_scroes=soup.find_all('span',{'class':'rating_num'})
#抓取網(wǎng)頁(yè)圖片
movie_images=soup.select('#content > div > div.article > ol > li > div > div.pic > a > img')
#抓取電影鏈接
movie_href=soup.select('#content > div > div.article > ol > li > div > div.info > div.hd > a')
for name,scroes,images,hrefs in zip(movie_names,movie_scroes,movie_images,movie_href):
data={
'name':"".join(i.strip() for i in name.get_text().split()),
'scroes':scroes.get_text(),
'images':images.get('src'),
'hrefs':hrefs.get('href')
}
print(data)
for sinle_url in urls:
get_item(sinle_url)
總結(jié)
以上是生活随笔為你收集整理的python爬新闻并保存csv_用python爬取内容怎么存入 csv 文件中的全部?jī)?nèi)容,希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇: 电脑订单员(电脑订单员双休有无经验均可)
- 下一篇: python怎么用for循环找出最大值_