import requests from bs4 import BeautifulSoup url='http://news.gzcc.cn/html/xiaoyuanxinwen/' res=requests.get(url) res.encoding='utf-8' soup=BeautifulSoup(res.text,'html.parser')

1. 用requests庫和BeautifulSoup庫，爬取校園新聞首頁新聞的標題、鏈接、正文。

for news in soup.select('li'):if len(news.select('.news-list-title'))>0:t=news.select('.news-list-title')[0].text #標題a=news.select('a')[0].attrs['href'] #鏈接res1=requests.get(a)res1.encoding='utf-8'soup1=BeautifulSoup(res1.text,'html.parser')d=soup1.select('#content')[0].text #正文print(t,a,d)

2. 分析字符串，獲取每篇新聞的發布時間，作者，來源，攝影等信息。

for news in soup.select('li'):if len(news.select('.news-list-title'))>0:t=news.select('.news-list-title')[0].text #標題a=news.select('a')[0].attrs['href'] #鏈接res1=requests.get(a)res1.encoding='utf-8'soup1=BeautifulSoup(res1.text,'html.parser')info=soup1.select('.show-info')[0].textprint(info)

3. 將其中的發布時間由str轉換成datetime類型。

from datetime import datetime
str = '2018-04-02 17:10:12 '
datetime.strptime(str,'%Y-%m-%d %H:%M:%S ')
print('\n',str)

轉載于:https://www.cnblogs.com/BOBOWZH/p/8696625.html

總結

以上是生活随笔為你收集整理的爬取新闻的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。