?今天想在北航教務網找找ACM的校內賽如何報名，結果發現校務處網站的搜索就是一個擺設。這就很尷尬了，難不成要我一頁一頁翻通知？剛好學了學re庫，所以寫一個簡單的小爬蟲來爬取北航的通知列表!

---

?

1.分析

北航教務網站上新聞的url是這個格式。顯然通過修改xwid的值就可以訪問所有的新聞了。

http://jiaowu.buaa.edu.cn/bhjwc2.0/index/newsView.do?xwid=126

分析一下頁面的源碼，可以看到發布信息存儲在這里

1 <div class="search_con mt20 text_cen font18 blue LH36 font_hei">關于2016-2017學年第一學期全校本科生課表確認的通知 </div> 2 3 <span class="search_con mt10 text_cen LH20" > 4 發布時間:2016-10-08 &nbsp;&nbsp;發布者:王曉飛 &nbsp;&nbsp;所屬科室:教學運行服務中心 5 </span> 6

那思路就很清晰了。遍歷xwid，然后用正則表達式過濾內容，存入文件即可.

2.編碼與調試

　主要的困難還是對于正則表達式掌握的不熟練

import urllib import urllib2 import reclass BUAA_jiaowu:baseurl= 'http://jiaowu.buaa.edu.cn/bhjwc2.0/index/newsView.do?xwid='def get_HTML(self,xwid):try:url=self.baseurl+str(xwid)request = urllib2.Request(url)response = urllib2.urlopen(request)return response.read()except urllib2.URLError,e:print e.reasonreturn Nonedef get_title(self,xwid):page=self.get_HTML(xwid)P=re.compile('<div class="search_con mt20 text_cen font18 blue LH36 font_hei">(.*?)</div>',re.S)filter=re.search(P,page)return filter.group(1).strip()def get_data(self,xwid):page=self.get_HTML(xwid)P=re.compile(' <span class="search_con mt10 text_cen LH20" >(.*?)&nbsp',re.S)filter=re.search(P,page)return filter.group(1).strip()################################################## catch=BUAA_jiaowu() file=open("result.txt","w") for xwid in range(0,1269):title=catch.get_title(xwid)data=catch.get_data(xwid)print 'Catching The Title Of No.'+str(xwid)if len(title)>1:print titlefile.write('xwid='+str(xwid)+'\t'+data+'\t\t'+title+'\n')else:print 'Nothing Here' print 'down'

?

3.后記

沒什么技術含量但是挺實用的小程序。主要目的是練習正則表達式，順便娛樂一下。

(ps:還抓到了若干條官網上沒有列出的通知...Interesting)

轉載于:https://www.cnblogs.com/cn-lhc/p/5998347.html

總結

以上是生活随笔為你收集整理的[python]re库(正则表达式)的小练习-抓取北航教务处通知列表的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。