那天在新浪微博上看到北北出的題目，由于最近也在做類似的爬蟲(chóng)研究，所以就有了這個(gè)實(shí)驗(yàn)。

后來(lái)在QQ上和北北說(shuō)了下，要求是啥都抓，就抓烏云的。。。

然后就開(kāi)始了。。

第一個(gè)版本如下，后續(xù)不斷改進(jìn)直到滿足需求：

import urllib2; from sgmllib import SGMLParser;class CatCh(SGMLParser):def reset(self):self.url=[]SGMLParser.reset(self)def start_a(self,attrs):href = [v for k, v in attrs if k == 'href']if href:self.url.extend(href)content = urllib2.urlopen("http://wooyun.org/").read() catch=CatCh() catch.feed(content) for item in catch.url:print item

?

轉(zhuǎn)載于:https://www.cnblogs.com/xiaoCon/p/3160657.html

總結(jié)

以上是生活随笔為你收集整理的python爬虫实验的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。