在網(wǎng)上看到有人利用python+beautifulsoup爬取豆瓣Top250

試著自己模仿這個(gè)做了個(gè)爬取IMDB的，

可惜只能爬取到11個(gè)。

后來(lái)檢查了超久，

才發(fā)現(xiàn)，

soup=BeautifulSoup(contents)這里，內(nèi)容不完整，只能到11個(gè)電影為止。

代碼如下：

import urllib2 from bs4 import BeautifulSoup mylist=[]def crawl(url):headers={'User-Agent':'Mozilla/5.0(Windows;U;Windows NT 6.1;en-US;rv:1.9.1.6) Gecko/20091201 Firefox/3.5.6'}req=urllib2.Request(url,headers=headers)page=urllib2.urlopen(req,timeout=200)contents=page.read()soup=BeautifulSoup(contents)for tag in soup.find_all('tr',class_={'odd','even'}):m_order=tag.find('td',class_='titleColumn').span.get_text()m_name=tag.find('td',class_='titleColumn').a.get_text()m_rating_score=float(tag.find('td',class_='ratingColumn imdbRating').strong.get_text())print("%s %s %s" % (m_order,m_name,m_rating_score))mylist.append((m_order,m_name,m_rating_score))crawl('http://www.imdb.com/chart/top?ref_=nv_ch_250_4')

后來(lái)，好像需使用正則表達(dá)式，把爬取來(lái)的網(wǎng)頁(yè)進(jìn)行處理后才好弄。

但是正則表達(dá)式未操作過(guò)，

如果有人看到，想問(wèn)下是否可以不通過(guò)正則表達(dá)式來(lái)解決這個(gè)問(wèn)題呢？

轉(zhuǎn)載于:https://www.cnblogs.com/jawiezhu/p/4251265.html

總結(jié)

以上是生活随笔為你收集整理的爬取IMDBTOP250的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。