學習python前糾結了下，到底是應該一個個知識點吃透，然后寫些小程序。還是應該快速掌握基礎語法，快速實踐。思考后認為前者這么學習速度真心不高，于是花2天時間看了下python3的語法，雖然很多都不明白，但是帶著小項目來學習直接解決問題。在項目中遇到問題，查閱一點點解決，這樣很靠譜。

　　在實現一個最簡單的爬蟲前，應該知道需要用到哪些東西??

　　1.如果發送一個http請求，來抓取網頁內容。

　　2.如何方便的解析html的dom節點，如果有像phpquery這樣的工具包就太簡單了。

　　百度了下發現 urlib模塊能解決第一個問題，BeautifulSoup模塊能解決第二個問題

　　urlib3模塊簡單使用　　

1 import urllib3 2 3 #請求的地址 4 url = 'https://www.baidu.com/' 5 6 http = urllib3.PoolManager() 7 r = http.request('GET',url) 8 9 print(r.status) #請求狀態碼 10 print(r.data) #獲取內容

　　需要注意的是打印出內容(r.data)發現尼瑪， 總是有個?b' 這樣的東西在字符串最前面。google下發先大致是說，python默認字符是ascii,但是請求的網頁編碼是utf8字符的，獲取的內容需要轉成

utf8字符集然后在輸出，可以這么干。

print(r.data.decode('utf-8'))

　　然后重新運行發現大功告成。

　　再來看下BeautifulSoup模塊,其實挺簡單的就和jquery操作dom類似，具體看文檔即可.

　　

1 from bs4 import BeautifulSoup 2 import re #正則 3 4 str = ''' 5 <div class="menu"> 6 <ul class="main-menu"> 7 <li class="first-menu"><a href="/index.php?m=Admin&c=Goods&a=index&typelist=1">品牌商管理</a></li> 8 <li class="first-menu"><a href="javascript:;">商品管理</a></li> 9 <li class="first-menu"><a href="/index.php?m=Admin&c=MyDistribution&a=index">分銷平臺</a></li> 10 <li class="first-menu"> 11 <a href="javascript:;">消息中心</a> 12 <ul class="sub-menu clearfix"> 13 <li><a href="/index.php?m=Admin&c=News&a=businessNewsList">商家公告</a></li> 14 <li><a href="/index.php?m=Admin&c=Distribution&a=distributionList">申請分銷</a></li> 15 <li><a href="/index.php?m=Admin&c=Message&a=chatMessageList">聊天消息</a></li> 16 <li><a href="/index.php?m=Admin&c=System&a=systemNewsList">系統公告</a></li> 17 </ul> 18 </li> 19 <li class="first-menu"><a href="javascript:;">嗨庫社區</a></li> 20 <li class="first-menu"><a href="javascript:;">我的設置</a></li> 21 </ul> 22 </div> 23 ''' 24 25 soup = BeautifulSoup(str,'html.parser',from_encoding='utf-8') 26 27 print('獲取所有的鏈接') 28 links= soup.find_all('a'); #list 29 for a in links: 30 print(a),print(a['href']) #獲取ａ標簽，和屬性href 31 32 print('獲取href為 /index.php?m=Admin&c=Goods&a=index&typelist=1的url') 33 links = soup.find('a',href="/index.php?m=Admin&c=Goods&a=index&typelist=1") 34 print(links.name,links['href'],links.get_text()) 35 36 37 print('通過class屬性') 38 links = soup.find('ul',class_='main-menu') 39 print(links) 40 41 print('正則匹配') 42 links = soup.find_all('a',href=re.compile(r"List")) #　加r -> 要轉義\只需要寫成 \\即可 ， 不然要寫成\\\ 43 print(links)

　　最后結合２個模塊來實現，獲取抓取頁面的 a標簽的href

1 from bs4 import BeautifulSoup 2 import re #正則 3 import urllib.parse 4 import urllib3 5 6 r_url = 'http://baike.baidu.com/link?url=41wW1kkRvhT23i_c6258EtBeBv6Xwtz7gwd3t0q5k-xCs_ipCGRc_ixcCLMail3QtQe4ZRgOK83ek9aHm44QPa' 7 8 #發送請求獲取內容 9 http = urllib3.PoolManager() 10 r = http.request('GET',r_url) 11 12 str = data = r.data.decode('utf-8') 13 14 ''' 15 #挽尊學習法，先發獲取的內容生成文件，看下到底是什么 16 f = open('2.html','w') 17 f.write(data.decode('utf-8')) 18 f.close() 19 ''' 20 21 soup = BeautifulSoup(str,'html.parser',from_encoding='utf-8') 22 #通過正則獲取所有href 為 　/view/123/456.htm 這樣的鏈接 23 links = soup.find_all('a',href=re.compile(r'/view/[\d/]+\.htm')) #　加r -> \只需要一個 \轉義 ，　不然要寫成\\\ 24 25 for url in links: 26 new_url = url['href'] 27 ''' 28 將 r_url的域名-> http://baike.baidu.com 29 和 新的url -> /view/123/456.htm　組裝起來 30 ''' 31 new_full_url = urllib.parse.urljoin(r_url,new_url) #http://baike.baidu.com/view/123/456.htm 32 print(new_full_url)

　　參考：https://www.crummy.com/software/BeautifulSoup/bs4/doc.zh/

　　　　　http://urllib3.readthedocs.io/en/latest/　

　　　　　　

?

總結

以上是生活随笔為你收集整理的python简单爬虫(一)的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。