学习爬虫目录
?
網(wǎng)絡(luò)爬蟲（又稱為網(wǎng)頁蜘蛛，網(wǎng)絡(luò)機(jī)器人，在FOAF社區(qū)中間，更經(jīng)常的稱為網(wǎng)頁追逐者），是一種按照一定的規(guī)則，自動(dòng)地抓取萬維網(wǎng)信息的程序或者腳本。另外一些不常使用的名字還有螞蟻、自動(dòng)索引、模擬程序或者蠕蟲。
隨著網(wǎng)絡(luò)的迅速發(fā)展，萬維網(wǎng)成為大量信息的載體，如何有效地提取并利用這些信息成為一個(gè)巨大的挑戰(zhàn)。搜索引擎（Search Engine），例如傳統(tǒng)的通用搜索引擎AltaVista，Yahoo!和Google等，作為一個(gè)輔助人們檢索信息的工具成為用戶訪問萬維網(wǎng)的入口和指南。但是，這些通用性搜索引擎也存在著一定的局限性，如：
（1）不同領(lǐng)域、不同背景的用戶往往具有不同的檢索目的和需求，通過搜索引擎所返回的結(jié)果包含大量用戶不關(guān)心的網(wǎng)頁。
（2）通用搜索引擎的目標(biāo)是盡可能大的網(wǎng)絡(luò)覆蓋率，有限的搜索引擎服務(wù)器資源與無限的網(wǎng)絡(luò)數(shù)據(jù)資源之間的矛盾將進(jìn)一步加深。
（3）萬維網(wǎng)數(shù)據(jù)形式的豐富和網(wǎng)絡(luò)技術(shù)的不斷發(fā)展，圖片、數(shù)據(jù)庫、音頻、視頻多媒體等不同數(shù)據(jù)大量出現(xiàn)，通用搜索引擎往往對這些信息含量密集且具有一定結(jié)構(gòu)的數(shù)據(jù)無能為力，不能很好地發(fā)現(xiàn)和獲取。
（4）通用搜索引擎大多提供基于關(guān)鍵字的檢索，難以支持根據(jù)語義信息提出的查詢。
為了解決上述問題，定向抓取相關(guān)網(wǎng)頁資源的聚焦爬蟲應(yīng)運(yùn)而生。聚焦爬蟲是一個(gè)自動(dòng)下載網(wǎng)頁的程序，它根據(jù)既定的抓取目標(biāo)，有選擇的訪問萬維網(wǎng)上的網(wǎng)頁與相關(guān)的鏈接，獲取所需要的信息。與通用爬蟲（general purpose web crawler）不同，聚焦爬蟲并不追求大的覆蓋，而將目標(biāo)定為抓取與某一特定主題內(nèi)容相關(guān)的網(wǎng)頁，為面向主題的用戶查詢準(zhǔn)備數(shù)據(jù)資源。
?接下來就來學(xué)習(xí)爬蟲：
爬蟲的基礎(chǔ)知識(shí)
爬蟲的前導(dǎo)知識(shí)及requests模塊
爬蟲基礎(chǔ)三劍客
正則表達(dá)式
BeautifulSoup模塊
xpah的使用
基本模塊的總結(jié)
Scrapy模塊???????
Scrapy框架（一）基礎(chǔ)知識(shí)
Scrapy（二）翻頁功能
Scrapy框架（三）基本保存和照片保存
Scrapy框架（四）常用的類概述
MongoDB模塊
MongoDB數(shù)據(jù)庫的概述和基本使用
python與MongoDB的交互
Scrapy與MongoDB交互
Redis模塊
Redis數(shù)據(jù)庫概述與基本操作
Redis的基本數(shù)據(jù)結(jié)構(gòu)
分布式爬蟲的介紹
python與redis的簡單交互
盜墓筆記案例：基于Redis-Scrapy實(shí)現(xiàn)
JS逆向及反爬
JS反爬介紹以及環(huán)境的搭建
有道字典案例
微信公眾號(hào)密碼轉(zhuǎn)換的密鑰（md5加密）
凡科網(wǎng)登錄解密
房天下解密（RSA）
python的破解重構(gòu)加密
JS逆向之無限debugger的處理方式
AES的python重構(gòu)解密
建筑市場案例（AES解密）
python重構(gòu)之DES加密???????
JS的字體反爬
總結(jié)
- 上一篇： uniapp 蓝牙通讯（搜索/连接蓝牙、
- 下一篇： arm的一些概念(ARM9、Cortex