本文轉載自：https://github.com/luyishisi/Anti-Anti-Spider

越來越多的網站具有反爬蟲特性，有的用圖片隱藏關鍵數據，有的使用反人類的驗證碼，建立反反爬蟲的代碼倉庫，通過與不同特性的網站做斗爭（無惡意）提高技術。（歡迎提交難以采集的網站）（因工作原因，項目暫停）?https://www.urlteam.org

特別說明：這個項目最初源于對自己爬蟲代碼的整理以及技術規整，因此部分爬蟲源碼可能因為網站改版已經不可用，驗證碼識別方面因為我改良版本用于工作中不可開源，因此采用熊貓的cnn模型以及冷月的滑動破解模型，上傳前均親測可用，且已得其本人授權。

倉庫網址位于https://github.com/luyishisi/Anti-Anti-Spider?歡迎stat

本項目由URLTEAM維護

作者博客?https://www.urlteam.org

項目簡介：

運用請求偽造，瀏覽器偽造,瀏覽器自動化，圖像處理，ip處理等方式進行反爬蟲技術的通用化代碼庫,方便未來快速開發。

為以后的采集任務快速開展留下基礎代碼。

如今項目會包含多項技術的樣例代碼.

項目起因

本身是想做一個反爬蟲的技術攻關站點，如果在總結諸多技術中發覺可以將反反爬蟲技術直接保留與代碼中。

在之后采集需要時能快速有效的測試該站點具有怎樣的反爬特性，并且可以快速的進行代碼復用

你可以做什么： 提交你覺得難以采集的網站 聯系方式：?a83533774@gmail.com

項目結構樹:（有待更新）

https://github.com/luyishisi/Anti-Anti-Spider/blob/master/tree.txt

重點項目：

1:驗證碼 {亞馬遜驗證碼破解，knn，svm，Tensorflow自動生成驗證碼并大量訓練從而破解--98%成功率}

2:代理 {抓取西刺代理，以及一個高可用的國外代理網站，并存入數據庫，從而隨時調用}

3:代碼模板 {多線程優化，百度地圖可視化采集，聚焦爬蟲，selenium模擬登陸，域名爬蟲}

5:爬蟲項目源碼 {優酷網，騰訊視頻，推特，拉鉤網，百度地圖，妹子圖網，百家號，百度百科，csdn，新浪微博, 淘寶采集}

6:ip更換技術 {代理，tor，adsl}

7:請求偽造 {phantomjs，requests，selenium}

8:phantomjs {偽造請求頭，獲取頁面截圖，獲取頁面源碼，設置超時}

9:selenium {偽造請求頭，支付寶模擬登陸}

UrlSpider {項目中常用的采集代碼樣本，經過多線程數據庫操作優化，最高速度6kw/d}

--------------------------------------------------------------------------

為防止院資源被刪除，此處留個備份,下載鏈接

https://download.csdn.net/download/liujiayu2/10997797

總結

以上是生活随笔為你收集整理的python3爬虫（7）反反爬虫解决方案的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。