為什么80%的碼農都做不了架構師？>>> ??

整體而言還是先把hadoop搞定。1月份先搞hadoop！4個周，每周一個小目標。

大數據爬蟲學習框架網頁基本知識網頁結構靜態／動態網頁理解網站服務器基礎常用的網站分析工具及方法HTML頁面處理動態內容加載驗證碼表單交互登錄及訪問限制正則表達式json數據分布式爬蟲分布式爬蟲串行爬蟲多線程爬蟲多進進制爬蟲線程、進制及多機之間的協作分布式存儲及處理HadoopMongoDBRedis常用數據處理方式數據處理數據清洗噪聲對網頁的影響觀察法消除噪音統計學消除噪音去重定義去重規則排重指紋技術應用頁面內容抽取PDF文件及內容處理Office內容抽取RTF內容抽取視頻內容及關鍵幀音頻內容頁面內容處理網頁分類網頁聚類

我的網站：http://www.nigaea.com/dataanalysis/113.html

轉載于:https://my.oschina.net/at5/blog/817949

總結

以上是生活随笔為你收集整理的大数据爬虫的一些小目标的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。