nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13
生活随笔
收集整理的這篇文章主要介紹了
nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
1、首先搭建好hadoop環境，具體過程不詳細說了，網上的教程很多。
2、下載nutch，在其目錄下面運行ant，將會產生runtime目錄。然后配置nutch-site.xml等文件，可以參考http://wiki.apache.org/nutch/NutchHadoopTutorial。
注意的是runtime下面有一個local目錄和一個deploy目錄，一般博客寫的都是在local目錄下面運行的，這個是單機運行。而deploy目錄下面運行是分布式運行。
3、nutch連接數據庫mysql。只是需要修改幾個配置文件即可，還要注意編碼問題。
4、分布式下面運行nutch。是在deploy目錄下面運行hadoop jar apache-nutch-${version}.job org.apache.nutch.crawl.Crawl urls -dir crawl -depth 3 -topN 5。我當時參考上面這個英文的文檔運行，遇到了很多問題，首先，文檔中的命令是有問題的。一直報錯不能找到org.apache.nutch.crawl.Crawl這個類。我把classPath都配置了，還是不行，后來一看src下面是org.apache.nutch.crawl.Crawler。
當然其中還有各種問題，有些可能忘記了。
總結
以上是生活随笔為你收集整理的nutch mysql hadoop_nutch2.2.1+ hadoop1.2.1 + mysql5.6.13的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： Python学习之路20-数据模型
- 下一篇： centos7安装mysql6_2018