國慶假期留在學校做了一下林子雨博士的大數據實驗--淘寶雙11數據分析與預測，雖然教程寫得很詳細，但自己還是踩了很多坑，現在記錄下來，希望給別人一點幫助。

淘寶雙11數據分析與預測實驗鏈接：http://dblab.xmu.edu.cn/post/8116/

問題一：安裝Hadoop時報錯

Starting namenodes on [localhost]
localhost: mkdir: 無法創建目錄"/usr/local/hadoop/logs": 權限不夠
localhost: chown: 無法訪問"/usr/local/hadoop/logs": 沒有那個文件或目錄
localhost: starting namenode, logging to /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 159: /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out: 沒有那個文件或目錄
localhost: head: 無法打開"/usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out" 讀取數據: 沒有那個文件或目錄
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 177: /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out: 沒有那個文件或目錄
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 178: /usr/local/hadoop/logs/hadoop-dblab-namenode-dblab-virtual-machine.out: 沒有那個文件或目錄
localhost: mkdir: 無法創建目錄"/usr/local/hadoop/logs": 權限不夠
localhost: chown: 無法訪問"/usr/local/hadoop/logs": 沒有那個文件或目錄
localhost: starting datanode, logging to /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 159: /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out: 沒有那個文件或目錄
localhost: head: 無法打開"/usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out" 讀取數據: 沒有那個文件或目錄
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 177: /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out: 沒有那個文件或目錄
localhost: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 178: /usr/local/hadoop/logs/hadoop-dblab-datanode-dblab-virtual-machine.out: 沒有那個文件或目錄
Starting secondary namenodes [0.0.0.0]
0.0.0.0: mkdir: 無法創建目錄"/usr/local/hadoop/logs": 權限不夠
0.0.0.0: chown: 無法訪問"/usr/local/hadoop/logs": 沒有那個文件或目錄
0.0.0.0: starting secondarynamenode, logging to /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out
0.0.0.0: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 159: /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out: 沒有那個文件或目錄
0.0.0.0: head: 無法打開"/usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out" 讀取數據: 沒有那個文件或目錄
0.0.0.0: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 177: /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out: 沒有那個文件或目錄
0.0.0.0: /usr/local/hadoop/sbin/hadoop-daemon.sh: 行 178: /usr/local/hadoop/logs/hadoop-dblab-secondarynamenode-dblab-virtual-machine.out: 沒有那個文件或目錄
dblab@dblab-virtual-machine:/usr/local/hadoop$ sudo chown -R niugen /usr/local/hadoop

報錯原因：權限不夠

解決方法：

sudo chown -R 你自己電腦到用戶名 /usr/local/hadoop

問題二：Error: JAVA_HOME is not set and could not be found.

解決方法： JAVA_HOME 環境變量沒設置好，請按教程在.bashrc文件中設置好JAVA_HOME，如果還是出現 Error: JAVA_HOME is not set and could not be found. 的錯誤，就到hadoop的安裝目錄修改配置文件“/usr/local/hadoop/etc/hadoop/hadoop-env.sh”，在里面找到“export JAVA_HOME=${JAVA_HOME}”這行，然后，把它修改成JAVA安裝路徑的具體地址，比如，
“export JAVA_HOME=/usr/lib/jvm/你自己到java版本”，然后，再次啟動Hadoop。

問題三：使用Sqoop將Hive數據導入到MySQL中

報錯內容：

ERROR manager.SqlManager: Error executing statement: java.sql.SQLException: Access denied for user 'root'@'localhost' (using password: YES)
...
ERROR tool.ExportTool: Encountered IOException running export job: java.io.IOException: No columns to generate for ClassWriter

報錯原因：操作權限不夠
解決方法：
首先用命令service mysql start確保mysql已經啟動，進入操作界面 mysql -u root -p,按提示輸入的mysql密碼，然后執行下面命令修改遠程登錄權限

mysql> grant all privileges on *.* to root@localhost identified by 'root';
Query OK, 0 rows affected, 1 warning (0.00 sec)

mysql> flush privileges;
Query OK, 0 rows affected (0.04 sec)

問題四：將Hive數據導入到MySQL時報錯

報錯內容：

ERROR:"Unable to instantiate org.apache.hadoop.hive.ql.metadata.SessionHiveMetaStoreClient"

報錯原因：換數據庫時沒有和hive成功通信。
解決方法：在確保Hive和MySQL配置步驟正確執行的前提下，在終端輸入如下命令

source /usr/local/hive/scripts/metastore/upgrade/mysql/hive-schema-3.0.0.mysql.sql//使這個版本的配置文件有用！注意更換文件路徑 

schematool -dbType mysql -initSchema//進行初始化.運行顯示成功就可以正常通信了。

問題五：新建Java Web項目時，沒有找到Dynamic Web Project

問題原因：安裝的是專門開發java項目的，而Dynamic Web Project屬于J2EE技術，所以你要專門下載一個集成了J2EE插件的Eclipse，（eclipse-jee-helios-SR2-win32）
解決方法：
方法一：先卸載之前的eclipse版本，到eclipse官網下載相對應版本的IDE

官網鏈接：http://www.eclipse.org/downloads/packages/release/neon/2/eclipse-ide-java-ee-developers

方法二：查看博客https://www.cnblogs.com/longronglang/p/7156383.html （如果你在原來的eclipse版本下執行這個方法不成功，請轉到方法一）

問題六：Eclipse導入外部的jar包

ps：與其說這是一個問題，不如說這是一個注意項。之前天真以為導入jar包只要鼠標左鍵拖拉進去就可以，其實這種做法是錯誤的。

正確操作步驟查看此鏈接：https://jingyan.baidu.com/article/ca41422fc76c4a1eae99ed9f.html

總結

以上是生活随笔為你收集整理的淘宝双11数据分析与预测汇总的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。