flume linux环境搭建,linux安装flume及问题
1.安裝
1)下載:wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz
解壓tar -zxvf?apache-flume-1.6.0-bin.tar.gz
創建軟鏈接 ln -s?apache-flume-1.6.0-bin flume
2)配置環境變量
vim ~/.bash_profile
加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin
3)驗證是否安裝成功
flume-ng version,若顯示如下類似信息即成功了
Warning: $HADOOP_HOME is deprecated.
Warning: $HADOOP_HOME is deprecated.
Flume 1.6.0
Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git
Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080
Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015
From source with checksum b29e416802ce9ece3269d34233baf43f4)基本概念:
Flume由source,channel,sink三部分組成
Agent:使用JVM運行Flume,一般每臺機器啟動一個agent,一個agent可以包含多個sources和sinks
Client:產生數據,獨立線程
Source:從Client收集數據,并將數據傳輸給Channel
Sink:從Channel接收數據
Channel:連接source 和sinks,緩存數據
Events:日志記錄等
5)問題
如果執行flume-ng 的時候執行報錯:Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty
一般來說是由于jdk版本造成的,改為JDK7版本就好了
錯誤: 找不到或無法加載主類 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty
一般來說是由于裝了HBASE等工具的原因
將hbase的hbase.env.sh的一行配置注釋掉
# Extra Java CLASSPATH elements. Optional.
#export HBASE_CLASSPATH=/home/hadoop/hbase/conf
2、或者將HBASE_CLASSPATH改為JAVA_CLASSPATH,配置如下
# Extra Java CLASSPATH elements. Optional.
export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
錯誤參考:http://blog.csdn.net/senvil/article/details/42526947
總結
以上是生活随笔為你收集整理的flume linux环境搭建,linux安装flume及问题的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Docker 常用命令,还有谁不会?
- 下一篇: linux 其他常用命令