日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 运维知识 > linux >内容正文

linux

flume linux环境搭建,linux安装flume及问题

發布時間:2025/3/15 linux 29 豆豆
生活随笔 收集整理的這篇文章主要介紹了 flume linux环境搭建,linux安装flume及问题 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1.安裝

1)下載:wget http://www.apache.org/dyn/closer.lua/flume/1.6.0/apache-flume-1.6.0-bin.tar.gz

解壓tar -zxvf?apache-flume-1.6.0-bin.tar.gz

創建軟鏈接 ln -s?apache-flume-1.6.0-bin flume

2)配置環境變量

vim ~/.bash_profile

加上export FLUME_HOME=/home/hadoop/flume;export PATH=$PATH:$FLUME_HOME/bin

3)驗證是否安裝成功

flume-ng version,若顯示如下類似信息即成功了

Warning: $HADOOP_HOME is deprecated.

Warning: $HADOOP_HOME is deprecated.

Flume 1.6.0

Source code repository: https://git-wip-us.apache.org/repos/asf/flume.git

Revision: 2561a23240a71ba20bf288c7c2cda88f443c2080

Compiled by hshreedharan on Mon May 11 11:15:44 PDT 2015

From source with checksum b29e416802ce9ece3269d34233baf43f4)基本概念:

Flume由source,channel,sink三部分組成

Agent:使用JVM運行Flume,一般每臺機器啟動一個agent,一個agent可以包含多個sources和sinks

Client:產生數據,獨立線程

Source:從Client收集數據,并將數據傳輸給Channel

Sink:從Channel接收數據

Channel:連接source 和sinks,緩存數據

Events:日志記錄等

5)問題

如果執行flume-ng 的時候執行報錯:Caused by: java.lang.ClassNotFoundException: org.apache.flume.tools.GetJavaProperty

一般來說是由于jdk版本造成的,改為JDK7版本就好了

錯誤: 找不到或無法加載主類 org.apache.flume.tools.GetJavaProperty或者Error: Could not find or load main class org.apache.flume.tools.GetJavaProperty

一般來說是由于裝了HBASE等工具的原因

將hbase的hbase.env.sh的一行配置注釋掉

# Extra Java CLASSPATH elements. Optional.

#export HBASE_CLASSPATH=/home/hadoop/hbase/conf

2、或者將HBASE_CLASSPATH改為JAVA_CLASSPATH,配置如下

# Extra Java CLASSPATH elements. Optional.

export JAVA_CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar

錯誤參考:http://blog.csdn.net/senvil/article/details/42526947

總結

以上是生活随笔為你收集整理的flume linux环境搭建,linux安装flume及问题的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。