實在是想對csdn博客吐槽，一天到晚要么發布不了，發布成功的居然還時不時看不到文章內容（空白的），有時還打不開博客，問客服就說換瀏覽器。我真想和csdn客服說，你妹的，你知不知道我是碼農啊，初步的問題診斷是會的，如果不是懷疑csdn博客服務端問題，我會找你。

這篇文章是重復http://blog.csdn.net/fjssharpsword/article/details/60136224，因為這個時不時打開是空白，而摘要確有內容，有時又能正常打開。昨天下午5:20多分，和csdn客服說，然后妹紙居然下班了，不理會人了，這個客服態度經常是推卸責任，然后就是不理你，我也是醉了。實在是csdn博客堅持這么久，不想換一家。

先重復發布吧，還好之前有保存原稿，現在重新發布：

1、Flume?
? ?flume是一個分布式、可靠、和高可用的海量日志采集、聚合和傳輸的系統。支持在日志系統中定制各類數據發送方，用于收集數據；同時，Flume提供對數據進行簡單處理，并寫到各種數據接受方(比如文本、HDFS、Hbase等)的能力。
　 flume的數據流由事件(Event)貫穿始終，事件是Flume的基本數據單位，它攜帶日志數據(字節數組形式)并且攜帶有頭信息。Event由Agent外部的Source生成，當Source捕獲事件后會進行特定的格式化，然后Source會把事件推入(單個或多個)Channel中；Channel看作是一個緩沖區，它將保存事件直到Sink處理完該事件；Sink負責持久化日志或者把事件推向另一個Source。
? ?flume的一些核心概念：
? ?1）Agent：使用JVM 運行Flume。每臺機器運行一個agent，但是可以在一個agent中包含多個sources和sinks。
? ?2）Client：生產數據，運行在一個獨立的線程。
? ?3）Source ：從Client收集數據，傳遞給Channel。
? ?4）Sink ： 從Channel收集數據，運行在一個獨立線程。
? ?5）Channel ?：連接 sources 和 sinks ，這個有點像一個隊列。
? ?6）Events ： 可以是日志記錄、 avro 對象等。

下面的部署和配置參照：http://flume.apache.org/FlumeUserGuide.html


2、Flume Agent部署


1）下載并解壓jdk-7u67-linux-x64.gz，到/home/flume/
? ? #cd /tmp
? ? #tar -xzvf jdk-7u67-linux-x64.gz
? ? #cp -r /tmp/jdk1.7.0_67 ?/home/flume/
? ?
? ?
2）下載并解壓apache-flume-1.7.0-bin.tar.gz，到/home/flume/
? ? #tar -xzvf /tmp/apache-flume-1.7.0-bin.tar.gz ?-C /home/flume/


3） 修改flume-env.sh 配置文件，設置JAVA_HOME變量
? ? #cd /home/flume/apache-flume-1.7.0-bin/conf
? ? #cp flume-env.sh.template　flume-env.sh
? ? #vi flume-env.sh
? ? ?添加export JAVA_HOME=/home/flume/jdk1.7.0_67
? ? ? ? ?FLUME_CLASSPATH="/home/flume/apache-flume-1.7.0-bin"


3、配置flume-conf.properties文件
? ? #cd /home/flume/apache-flume-1.7.0-bin/conf
? ? #cp flume-conf.properties.template　flume-conf.properties
? ??
? ?1）查找FTP文件本地路徑
? ?#cat /etc/vsftpd/vsftpd.conf
? ? 找到user_config_dir=/etc/vsftpd/user_config_dir
? ?#ls -l /etc/vsftpd/user_config_dir
? ? ?查看下面具體ftp用戶的配置文件，如用戶名是user；
? ?#cat /etc/vsftpd/user_config_dir/user
? ? ?找到local_root=/data/user，即為ftp本地文件目錄；
? ? 將/data/user配置到source。


? ?2）Hadoop環境配置
? ? ?引入hadoop-common-2.7.3.2.5.3.0-37.jar、commons-configuration-1.6.jar、
? ? ? ? ?hadoop-auth-2.7.3.2.5.3.0-37.jar、hadoop-hdfs-2.7.3.2.5.3.0-37.jar、
? ? ? ? ?htrace-core-3.1.0-incubating.jar、commons-io-2.4.jar到apache-flume-1.7.0-bin/lib下
? ? ?引入core-site.xml和hdfs-site.xml到apache-flume-1.7.0-bin/conf下；
? ? ?namenode要在/etc/hosts上配置對應的IP地址；
? ? ?spoolDir的hdfs上目錄要讀寫權限：
? ? ?#hadoop fs -chown -R mapred:hadoop /tmp/flume
? ? ?#hadoop fs -chmod -R 777 /tmp/flume
? ? ? ??
? ?3）#vi flume-conf.properties 配置如下

? ? ?#agent agent.sources=se agent.sinks=sk agent.channels=ch#set source se agent.sources.se.type=spooldir agent.sources.se.spoolDir=/data/kaitong/gz/20170303/ agent.sources.se.channels=ch agent.sources.se.fileHeader = false#set sink sk agent.sinks.sk.type=hdfs agent.sinks.sk.hdfs.path=hdfs://namenode49:8020/tmp/flume/ agent.sinks.sk.channel=ch agent.sinks.sk.hdfs.filePrefix = flume- agent.sinks.sk.hdfs.round = true agent.sinks.sk.hdfs.roundValue = 10 agent.sinks.sk.hdfs.roundUnit = minute agent.sinks.sk.hdfs.useLocalTimeStamp = true#set channel ch # Use a channel which buffers events in memory agent.channels.ch.type = memory agent.channels.ch.capacity = 1000 agent.channels.ch.transactionCapacity = 1004、啟動Flume Agent并測試
? ?#cd /home/flume/apache-flume-1.7.0-bin/
? ?#bin/flume-ng agent -n agent -c conf -f conf/flume-conf.properties ?-Dflume.root.logger=INFO,console


5、后續工作：


? ?1)如果集群通過kerberos認證的話，要配置kerberos認證；
? ? ?agent.sinks.sk.hdfs.kerberosPrincipal = etl/host
? ? ?agent.sinks.sk.hdfs.kerberosKeytab = /tmp/etl.app.keytab


? ?2)Flume支持引入第三方jar包 ，自定義攔截器，可將Flume采集到的數據進行序列化、結構化等預處理，最后每條數據生成一條Event數據返回。

總結

以上是生活随笔為你收集整理的Flume NG之Agent部署和sink配置HDFS且吐槽CSDN博客及客服态度的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。