提起Flume, 就先講一下它的基本作用, 它可以從不同的數(shù)據(jù)源導(dǎo)入到一個(gè)集中的地方存放起來(lái),基本架構(gòu)如下圖所示

*上圖為Flume Data Flow Model, Ref: Flume 1.9.0 User Guide

本篇文章會(huì)做一個(gè)小demo, 數(shù)據(jù)從spooling directory來(lái)(而不是官網(wǎng)圖中畫(huà)的Web Server), 先經(jīng)過(guò)channel, 再寫(xiě)入HDFS

*Note: Flume的source, channel和sink的類(lèi)型非常多,所以本次用的source是Spooling Directory Source, Sink是 HDFS Sink, Channel是Memory Channel

前提準(zhǔn)備

搭建HDFS環(huán)境, 可以參考以下文章

Richie：Hadoop -- 1. 從零搭建HDFS?zhuanlan.zhihu.com

配置Flume

從下面的官網(wǎng)直接下載Flume編譯好的包(Apache Flume binary)

Download - Apache Flume?flume.apache.org

解壓放在某個(gè)路徑下, 然后把flume加入環(huán)境變量, 如下

export FLUME_HOME=/Path_To_Your_Flume_Dir/flume-1.8.0 export PATH=$PATH:$FLUME_HOME/bin

之后記得source以下, 例如

source ~/.zshrc

創(chuàng)建spool dir

spool dir其實(shí)就是一個(gè)目錄, 所以和創(chuàng)建目錄的指令都一致

mkdir /path_to_your_spooldir

為source和sink配置config文件

這里先命名為hdfs.conf吧

agent1.sources = source1 agent1.sinks = sink1 agent1.channels = channel1agent1.sources.source1.channels = channel1 agent1.sinks.sink1.channel = channel1agent1.sources.source1.type = spooldir agent1.sources.source1.spoolDir = /path_to_your_spooldiragent1.sinks.sink1.type = hdfs agent1.sinks.sink1.hdfs.path = /tmp/flume agent1.sinks.sink1.hdfs.filePrefix = events agent1.sinks.sink1.hdfs.fileSuffix = .log agent1.sinks.sink1.hdfs.inUsePrefix = _ agent1.sinks.sink1.hdfs.fileType = DataStreamagent1.channels.channel1.type = memory

啟動(dòng)Flume

cd /to_your_flume_home_dir flume-ng agent --conf-file /path_to_your_hdfs.conf --name agent1 --conf conf -Dflume.root.logger=INFO,console

寫(xiě)入Spool Dir

cd /to_your_spool_dir echo "Hello Flume" > .file1.txt mv .file1.txt file1.txt*Note: 這里解釋一下為什么先寫(xiě)入隱藏文件, 然后再重命名了一下. 這是為了避免寫(xiě)了部分文件的時(shí)候, 就被flume source讀取了, 所以我們先寫(xiě)入隱藏文件, 然后做個(gè)原子操作-重命名,之后flume就可以讀到完整的文件了

在HDFS中查看寫(xiě)入內(nèi)容

hdfs dfs -ls /tmp/flume

然后看一下.log文件中的內(nèi)容

hdfs dfs -cat /tmp/flume/events.1547361342874.log

可以看到截圖最后一行“Hello Flume”, 證明成功寫(xiě)入HDFS

總結(jié)

以上是生活随笔為你收集整理的hadoop重命名文件_Hadoop -- 3. 从Flume到HDFS的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。