日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 综合教程 >内容正文

综合教程

压缩软件Snappy的安装

發布時間:2024/6/21 综合教程 33 生活家
生活随笔 收集整理的這篇文章主要介紹了 压缩软件Snappy的安装 小編覺得挺不錯的,現在分享給大家,幫大家做個參考.

1、下載源碼,通過編譯源碼安裝

 tar -zxvf /home/zfll/soft/snappy-1.1.2.tar.gz

cd snappy-1.1.2

  ./configure

make

 sudo make install(輸入root的密碼)
2、安裝hadoop-snappy包

解壓unzip /home/zfll/soft/hadoop-snappy-master.zip

編譯cd hadoop-snappy-master/

mvn clean package -Dmaven.test.skip=true

編譯后把本地庫文件和jar包(編譯后可能已經打在一個壓縮包里,需要先解壓)拷貝到相應的目錄

cd /home/zfll/hadoop-snappy-master/target

tar -zxvf hadoop-snappy-0.0.1-SNAPSHOT.tar.gz

cp-r hadoop-snappy-0.0.1-SNAPSHOT/lib/* $HADOOP_HOME/lib

cp hadoop-snappy-0.0.1-SNAPSHOT.jar $HADOOP_HOME/lib
Snappy 0.0.1-SNAPSHOT/目錄包含本地庫和hadoop-snappy-0.0.1-SNAPSHOT.jar包,都需要拷貝到相應的目錄。

3、配置hadoop-env.sh 添加:

cd /home/zfll/hadoop/etc/hadoop

vi hadoop-env.sh

  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

4、配置mapred-site.xml 增加

cd /home/zfll/hadoop/etc/hadoop

vi mapred-site.xml

<property>
      <name>mapred.compress.map.output</name>
      <value>true</value>
 </property>
 <property>
       <name>mapred.map.output.compression.codec</name>
       <value>org.apache.hadoop.io.compress.SnappyCodec</value>
  </property>

vi core-site.xml

<property>
        <name>io.compression.codecs</name>
        <value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>   

注意以上文件,每個節點都要修改增加

6、Hbase配置Snappy

1)、cd /home/zfll/hbase/lib

mkdir -p native/Linux-amd64-64

cp -r $HADOOP_HOME/lib/native/Linux-amd64-64/* $HBASE_HOME/lib/native/Linux-amd64-64/

2)、配置hbase環境變量

cd /home/zfll/hbase/conf

vi hbase-env.sh

  export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$HADOOP_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

  export HBASE_LIBRARY_PATH=$HBASE_LIBRARY_PATH:$HBASE_HOME/lib/native/Linux-amd64-64/:/usr/local/lib/

vi hbase-site.xml 保證啟動以snappy方式啟動

<property>  
      <name>hbase.regionserver.codecs</name>  
      <value>snappy</value>  
 </property>

3)、重啟hadoop和hbase

server1-hadoop-namenode-01上stop-dfs.sh stop-yarn.sh

stop-hbase.sh

start-dfs.sh start-yarn.sh

hbase-daemon.sh start master

server2-hadoop-namenode-02上啟動備用進程:

yarn-daemon.sh stop resourcemanager

yarn-daemon.sh start resourcemanager

hbase-daemon.sh start master

在安裝hbase接點上分別啟動hbase的regionserver

hbase-daemon.sh start regionserver

4)、驗證Hbase配置是否成功(在server1-hadoop-namenode-01上操作)

接下來創建并操作Snappy壓縮格式的表

1、hbase shell

2、create 'tsnappy', { NAME => 'f', COMPRESSION => 'snappy'}

3、describe 'tsnappy'

4、put 'tsnappy', 'row1', 'f:col1', 'value'

5、scan 'tsnappy'

總結

以上是生活随笔為你收集整理的压缩软件Snappy的安装的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。