日韩性视频-久久久蜜桃-www中文字幕-在线中文字幕av-亚洲欧美一区二区三区四区-撸久久-香蕉视频一区-久久无码精品丰满人妻-国产高潮av-激情福利社-日韩av网址大全-国产精品久久999-日本五十路在线-性欧美在线-久久99精品波多结衣一区-男女午夜免费视频-黑人极品ⅴideos精品欧美棵-人人妻人人澡人人爽精品欧美一区-日韩一区在线看-欧美a级在线免费观看

歡迎訪問 生活随笔!

生活随笔

當前位置: 首頁 > 编程资源 > 编程问答 >内容正文

编程问答

Pig 0.12.1安装和使用

發(fā)布時間:2024/9/30 编程问答 29 豆豆
生活随笔 收集整理的這篇文章主要介紹了 Pig 0.12.1安装和使用 小編覺得挺不錯的,現(xiàn)在分享給大家,幫大家做個參考.

1 :安裝

解壓,配置環(huán)境變量,驗證 pig安裝是否成功

<pre name="code" class="plain">[jifeng@jifeng02 ~]$ tar zxf pig-0.12.0.tar.gz [jifeng@jifeng02 ~]$ vi .bash_profile # .bash_profile# Get the aliases and functions. ~/.bashrc fi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATH export JAVA_HOME=$HOME/jdk1.7.0_45 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=$HOME/hadoop/hadoop-1.2.1 export ANT_HOME=$HOME/apache-ant-1.9.4export HIVE_HOME=$HOME/hadoop/hive-0.12.0-bin export HBASE_HOME=$HOME/hbase-0.94.21 export PIG_HOME=$HOME/pig-0.12.1export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin ~ ~ ~ ".bash_profile" 23L, 591C 已寫入 [jifeng@jifeng02 ~]$ source .bash_profile
[jifeng@jifeng02 ~]$ pig -helpwhich: no hadoop in (/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.1/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.0/bin)Warning: $HADOOP_HOME is deprecated.Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14

2.Pig執(zhí)行模式
Pig有兩種執(zhí)行模式,分別為:
1) 本地模式(Local)
本地模式下,Pig運行在單一的JVM中,可訪問本地文件。該模式適用于處理小規(guī)模數(shù)據或學習之用。
運行以下命名設置為本地模式: [jifeng@jifeng02 ~]$ pig -x local which: no hadoop in (/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/home/jifeng/jdk1.7.0_45/bin:/usr/lib/qt-3.3/bin:/usr/local/bin:/bin:/usr/bin:/usr/local/sbin:/usr/sbin:/sbin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.1/bin:/home/jifeng/bin:/home/jifeng/apache-ant-1.9.4/bin:/home/jifeng/hadoop/hive-0.12.0-bin/bin::/home/jifeng/hbase-0.94.21/bin:/home/jifeng/pig-0.12.0/bin) Warning: $HADOOP_HOME is deprecated.2015-08-16 22:57:09,716 [main] INFO org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14 2015-08-16 22:57:09,717 [main] INFO org.apache.pig.Main - Logging error messages to: /home/jifeng/pig_1439737029715.log 2015-08-16 22:57:09,735 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/jifeng/.pigbootup not found 2015-08-16 22:57:09,828 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: file:/// grunt>
2) MapReduce模式
在MapReduce模式下,Pig將查詢轉換為MapReduce作業(yè)提交給Hadoop(可以說群集 ,也可以說偽分布式)。
應該檢查當前Pig版本是否支持你當前所用的Hadoop版本。某一版本的Pig僅支持特定版本的Hadoop,你可以通過訪問Pig官網獲取版本支持信息。
Pig會用到HADOOP_HOME環(huán)境變量。如果該變量沒有設置,Pig也可以利用自帶的Hadoop庫,但是這樣就無法保證其自帶肯定庫和你實際使用的HADOOP版本是否兼容,所以建議顯式設置HADOOP_HOME變量。且還需要設置PIG_CLASSPATH變量:

[jifeng@jifeng02 ~]$ vi .bash_profile# .bash_profile# Get the aliases and functions if [ -f ~/.bashrc ]; then. ~/.bashrc fi# User specific environment and startup programsPATH=$PATH:$HOME/binexport PATH export JAVA_HOME=$HOME/jdk1.7.0_45 export PATH=$JAVA_HOME/bin:$PATH export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar export HADOOP_HOME=$HOME/hadoop/hadoop-1.2.1 export ANT_HOME=$HOME/apache-ant-1.9.4export HIVE_HOME=$HOME/hadoop/hive-0.12.0-bin export HBASE_HOME=$HOME/hbase-0.94.21 export PIG_HOME=$HOME/pig-0.12.0 export PIG_CLASSPATH=$HOME/hadoop/hadoop-1.2.1/conf/export PATH=$PATH:$ANT_HOME/bin:$HIVE_HOME/bin::$HBASE_HOME/bin:$PIG_HOME/bin:$HADOOP_HOME/bin ~ ~ ~ ".bash_profile" 24L, 661C 已寫入 [jifeng@jifeng02 ~]$ source .bash_profile [jifeng@jifeng02 ~]$ pig Warning: $HADOOP_HOME is deprecated.2015-08-16 23:06:24,122 [main] INFO org.apache.pig.Main - Apache Pig version 0.12.0 (r1529718) compiled Oct 07 2013, 12:20:14 2015-08-16 23:06:24,123 [main] INFO org.apache.pig.Main - Logging error messages to: /home/jifeng/pig_1439737584121.log 2015-08-16 23:06:24,142 [main] INFO org.apache.pig.impl.util.Utils - Default bootup file /home/jifeng/.pigbootup not found 2015-08-16 23:06:24,281 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to hadoop file system at: hdfs://jifeng01:9000 2015-08-16 23:06:24,463 [main] INFO org.apache.pig.backend.hadoop.executionengine.HExecutionEngine - Connecting to map-reduce job tracker at: jifeng01:9001 grunt>
3.運行Pig程序
Pig程序執(zhí)行方式有三種:
1) 腳本方式
直接運行包含Pig腳本的文件,比如以下命令將運行本地scripts.pig文件中的所有命令:
pig scripts.pig
2) Grunt方式
Grunt提供了交互式運行環(huán)境,可以在命令行編輯執(zhí)行命令。
Grund同時支持命令的歷史記錄,通過上下方向鍵訪問。
Grund支持命令的自動補全功能。比如當你輸入a = foreach b g時,按下Tab鍵,則命令行自動變成a = foreach b generate。你甚至可以自定義命令自動補全功能的詳細方式。具體請參閱相關文檔。
3) 嵌入式方式
可以在java中運行Pig程序,類似于使用JDBC運行SQL程序。
Pig Latin編輯器
PigPen是一個Ecliipse插件,它提供了在Eclipse中開發(fā)運行Pig程序的常用功能,比如腳本編輯、運行等。下載地址:http://wiki.apache.org/pig/PigPen
其他一些編輯器也提供了編輯Pig腳本的功能,比如vi等。


總結

以上是生活随笔為你收集整理的Pig 0.12.1安装和使用的全部內容,希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯,歡迎將生活随笔推薦給好友。

主站蜘蛛池模板: v99av| 久久综合婷婷国产二区高清 | 波多野结衣在线一区二区 | 欧美日韩第一区 | 国产av一区二区三区最新精品 | 久久福利免费视频 | 午夜av一区二区 | 国产精品国产精品国产专区 | 九九九热视频 | 天天爽夜夜操 | 成人黄色片免费看 | 美女一区二区三区 | 黄色av一区 | 男人天堂欧美 | 玖玖在线观看 | 精品久久久久久无码人妻 | 欧美性爱精品在线 | 日韩黄色片在线观看 | 波多野结衣在线看 | 夜夜嗨av色一区二区不卡 | 91porny在线 | 久久久久久免费观看 | 成 人片 黄 色 大 片 | 亚洲欧美日韩综合一区二区 | 日本一区视频在线 | 色在线影院 | 黄色高清视频 | 国产三级精品三级 | 亚洲一区二区三区播放 | 黄色在线视频观看 | 自拍视频在线观看 | 欧美图片一区二区 | 亚洲怡红院av | 国产人妖在线播放 | 小蝌蚪av| 五十路毛片 | 欧美视频在线观看视频 | 不卡日韩 | 日韩18p| av5566| 91在线高清视频 | 人人看人人看 | 国产成人亚洲一区二区 | 男人天堂网在线视频 | 女生裸体无遮挡 | 奇米影视999 | av高清在线免费观看 | 亚洲av毛片一区二二区三三区 | 国产黄色自拍 | 韩国中文字幕hd久久精品 | 草女人视频 | 欧美成人自拍 | 久久精品视频8 | 狠狠干少妇 | 天躁夜夜躁狼狠躁 | 国模少妇一区二区三区 | 毛片久久久 | xxxwww国产 | 亚洲国产aaa | 黄页网站在线看 | 天天躁日日摸久久久精品 | 黄色av网站免费观看 | 国产农村乱对白刺激视频 | 亚洲aaaa级特黄毛片 | www.猫咪av | 午夜国产精品视频 | 6996电视影片免费看 | 国产精品久久亚洲 | 欧美高清性xxxxhd | 天天爽天天爽夜夜爽毛片 | 久久久天堂 | 欧美草比视频 | 日韩在线精品视频一区二区涩爱 | 剧情av在线 | 少妇捆绑紧缚av | 日韩美在线 | 偷拍亚洲视频 | 欧美精品一区二区蜜臀亚洲 | 91欧美一区二区三区 | 窝窝午夜精品一区二区 | 欧洲美一区二区三区亚洲 | 天天爽天天色 | 国产三级日本三级在线播放 | 欧美.com| 国产男女爽爽爽 | 国产性―交―乱―色―情人 | 成人免费网站视频 | 2020自拍偷拍 | av免费播放网站 | 麻豆国产尤物av尤物在线观看 | 公侵犯一区二区三区四区中文字幕 | 国产精品无码永久免费不卡 | www成人网 | 亚洲第一成肉网 | 91视频国产精品 | 美女天天操 | 91看视频| 国产内射合集颜射 | 青春草久久 |