Pig用于處理大規(guī)模數(shù)據(jù)的高級查詢語言

• 由兩部分組成：用于描述數(shù)據(jù)流的語言Pig Latin和執(zhí)行Pig Latin程序的執(zhí)行環(huán)境，使用Pig Latin可以對數(shù)據(jù)進(jìn)行加載、排序、過濾、求和、分組、關(guān)聯(lián)、存儲操作等。
• 應(yīng)用場景：以數(shù)據(jù)流水線的方式考慮問題，并需要對作業(yè)運行方式更細(xì)粒度的控制。
• Pig運行模式：

1、本地模式：grunt shell 方式、腳本文件方式、嵌入式程序方式

2、MapReduce模式：Grunt Shell 方式、腳本文件方式、嵌入式程序方式

• 常用Pig Latin操作

1、數(shù)據(jù)加載命令：LOAD

2、數(shù)據(jù)存儲命令：STORE

3、數(shù)據(jù)轉(zhuǎn)換：分組命令GROUP、過濾命令FILTER、篩選命令LIMIT、去重命令DISTINCT、排序命令ORDER BY，遍歷命令FOREACH 、連接命令JOIN等等。。。

Pig Latin是一種面向數(shù)據(jù)流的編程語言，數(shù)據(jù)流的特征主要體現(xiàn)在數(shù)據(jù)處理過程中，以關(guān)系為單位將數(shù)據(jù)進(jìn)行有序的轉(zhuǎn)換。每一次轉(zhuǎn)換產(chǎn)生一個新的關(guān)系，每一個關(guān)系保留了此時的數(shù)據(jù)狀態(tài)。

總結(jié)

以上是生活随笔為你收集整理的大数据处理Pig的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。