spark之4：編程指南

@(SPARK)[spark, 大數據]

（一）快速入門：基本步驟

1、創建一個maven項目

2、增加pom.xml中的依賴

<dependency><groupId>org.apache.spark</groupId><artifactId>spark-core_2.10</artifactId><version>1.5.1</version></dependency>

3、寫代碼

package com.lujinhong.sparkdemoimport org.apache.spark.SparkContextobject GrepWord {def grepCountLog(path: String, keyWord: String) {println("grep " + keyWord + " in " + path + ", the lineCount is: ")val all = new SparkContext().textFile(path)val ret = all.filter(line => line.contains(keyWord))println(ret.count)}def main(args: Array[String]) {grepCountLog("/tmp/lujinhong", "\"server\"");} }

以上代碼在hdfs中的某個目錄grep “server”這個關鍵字。

4、打包代碼

5、執行代碼

/home/hadoop/spark/bin/spark-submit --master yarn-client --class com.lujinhong.sparkdemo.GrepWor4d target/sparkdemo-0.0.1-SNAPSHOT.jar 創作挑戰賽新人創作獎勵來咯，堅持創作打卡瓜分現金大獎

總結

以上是生活随笔為你收集整理的spark之4：编程指南的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。