使用 Scala 写WordContext程序
生活随笔
收集整理的這篇文章主要介紹了
使用 Scala 写WordContext程序
小編覺(jué)得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.
| 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 | package?mydemo import?org.apache.spark.{SparkConf,?SparkContext} object?MyWordContextDemo?{ ??def?main(args:?Array[String]):?Unit?=?{ ????//?創(chuàng)建一個(gè)?Config ????val?conf?=?new?SparkConf().setAppName("MyWordContext") ????//?創(chuàng)建?SparkContext?對(duì)象 ????val?sc?=?new?SparkContext(conf) ????//?使用sc?對(duì)象執(zhí)行相應(yīng)的算子 ????sc.textFile(args(0))????????????????????//?從第一個(gè)參數(shù)獲取文件路徑并打開(kāi) ??????.flatMap(_.split("?"))??????????????//?先?map?再壓平 ??????.map((_,?1))????????????????????????//?將單詞和?1?構(gòu)成元組 ??????.reduceByKey(_?+?_)?????????????????//?根據(jù)Key?進(jìn)行?Reduce，并將?value?累加 ??????.saveAsTextFile(args(1))????????????//?將結(jié)果輸出到文件 ????//?停止?SparkContext?對(duì)象 ????sc.stop() ??} } |
==>?運(yùn)行程序：
????--->?首先將程序打包成?jar?包
? ? --->?執(zhí)行以下命令
| 1 | spark-submit?--master?spark://bigdata0:7077?--class?mydemo.MyWordContextDemo?scalawordcontext.jar?hdfs://192.168.10.210:9000:/output/scala/wordcontext.txt |
? ? --->?命令解釋：
????????----?spark-submit????????????????????????????????????spark?命令
? ? ????----?--master spark://bigdata0:7077
? ? ????----?--class?????????指定類(lèi)名
? ? ????----?scalawordcontext.jar????將自己與的程序打成的jar?包
? ? ????----?hdfs://192.168.10.210:9000/out/scala/wordcontext.txt????????指定處理好的數(shù)據(jù)輸出的文件
本文轉(zhuǎn)自 菜鳥(niǎo)的征程 51CTO博客，原文鏈接:http://blog.51cto.com/songqinglong/2073794
總結(jié)
以上是生活随笔為你收集整理的使用 Scala 写WordContext程序的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。
- 上一篇： 龙年专属、三行“情书”......这些期
- 下一篇： RHCE-samba服务