在hadoop下創(chuàng)建文件夾

bin/hdfs dfs -mkdir -p /usr/hadoop/spark/

touch wc.input? 寫一些文本進(jìn)去、

上傳到hdfs上? bin/hdfs dfs -put wc.input /usr/hadoop/spark/

查看是否上傳成功? bin/hdfs dfs -text? /usr/hadoop/spark/wc.input

?

檢測hdfs是否脫離安全模式

[root@hadoop-spark hadoop]# bin/hdfs dfsadmin -safemode get

?

啟動(dòng)spark讀取

scala> val rdd=sc.textFile("hdfs://hadoop-spark.dragon.org:8020/user/hadoop/data/wc.input")

scala> rdd.cache()

scala> val wordcount=rdd.flatMap(_.split(" ")).map(x=>(x,1)).reduceByKey(_+_)

scala> wordcount.take(10)

scala> val wordsort=wordcount.map(x=>(x._2,x._1)).sortByKey(false).map(x=>(x._2,x._1))

scala> wordsort.take(10)

?

轉(zhuǎn)載于:https://www.cnblogs.com/gyadmin/p/8276363.html

總結(jié)

以上是生活随笔為你收集整理的上传文本到hdfs上的一些命令的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。