一種簡(jiǎn)單的方法是擁有一種保留標(biāo)頭的方法。

假設(shè)您有一個(gè)file.csv，例如：

user, topic, hits

om,? scala, 120

daniel, spark, 80

3754978, spark, 1

我們可以定義一個(gè)標(biāo)頭類，該標(biāo)頭類使用第一行的解析版本：

class SimpleCSVHeader(header:Array[String]) extends Serializable {

val index = header.zipWithIndex.toMap

def apply(array:Array[String], key:String):String = array(index(key))

}

我們可以使用該標(biāo)頭來處理以后的數(shù)據(jù)：

val csv = sc.textFile("file.csv")? // original file

val data = csv.map(line => line.split(",").map(elem => elem.trim)) //lines in rows

val header = new SimpleCSVHeader(data.take(1)(0)) // we build our header with the first line

val rows = data.filter(line => header(line,"user") != "user") // filter the header out

val users = rows.map(row => header(row,"user")

val usersByHits = rows.map(row => header(row,"user") -> header(row,"hits").toInt)

...

請(qǐng)注意，header僅僅不過是助記符到數(shù)組索引的簡(jiǎn)單映射。幾乎所有這些操作都可以在數(shù)組中元素的順序位置上完成，例如user = row(0)

PS：歡迎來到Scala :-)

總結(jié)

以上是生活随笔為你收集整理的rdd转换成java数据结构_如何将CSV文件转换为RDD的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。