方法一：利用窗口函數(shù)

/*** 設(shè)置窗口函數(shù)的分區(qū)以及排序，因為是全局排序而不是分組排序，所有分區(qū)依據(jù)為空* 排序規(guī)則沒有特殊要求也可以隨意填寫*/val spec = Window.partitionBy().orderBy($"lon")val df1 = dataframe.withColumn("id", row_number().over(spec))df1.show()

方法二： 利用RDD的 zipWithIndex算子

// 在原Schema信息的基礎(chǔ)上添加一列 “id”信息val schema: StructType = dataframe.schema.add(StructField("id", LongType))// DataFrame轉(zhuǎn)RDD 然后調(diào)用 zipWithIndexval dfRDD: RDD[(Row, Long)] = dataframe.rdd.zipWithIndex()val rowRDD: RDD[Row] = dfRDD.map(tp => Row.merge(tp._1, Row(tp._2)))// 將添加了索引的RDD 轉(zhuǎn)化為DataFrameval df2 = spark.createDataFrame(rowRDD, schema)df2.show()

方法三：

df2 = df.withColumn("id", monotonically_increasing_id)

總結(jié)

以上是生活随笔為你收集整理的Spark DataFrame 添加自增id的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。