Spark SQL? UDF2的使用 繼續(xù)之前的UDF1進(jìn)行說(shuō)明： UDF1博客地址點(diǎn)擊打開(kāi)鏈接 與UDF1的區(qū)別在于兩個(gè)參數(shù)： 需求： 獲取文本中的兩個(gè)數(shù)字 計(jì)算每行中數(shù)字的和 文本： 1,1
2,2
3,3
4,4
5,5
6,6
7,7
8,8
9,9
10,10 代碼： package com.bynear.spark_sql; import java.util.ArrayList; import org.apache.spark.SparkConf; import org.apache.spark.api.java.JavaRDD; import org.apache.spark.api.java.JavaSparkContext; import org.apache.spark.api.java.function.Function; import org.apache.spark.sql.DataFrame; import org.apache.spark.sql.Row; import org.apache.spark.sql.RowFactory; import org.apache.spark.sql.SQLContext; import org.apache.spark.sql.api.java.UDF2; import org.apache.spark.sql.types.DataTypes; import org.apache.spark.sql.types.StructField; import org.apache.spark.sql.types.StructType; /** * 張建設(shè) * 2018/4/27 * 15:41 */ public class JavaUDF2 {public static void main(String[] args) {SparkConf conf = new SparkConf().setAppName("JavaUDF2").setMaster("local"); JavaSparkContext jsc = new JavaSparkContext(conf); SQLContext sqlContext = new SQLContext(jsc.sc()); JavaRDD<String> numRDD = jsc.textFile("//Desktop//Spark//JavaUDF2.txt"); JavaRDD<Row> numRowRDD = numRDD.map(new Function<String, Row>() {@Overridepublic Row call(String line) throws Exception {String[] split = line.split(","); return RowFactory.create(Integer.valueOf(split[0]), Integer.valueOf(split[1])); }}); ArrayList<StructField> fields = new ArrayList<StructField>(); fields.add(DataTypes.createStructField("num1", DataTypes.IntegerType, true)); fields.add(DataTypes.createStructField("num2", DataTypes.IntegerType, true)); StructType structType = DataTypes.createStructType(fields); DataFrame numDF = sqlContext.createDataFrame(numRowRDD, structType); numDF.registerTempTable("table_num"); sqlContext.udf().register("addSum", new UDF2<Integer, Integer, Integer>() {@Overridepublic Integer call(Integer num1, Integer num2) throws Exception {return num1 + num2; }}, DataTypes.IntegerType); sqlContext.sql("select num1,num2 ,addSum(num1,num2) as Sum from table_num").show(); System.out.println("第一次成功了"); Row[] rows = sqlContext.sql("select num1,num2 ,addSum(num1,num2) as Sum from table_num").collect(); for (Row row : rows) {System.out.println(row); }System.out.println("第二次成功了"); jsc.stop(); } } 結(jié)果： +----+----+---+
|num1|num2|Sum|
+----+----+---+
|? ?1|? ?1|? 2|
|? ?2|? ?2|? 4|
|? ?3|? ?3|? 6|
|? ?4|? ?4|? 8|
|? ?5|? ?5| 10|
|? ?6|? ?6| 12|
|? ?7|? ?7| 14|
|? ?8|? ?8| 16|
|? ?9|? ?9| 18|
|? 10|? 10| 20|
+----+----+---+ 第一次成功了
[1,1,2]
[2,2,4]
[3,3,6]
[4,4,8]
[5,5,10]
[6,6,12]
[7,7,14]
[8,8,16]
[9,9,18]
[10,10,20]
第二次成功了

總結(jié)

以上是生活随笔為你收集整理的Spark SQL UDF2的使用的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。