使用spark讀取parquet文件時，例如讀取在file:///E:/test/clean文件夾下的文件：


而我們的文件內容中的數據結構是：

val struct = StructType(Array(StructField("uid", StringType),StructField("time", StringType),StructField("netType", StringType),StructField("ip", StringType),StructField("desc_type", StringType),StructField("day", StringType),StructField("num", LongType),StructField("city", StringType)))

但是當我們讀取文件時：

object TopNStatJob {def main(args: Array[String]): Unit = {val spark = SparkSession.builder().appName("TopNStatJob").config("spark.sql.sources.partitionColumnTypeInference.enabled","false").master("local[2]").getOrCreate()val accessDF = spark.read.format("parquet").load("file:///E:/test/clean")accessDF.printSchema()accessDF.show(false)spark.stop} }

控制臺輸出的schema信息是：

在之前定義的day類型是string，而讀取時的類型變成了integer。
因此需要修改：

val spark = SparkSession.builder().appName("TopNStatJob").config("spark.sql.sources.partitionColumnTypeInference.enabled","false").master("local[2]").getOrCreate()

總結

以上是生活随笔為你收集整理的SparkSQL读取文件时，数据字段类型调整的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。