Flink和Spark中文亂碼問題

• Flink中文亂碼
• Spark中文亂碼

Flink中文亂碼

近期開發(fā)Flink CDC 讀取mysql數(shù)據(jù)寫入到HDFS，發(fā)現(xiàn)寫入中文亂碼，排查了數(shù)據(jù)庫(kù)編碼和文件編碼都沒有問題，后來網(wǎng)上查了一些資料，修改flink.conf文件，新增如下內(nèi)容

env.java.opts: -Dfile.encoding=UTF-8

Spark中文亂碼

也排查了數(shù)據(jù)庫(kù)編碼和文件編碼沒有問題，在程序啟動(dòng)參數(shù)中新增–conf spark.executor.extraJavaOptions=“-Dfile.encoding=UTF-8” --conf spark.driver.extraJavaOptions=“-Dfile.encoding=UTF-8”
完整例子

spark-submit \ --master yarn \ --conf spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" \ --conf spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8" \ --deploy-mode cluster \ --class com.vesoft.nebula.exchange.DBTest \ --driver-cores 1 \ --driver-memory 512M \ --num-executors 2 \ --executor-cores 2 \ --executor-memory 2G \ --queue default nebula-exchange_spark_2.4-3.0-SNAPSHOT.jar

或者在spark.conf中配置這兩個(gè)參數(shù)

spark.executor.extraJavaOptions="-Dfile.encoding=UTF-8" spark.driver.extraJavaOptions="-Dfile.encoding=UTF-8"

總結(jié)

以上是生活随笔為你收集整理的Flink和Spark中文乱码问题的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。