版本：

一、原始數(shù)據(jù)及Hive表

MongoDB數(shù)據(jù)格式

Hive普通表

Hive分區(qū)表

二、 IDEA+Maven+Java

依賴

代碼

工具類

三、 錯誤解決辦法

1、 IDEA會獲取不到Hive的數(shù)據(jù)庫和表，將hive-site.xml放入resources文件中。并且將resources設(shè)置成配置文件(設(shè)置成功文件夾是藍(lán)色否則是灰色)

file–>Project Structure–>Modules–>Source

2、 上面錯誤處理完后如果報JDO類型的錯誤，那么檢查HIVE_HOME/lib下時候否mysql驅(qū)動，如果確定有，那么就是IDEA獲取不到。解決方法如下：

將mysql驅(qū)動拷貝到j(luò)dk1.8.0_171.jdk/Contents/Home/jre/lib/ext路徑下(jdk/jre/lib/ext)

在IDEA項(xiàng)目External Libraries下的<1.8>里面添加mysql驅(qū)動

四、 注意點(diǎn)

由于將MongoDB數(shù)據(jù)表注冊成了臨時表和Hive表進(jìn)行了關(guān)聯(lián)，所以要將MongoDB中的id字段設(shè)置成索引字段，否則性能會很慢。

MongoDB設(shè)置索引方法：

查看索引：

總結(jié)

以上是生活随笔為你收集整理的hive 分区_代码 | Spark读取mongoDB数据写入Hive普通表和分区表的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。