flink读写hive-代码方式
注意:
flink讀寫hive有兩種方式,
一種是connector方式,
一種是jdbc方式.
jdbc因為性能上的問題,該方式沒有嘗試的意義.
################################################
[3]中提到了一個常見的觀點:hive主要是寫入流數據.因為BI報表總是為了展現而服務的.
調研了[6], 得到了[4][5]兩套方案
[7] 的博主省略了TamAlert這個類,聯系不上,但是猜測應該是一個POJO
[8]提到了官方的例子,看了下比較復雜
[9]吐槽flink讀取hive速度很慢
[10]吐槽搞了三天
################################################
網上能用的資料基本上都在上面了,但是要進行該實驗之前最好先跑通FLINK SQL Client讀取HIVE實驗,這樣有利于理解基本的HCatalog這個概念.
FLINK SQL Client方式見[17]
代碼方式見:
https://gitee.com/appleyuchi/Flink_Code/blob/master/FLINK讀寫各種數據源/Java/src/main/java/Hive_Read.java
目前還有[4][12]沒看
Reference:
[1]Hive Read & Write
[2]Flink 1.1.3 Interact with Hive 2.1.0
[3] Flink Table環境下讀寫Hive數據
[4]deshpandetanmay/mastering-flink(這是一本書,注意系統學習下)
[5]Reading & Writing Hive Tables
[6]Flink 1.1.3 Interact with Hive 2.1.0
[7]項目實戰 從 0 到 1 學習之Flink (23)Flink 讀取hive并寫入hive(jdbc方式,不推薦)
[8]Flink 1.9 讀寫Hive操作
[9]flink 讀取hive的數據(jdbc方式,不推薦,性能差)
[10]Flink-1.11.1 讀寫 Hive 問題(沒啥用)
[11]如何在 Flink 1.9 中使用 Hive?(已經掌握)
[12]flink 1.11 使用sql將流式數據寫入hive【Demo及說明】(這個要改源碼)
[13]Flink1.11讀取hive遇到的各種依賴問題(connector方式)
[14]Flink 讀取hive,寫入hive(jdbc方式,不推薦)
[15]flink_sql_client 1.10 與 hive集成 讀取實時數據(這個已經掌握)~
[16]Flink1.10集成Hive快速入門(yaml的配置文件不完整,已經閱讀)
[17]Flink SQL Client讀寫Hive
總結
以上是生活随笔為你收集整理的flink读写hive-代码方式的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: qq飞车滑板模式在哪里(QQ官方下载)
- 下一篇: Could not find a sui