加快Kettle插入速度的小技巧
生活随笔
收集整理的這篇文章主要介紹了
加快Kettle插入速度的小技巧
小編覺得挺不錯的,現在分享給大家,幫大家做個參考.
我司數據傳輸用的最多的就是使用Kettle,Kettle是一個開源的軟件,對于異構數據庫之間的數據傳輸配置方便、使用簡單,特別好用。但是之前一直忽略了一個問題。他本身還是基于JDBC的,所以有個參數特別重要rewriteBatchedStatements,將此參數設置為true即可實現更高性能的執行批量處理,加快插入速度。
設置方式
界面設置
如果我們使用界面配置即可使用如下設置
代碼方式
Properties properties = new Properties(); properties.put("EXTRA_OPTION_MYSQL.serverTimezone","Asia/Shanghai"); properties.put("EXTRA_OPTION_MYSQL.useSSL","true"); properties.setProperty("EXTRA_OPTION_MYSQL.rewriteBatchedStatements","true"); DatabaseMeta targetDataMeta =new DatabaseMeta("test", "MySQL", "Native","localhost", "test", "3306", "root", "root"); targetDataMeta.setDBPort("3306"); targetDataMeta.setAttributes(properties); transMeta.addDatabase(targetDataMeta);使用上述方式,正常我們就可以加快一下Kettle的插入速度。
總結
以上是生活随笔為你收集整理的加快Kettle插入速度的小技巧的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 在ubuntu16.04上运行ROS获取
- 下一篇: 菜鸟最初级网络安全常识