深入浅出学Hive：Hive参数
第一部分：Hive 參數
hive.exec.max.created.files
?說明：所有hive運行的map與reduce任務可以產生的文件的和
?默認值:100000?
hive.exec.dynamic.partition
?說明：是否為自動分區
?默認值：false
hive.mapred.reduce.tasks.speculative.execution
?說明：是否打開推測執行
?默認值：true
hive.input.format
?說明：Hive默認的input format
?默認值： org.apache.hadoop.hive.ql.io.CombineHiveInputFormat
?如果有問題可以使用org.apache.hadoop.hive.ql.io.HiveInputFormat
hive.exec.counters.pull.interval
?說明：Hive與JobTracker拉取counter信息的時間
?默認值：1000ms?
hive.script.recordreader
?說明：使用腳本時默認的讀取類
?默認值： org.apache.hadoop.hive.ql.exec.TextRecordReader
hive.script.recordwriter
?說明：使用腳本時默認的數據寫入類
?默認值： org.apache.hadoop.hive.ql.exec.TextRecordWriter
hive.mapjoin.check.memory.rows
?說明： 內存里可以存儲數據的行數
?默認值： 100000
hive.mapjoin.smalltable.filesize
?說明：輸入小表的文件大小的閥值，如果小于該值，就采用普通的join
?默認值： 25000000
hive.auto.convert.join
?說明：是不是依據輸入文件的大小，將Join轉成普通的Map Join
?默認值： false
hive.mapjoin.followby.gby.localtask.max.memory.usage
?說明：map join做group by 操作時，可以使用多大的內存來存儲數據，如果數據太大，則不會保存在內存里
?默認值：0.55
hive.mapjoin.localtask.max.memory.usage
?說明：本地任務可以使用內存的百分比
?默認值： 0.90
hive.heartbeat.interval
?說明：在進行MapJoin與過濾操作時，發送心跳的時間
?默認值1000
hive.merge.size.per.task
?說明： 合并后文件的大小
?默認值： 256000000
hive.mergejob.maponly
?說明： 在只有Map任務的時候 合并輸出結果
?默認值： true
hive.merge.mapredfiles
?默認值： 在作業結束的時候是否合并小文件
?說明： false
hive.merge.mapfiles
?說明：Map-Only Job是否合并小文件
?默認值：true
hive.hwi.listen.host
?說明：Hive UI 默認的host
?默認值：0.0.0.0
hive.hwi.listen.port
?說明：Ui監聽端口
?默認值：9999
hive.exec.parallel.thread.number
?說明：hive可以并行處理Job的線程數
?默認值：8
hive.exec.parallel
?說明：是否并行提交任務
?默認值：false
hive.exec.compress.output
?說明：輸出使用壓縮
?默認值： false
hive.mapred.mode
?說明： MapReduce的操作的限制模式，操作的運行在該模式下沒有什么限制
?默認值： nonstrict
hive.join.cache.size
?說明： join操作時，可以存在內存里的條數
?默認值： 25000
hive.mapjoin.cache.numrows
?說明： mapjoin 存在內存里的數據量
?默認值：25000
hive.join.emit.interval
?說明： 有連接時Hive在輸出前，緩存的時間
?默認值： 1000
hive.optimize.groupby
?說明：在做分組統計時，是否使用bucket table
?默認值： true
hive.fileformat.check
?說明：是否檢測文件輸入格式
?默認值：true
hive.metastore.client.connect.retry.delay
?說明： client 連接失敗時,retry的時間間隔
?默認值：1秒
hive.metastore.client.socket.timeout
?說明:? Client socket 的超時時間
?默認值：20秒
mapred.reduce.tasks
?默認值：-1
?說明：每個任務reduce的默認值
?-1 代表自動根據作業的情況來設置reduce的值?
hive.exec.reducers.bytes.per.reducer
?默認值： 1000000000 （1G）
?說明：每個reduce的接受的數據量
??? 如果送到reduce的數據為10G,那么將生成10個reduce任務?
hive.exec.reducers.max
?默認值：999
?說明： reduce的最大個數??????
hive.exec.reducers.max
?默認值：999
?說明： reduce的最大個數
hive.metastore.warehouse.dir
?默認值：/user/hive/warehouse
?說明： 默認的數據庫存放位置
hive.default.fileformat
?默認值：TextFile
?說明： 默認的fileformat
hive.map.aggr
?默認值：true
?說明： Map端聚合，相當于combiner
hive.exec.max.dynamic.partitions.pernode
?默認值：100
?說明：每個任務節點可以產生的最大的分區數
hive.exec.max.dynamic.partitions
?默認值：1000
?說明： 默認的可以創建的分區數
hive.metastore.server.max.threads
?默認值：100000
?說明： metastore默認的最大的處理線程數
hive.metastore.server.min.threads
?默認值：200
?說明： metastore默認的最小的處理線程數
?
轉載請注明出處【?http://sishuok.com/forum/blogPost/list/0/6225.html】
總結
以上是生活随笔為你收集整理的深入浅出学Hive：Hive参数的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 深入浅出学Hive：Hive QL
- 下一篇： 深入浅出学Hive：Hive体系结构