基于特定數(shù)據(jù)Oracle、ClickHouse、ES存儲比較

筆者在工作中遇到一種情況，有一批數(shù)據(jù)需要和其他表進(jìn)行各種復(fù)雜計(jì)算、并表操作，輸出統(tǒng)計(jì)值。一般情況，類似場景都會使用Oracle視圖進(jìn)行處理。但本次場景發(fā)現(xiàn)做關(guān)聯(lián)和計(jì)算后，使用視圖查詢效率非常低，甚至達(dá)到了無法忍受的地步(有時(shí)1min以上)。于此同時(shí)，現(xiàn)在OLAP數(shù)據(jù)庫比較火，所以就特定場景從效率和存儲上選取Oracle、ClickHouse、ElasticSearch做了一次簡單的對比。

01

測試集說明與準(zhǔn)備

由于本身業(yè)務(wù)場景是一個(gè)并表操作，使用的測試數(shù)據(jù)集有一個(gè)特點(diǎn)，即首先有近30列，其次每行數(shù)據(jù)基本上只有個(gè)別字段有差異，多數(shù)列重復(fù)度比較高。數(shù)據(jù)集是1000條原始數(shù)據(jù)，通過視圖構(gòu)建初350w條數(shù)據(jù)。

數(shù)據(jù)樣例(類似只有個(gè)別幾列數(shù)據(jù)不相同)

1	aaa	......	1	1.5
2	aaa	......	1	3
3	aaa	......	1	2
4	bbb	......	1	30
5	bbb	......	1	12

測試主機(jī)配置

均是虛擬機(jī) 4c 8g 500G

02

測試步驟

一、Oracle 測試

1、數(shù)據(jù)準(zhǔn)備

從vw_test_list視圖中導(dǎo)入數(shù)據(jù)到實(shí)體表test_detail中。

Insert?into?test_detail select?* from?vw_test_list t ;?

2、查看存儲大小

select?* from?

(select?t.segment_name, t.segment_type, sum(t.bytes / 1024?/ 1024) "占用空間(M)"

from?dba_segments t ??

where?t.segment_type='TABLE'?

group?by?OWNER, t.segment_name, t.segment_type) t

where?t.segment_name='test_detail'

3、測試查詢速度

select?* from?test_detail t where?t.test_title like?'%測試數(shù)據(jù)集AAA%'

二、ClickHouse測試

1、構(gòu)建數(shù)據(jù)表

注意點(diǎn)：

1、clickhouse客戶端對回車敏感，所以如果在文本中編輯完成后，需要替換掉’\n’

2、Clickhouse使用mergetree引擎時(shí)需要指定一個(gè)date類型的字段定義主鍵。

2、數(shù)據(jù)加載

從oracle中導(dǎo)出數(shù)據(jù)，使用click-client進(jìn)行數(shù)據(jù)導(dǎo)入

cat data.csv | clickhouse-client --format_csv_delimiter="|" --query="INSERT INTO test_detail FORMAT CSV";

3、查看占用空間

select table as "表名",sum(rows) as "總行數(shù)",formatReadableSize(sum(data_uncompressed_bytes)) as "原始大小",formatReadableSize(sum(data_compressed_bytes)) as "壓縮大小",round(sum(data_compressed_bytes) / sum(data_uncompressed_bytes) * 100, 0) "壓縮率" from system.parts where table in('test_detail') group by table;

4、測試查詢效率

SQL與Oracle一致

三、ElasticSearch測試

1、數(shù)據(jù)導(dǎo)入

使用Logstash進(jìn)行數(shù)據(jù)導(dǎo)入

2、查看占用空間

使用 Get 請求

http://localhost:9200/_cat/indices?v

3、測試查詢效率

使用Get請求

http://localhost:9200/dwzq/_search?pretty=true&size=2000

param: { ????"query": { ????????"match": { ????????????"WARNING_TITLE": "%測試數(shù)據(jù)集AAA%" ????????} ????} }

03

結(jié)果比較

整體對比數(shù)據(jù)存放量與查詢速度：? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ??

	Oracle	ClickHouse	ElasticSearch
數(shù)據(jù)存放量	1.5g	45m	1.1g
查詢速度	12.219s	0.527s	0.298s

04

結(jié)論與總結(jié)

本次測試只是針對特定數(shù)據(jù)集進(jìn)行測試，不具備普遍性，且也沒有對這oracle、clickhouse、es做特定優(yōu)化，所以只能大致反應(yīng)出一些結(jié)論。整體面對大寬表，clickhouse的數(shù)據(jù)壓縮能力還是很強(qiáng)大的。同時(shí)查詢速度也可以接受。在測試過程中發(fā)現(xiàn)，clickhouse占用機(jī)器內(nèi)存比較多。

clickhouse號稱分析能力杠杠的，后期會將原oracle上的分析、并表操作遷移至clickhouse并進(jìn)一步對比分析。

創(chuàng)作挑戰(zhàn)賽新人創(chuàng)作獎勵來咯，堅(jiān)持創(chuàng)作打卡瓜分現(xiàn)金大獎

總結(jié)

以上是生活随笔為你收集整理的cifar10数据集测试有多少张图_基于特定数据集的Oracle、ClickHouse、ES测试报告的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。