傳統業務采取隔天隔天將數據抽取到OLAP的方式，帶來了兩個問題

1， 報表往往需要隔天才能出來，無法滿足業務需要；

2，帶來了多副本的問題； OLTP里面至少三個副本； OLAP里面又至少3個副本； OLAP分析后轉存數據集市又有多個副本；造成資源大量的浪費；

?HTAP要求：

可擴展性

• 分布式事物
• 分布式存儲

實時性

• 行存和列存實時同步

同時支持OLTP和OLAP

• 同時支持行存和列存
• OLAP和OLTP業務隔離

?

?TiDB的HTAP特性

• 行列混合
  • 列存TiFlash支持基于主鍵的實時更新
  • TiFlash作為列存副本
  • OLAP和OLTP業務隔離
• 智能選擇
• MPP架構

TiDB的MPP (Massively Parallel Processing)?

• 大量數據的JOIN+聚合查詢
• 所有MPP計算都在TiFlash節點的內存中完成
• 目前只支持等值連接
• enforce_mpp幫助驗證是否可以使用MPP

MPP過程
例如執行下面的OLAP查詢：

select count(*) from order,product where order.pid = product.pid and sub_str(order.dic,3) = '7c0' and product.pic_date > '2022-01-31' group by order.state;

1， 根據where條件，將order.dic前3個字符等于'7c0'的， product.pic_date > '2022-01-31'的數據放入內存；

2， 進行數據交換，將order.pid和product.pid相等的數據放入同一個節點；

3， 進行數據連接，此時連接會發生在節點內部，從而減少了巨大的網絡開銷；連接可以并行執行；

4，聚合提速： 對State進行HASH，將HASH相等的數據放入同一個節點；

5， 對數據進行聚合，聚合查詢在節點內部即可完成，得到結果，且并行執行；

6， 將各個tiflash結果返回到TiDB Server進行匯總返回給用戶；

總結

以上是生活随笔為你收集整理的HTAP技术的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。