目錄

• 算法
• • 算法原理
  • 空間消耗及錯誤界限
• 示例
• • T-digest的建立
  • T-digest的查詢
• 相關鏈接

上一篇博客中講述了使用$Random$算法進行$quantile$估算，詳情可見Random，本博客將講訴另外一個$quantile$估算算法：$T?digest$，該算法理論基礎可以參考Computing Extremely Accurate Quantiles Using t-Digest

算法

算法原理

該算法的思想是將輸入數據表示縮減成簇的集合$\{C_i{\}}_1^m$，每個簇表示為：$(C_i,C_{count})$，$C_i$表示該簇的中心，一般是等于簇中元素的平均值，$C_{count}$則是該簇中對應的元素的數量。簇的大小極大影響了算法的準確率，假設簇的較大，則會導致結果誤差偏大；假設簇的大小較小，則會導致結果準確，但另一方面計算的復雜度對增加。對于一般的問題而言，我們更加關注位于兩端的$quantile$（即靠近$0$或者$1$），即：$quantile$位于中間部分的簇容量較大；相應地，$quantile$位于兩端的簇的容量較小。給出如下公式：
$$k(q,\sigma )=\frac{\sigma }{2\pi }arcsin(2q?1)\text{\hspace{1em}(1)}$$
其中：$q$為簇對應的分位數，$\sigma$為壓縮系數。
則對應的某段$quantile$所能代表的量化長度為：
$$K(C_i)=k(q(c_i),\sigma )?k(q(c_{i?1}),\sigma )\text{\hspace{1em}(2)}$$
其中：$K(C_1)=k(q(c_1),\sigma )$
另外，$T?digest$還需滿足以下性質：
$$\{\begin{array}{rlr}K(c_i)& =& \le 1\\ K(c_i)+K(c_{i+1})& >& 1\end{array}\text{\hspace{1em}(3)}$$
對于某個簇$C_i$而言，其所能接受的最大$quantile$為：
$$q_{limit}=\frac{1}{2}[1+sin(arcsin(2\times q(c_i)?1)+\frac{2\pi }{\sigma })]$$
故當某個新元素到來時，若將其加入到當前簇$C_i$時，若$q$將大于$q_{limit}$，則不將其加入；否則，則將其加入。下圖給出了其算法示意圖：

空間消耗及錯誤界限

壓縮系數$\sigma$，$buffer$大小$k$，簇的數量$?\frac{\sigma }{2}?\le m\le ?\sigma ?$

不像其他$quantile$估算算法，該算法的準確率$?$正比于$q\times (1?q)$，其中$q$就是分位數。

示例

T-digest的建立

T-digest的查詢

相關鏈接

TDigest 算法原理
TDigest_PPT

總結

以上是生活随笔為你收集整理的T-digest的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。