公司介紹

廈門點(diǎn)觸科技股份有限公司，新三板掛牌企業(yè)（股票代碼：870702），成立于2013年，是一家以歷史養(yǎng)成類游戲研發(fā)與發(fā)行為主，專業(yè)從事手機(jī)游戲的策劃、研發(fā)制作、商業(yè)化運(yùn)營的創(chuàng)新型發(fā)展公司。目前已經(jīng)成功研發(fā)出《叫我萬歲爺》、《我在大清當(dāng)皇帝》、《Game of Sultan》、《皇上吉祥》等多款歷史題材類游戲并深受玩家喜愛。覆蓋了全國及港臺、東南亞等部分海外市場。

業(yè)務(wù)痛點(diǎn)

• 對數(shù)據(jù)庫的快速、實(shí)時(shí)查詢能力要求高：

  某些惡意用戶利用信用卡或者別的漏洞刷單（代充），系統(tǒng)需要實(shí)時(shí)查詢多種日志（比如登入日志，充值日志等）從而識別并攔截游戲代充訂單，才能避免損失代充訂單的錢。

• 對數(shù)據(jù)庫的性能要求高：

  隨著業(yè)務(wù)快速發(fā)展，用戶行為日志快速增長，需要從海量的點(diǎn)擊流日志和激活日志中挖掘數(shù)據(jù)的價(jià)值，比如廣告轉(zhuǎn)化率、激活率，每安裝用戶成本等等。

• Greenplum架構(gòu)遇到瓶頸：

  原來使用Greenplum做實(shí)時(shí)計(jì)算和統(tǒng)計(jì)分析。但是Greenplum存在多種缺陷，難以應(yīng)對業(yè)務(wù)的快速發(fā)展。

  • Greenplum架構(gòu)難以應(yīng)對日益復(fù)雜的計(jì)算任務(wù)。
  • Greenplum的單表分區(qū)數(shù)目有限制，同時(shí)多級分區(qū)支持不夠友好，不適用單表數(shù)據(jù)量比較大且需要永久保存的日志，如果單個分區(qū)表數(shù)據(jù)量比較大的時(shí)候查詢性能無法滿足業(yè)務(wù)性能需求。
  • Greenplum擴(kuò)容時(shí)由于數(shù)據(jù)要重分布會比較慢。
  • Greenplum不適合處理非結(jié)構(gòu)化的數(shù)據(jù)。

解決方案

點(diǎn)觸科技經(jīng)過多方權(quán)衡，最終選擇阿里云HBase SQL服務(wù)（Phoenix）+ Spark服務(wù)構(gòu)建實(shí)時(shí)計(jì)算和數(shù)據(jù)倉庫解決方案。

• HBase SQL提供在線查詢能力、Spark提供流式處理、復(fù)雜分析等能力來滿足業(yè)務(wù)需求。
• 梳理業(yè)務(wù)數(shù)據(jù)，對數(shù)據(jù)進(jìn)行分層存儲在HBase SQL（Phoenix）+Spark中：
  • 操作數(shù)據(jù)層：手游客戶端、用戶中心、廣告監(jiān)測、游戲服務(wù)器等產(chǎn)生的原始日志。
  • 數(shù)據(jù)明細(xì)層：操作數(shù)據(jù)層使用Spark Streaming等進(jìn)行數(shù)據(jù)去噪、去重、字段規(guī)范后寫入HBase SQL服務(wù)，也可以直接使用JDBC寫入數(shù)據(jù)。
  • 數(shù)據(jù)匯總層：數(shù)據(jù)明細(xì)層的數(shù)據(jù)可以定期（按天或者按小時(shí)）ETL（比如關(guān)聯(lián)維表、過濾、聚合）后寫入到數(shù)據(jù)匯總層。數(shù)據(jù)匯總層的數(shù)據(jù)供后續(xù)的復(fù)雜分析。
  • 應(yīng)用數(shù)據(jù)層：直接對外提供數(shù)據(jù)查詢服務(wù)（基于HBase SQL服務(wù)）支撐上層大數(shù)據(jù)風(fēng)控、廣告推薦、海量數(shù)據(jù)精細(xì)化運(yùn)營；數(shù)據(jù)匯總層的數(shù)據(jù)經(jīng)過處理后會把結(jié)果數(shù)據(jù)寫入到HBase SQL中對外提供查詢服務(wù)。

上云價(jià)值

• 毫秒級識別攔截代充訂單。HBaseSQL（Phoenix） 高并發(fā)實(shí)時(shí)讀寫，TPS可達(dá)百萬量級，并發(fā)十萬量級，毫秒級簡單查詢。
• Spark優(yōu)秀的計(jì)算能力。同樣作業(yè)Spark基于列式存儲Parquet的分析在數(shù)據(jù)量大的情況下比Greenplum集群有10倍的性能提升。支撐了廣告轉(zhuǎn)化率、激活率，安裝用戶成本，數(shù)據(jù)驅(qū)動精細(xì)化運(yùn)營等業(yè)務(wù)計(jì)算需求。
• 一站式解決方案。Spark服務(wù)原生支持通過SQL讀取HBaseSQL（Phoenix）數(shù)據(jù)能力，具備列裁剪、謂詞下推、分區(qū)裁剪等優(yōu)化；高效地把HBase SQL在線庫的數(shù)據(jù)ETL后歸檔到Spark數(shù)據(jù)倉庫。
• 聚焦業(yè)務(wù)。全托管的Spark服務(wù)保證了作業(yè)運(yùn)行的穩(wěn)定性，釋放運(yùn)維人力，同時(shí)數(shù)據(jù)工作臺降低了Spark作業(yè)管理成本。

相關(guān)產(chǎn)品

• 云數(shù)據(jù)庫 HBase 版

  面向大數(shù)據(jù)領(lǐng)域的一站式NoSQL服務(wù)，100%兼容開源HBase并深度擴(kuò)展，支持海量數(shù)據(jù)下的實(shí)時(shí)存儲、高并發(fā)吞吐、輕SQL分析、全文檢索、時(shí)序時(shí)空查詢等能力，是風(fēng)控、推薦、廣告、物聯(lián)網(wǎng)、車聯(lián)網(wǎng)、Feeds流、數(shù)據(jù)大屏等場景首選數(shù)據(jù)庫，是為淘寶、支付寶、菜鳥等眾多阿里核心業(yè)務(wù)提供關(guān)鍵支撐的數(shù)據(jù)庫。

  更多關(guān)于云數(shù)據(jù)庫 HBase 版的介紹，參見云數(shù)據(jù)庫 HBase 版產(chǎn)品詳情頁。

原文鏈接
本文為云棲社區(qū)原創(chuàng)內(nèi)容，未經(jīng)允許不得轉(zhuǎn)載。

總結(jié)

以上是生活随笔為你收集整理的点触科技：构建实时计算和数据仓库解决方案的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。