內(nèi)容:第5章 大數(shù)據(jù)分析平臺實踐

時間:2022年8月7日

---

5.1 大數(shù)據(jù)分析平臺的前世今生

5.1.1 大數(shù)據(jù)分析平臺構(gòu)建的背景
????????構(gòu)建一個大數(shù)據(jù)分析平臺，結(jié)合多個業(yè)務(wù)系統(tǒng)，從中抽取海量數(shù)據(jù)進行管理、整合、分析和利用；從中發(fā)現(xiàn)潛在問題和有價值的規(guī)律，并通過可視化的方式進行展現(xiàn)；能夠為管理層提供科學(xué)決策的支持，提升企業(yè)的業(yè)務(wù)能力和效益，確保數(shù)據(jù)驅(qū)動業(yè)務(wù)增長。

????????因此，大數(shù)據(jù)分析平臺可以使企業(yè)對數(shù)據(jù)、效率的要求逐步提高。企業(yè)構(gòu)建大數(shù)據(jù)分析平臺，歸根到底是構(gòu)建企業(yè)的數(shù)據(jù)資產(chǎn)運營中心，發(fā)揮數(shù)據(jù)的價值，支撐企業(yè)業(yè)務(wù)的飛速發(fā)展。

關(guān)于大數(shù)據(jù)分析平臺：

從名字可知，他是由大數(shù)據(jù)+分析構(gòu)成的——數(shù)據(jù)的價值發(fā)揮、大數(shù)據(jù)分析平臺的建設(shè)是相輔相成的，大數(shù)據(jù)分析平臺會把業(yè)務(wù)分析結(jié)果和商業(yè)價值通過平臺的形式更友好地展現(xiàn)給用戶。

1.BI（Business Intelligence，商業(yè)智能）先于大數(shù)據(jù)出現(xiàn)。

2.兩者是緊密關(guān)聯(lián)的、相輔相成。BI如果沒有業(yè)務(wù)管理的應(yīng)用工具，也不產(chǎn)出任何的商業(yè)分析，大數(shù)據(jù)就沒有價值轉(zhuǎn)化的工具，就無法把數(shù)據(jù)的價值呈現(xiàn)給用戶，也就無法有效地支撐企業(yè)經(jīng)營管理決策；? ? ? ?同時，大數(shù)據(jù)是基礎(chǔ)，沒有大數(shù)據(jù)，商業(yè)智能就失去了存在的基礎(chǔ)，沒有辦法快速、實時、高效地處理數(shù)據(jù)，支撐應(yīng)用。

大數(shù)據(jù)平臺的功能應(yīng)用
大數(shù)據(jù)分析平臺要實現(xiàn)數(shù)據(jù)的共享和交換，將各個應(yīng)用系統(tǒng)的數(shù)據(jù)進行集成和整合，使來源各異、種類不一的各類數(shù)據(jù)可以相互使用，豐富數(shù)據(jù)的來源，能夠把各個業(yè)務(wù)數(shù)據(jù)串聯(lián)起來，實現(xiàn)數(shù)據(jù)的共享和應(yīng)用。

大數(shù)據(jù)平臺與數(shù)據(jù)挖掘分析，之間的功能實現(xiàn)

大數(shù)據(jù)分析平臺在底層，采用大數(shù)據(jù)主流的框架和系統(tǒng)對數(shù)據(jù)進行統(tǒng)一存儲，為數(shù)據(jù)的挖掘和分析打好基礎(chǔ)。最后，大數(shù)據(jù)分析平臺提供大數(shù)據(jù)分析與決策能力。大數(shù)據(jù)分析平臺采用數(shù)據(jù)挖掘、數(shù)理統(tǒng)計等相關(guān)技術(shù)，構(gòu)建大數(shù)據(jù)分析框架，提取數(shù)據(jù)中隱含的、未知的、極具潛在應(yīng)用價值的信息和規(guī)律，為企業(yè)的各項工作提供決策和指導(dǎo)。

圖5-1所示為大數(shù)據(jù)使用的金字塔模型，數(shù)據(jù)基本有以下使用流程

自上而下：

• 數(shù)據(jù)量增大；
• 數(shù)據(jù)維度增多，對每一層的數(shù)據(jù)要求也不一樣，而且越往下層深入；
• 獲取數(shù)據(jù)的門檻變高，需要更專業(yè)的大數(shù)據(jù)工程師參與；
• 對用戶越不友好，獲取數(shù)據(jù)的效率和可視化程度會越低；

5.1.2 企業(yè)實現(xiàn)大數(shù)據(jù)分析平臺的方式

通過前面介紹的數(shù)據(jù)倉庫和大數(shù)據(jù)管理系統(tǒng)等方式，已經(jīng)可以對數(shù)據(jù)進行有效的存儲和管理了。然而，這些海量的數(shù)據(jù)并沒有得到有效的統(tǒng)計分析和展現(xiàn)，并沒有對業(yè)務(wù)形成有價值的數(shù)據(jù)支撐。
企業(yè)對大數(shù)據(jù)分析平臺的應(yīng)用目前主要有以下三種：
（1）【前人栽樹，后人乘涼】在開源產(chǎn)品上搭建大數(shù)據(jù)分析平臺。

優(yōu)點：前期可以迅速搭建一個可用的大數(shù)據(jù)分析平臺。

缺點：1.準(zhǔn)備工作繁瑣，需要對“開源產(chǎn)品”的細(xì)節(jié)了解得比較清楚

? ? ? ? ? ?2.如果后期根據(jù)業(yè)務(wù)做自定義擴展或者維護變更，則需要修改源碼.

補充:? ?現(xiàn)在市場上主流的在開源產(chǎn)品上搭建的大數(shù)據(jù)分析平臺主要有Airbnb開源的Superset、Grafana等。
（2）【有錢能使鬼推磨】商業(yè)版付費大數(shù)據(jù)分析平臺。

現(xiàn)在市面上有很多比較通用的BI分析平臺:

????????例如比較流行的Tableau、BDP等;

????????從埋點開始,全流程數(shù)據(jù)服務(wù)的GrowingIO、神策數(shù)據(jù)等。

適用于:????????沒有研發(fā)資源投入的企業(yè)，可以考慮采用商業(yè)軟件服務(wù)，還包括一些定制的業(yè)務(wù)分析等，這些公司一般會根據(jù)企業(yè)的數(shù)據(jù)量級收費。
（3）【君子以自強不息】自建大數(shù)據(jù)分析平臺。

現(xiàn)狀:????????現(xiàn)在很多中型以上的公司，都會配備自己的大數(shù)據(jù)部門進行數(shù)據(jù)的存儲、清洗、分析、展現(xiàn)等工作，也有足夠的研發(fā)實力自建大數(shù)據(jù)分析平臺.

優(yōu)點:???????可以根據(jù)自己的業(yè)務(wù)定制開發(fā)，實現(xiàn)滿足自身業(yè)務(wù)需求的平臺;

缺點????????當(dāng)然就是要投入一定的研發(fā)資源，前期需要有一定的技術(shù)積累。

無論用哪種方式實現(xiàn)大數(shù)據(jù)分析平臺，都要滿足三大構(gòu)建原則，以確保大數(shù)據(jù)分析平臺的實用性。
（1）安全性。大數(shù)據(jù)分析平臺應(yīng)采取安全性高的訪問認(rèn)證機制，同時在平臺建設(shè)中要充分重視系統(tǒng)自身的安全性，并保證數(shù)據(jù)的安全性。
（2）可擴展性。大數(shù)據(jù)的分析和應(yīng)用是一項長期持久的工作，隨著業(yè)務(wù)的變化，企業(yè)對于大數(shù)據(jù)分析平臺的功能和要求也會不斷變化。因此，要求平臺的設(shè)計和研發(fā)要具有良好的擴展性，以滿足業(yè)務(wù)不斷發(fā)展變化的要求。
（3）靈活性。在平臺的設(shè)計和實施中要考慮與其他應(yīng)用系統(tǒng)的整合，能夠?qū)崿F(xiàn)多種類型的接口，并可以靈活地接入其他系統(tǒng)中，拓展服務(wù)類型和服務(wù)能力。

5.2 大數(shù)據(jù)分析平臺應(yīng)用實戰(zhàn)

5.3 移動端大數(shù)據(jù)分析平臺

[詳見原著,本文不做陳述]

5.4 大數(shù)據(jù)分析平臺走進傳統(tǒng)行業(yè)
????????隨著移動互聯(lián)網(wǎng)紅利的消退，各大企業(yè)紛紛開始注重2B業(yè)務(wù)的發(fā)展，并加速向傳統(tǒng)產(chǎn)業(yè)滲透，驅(qū)動生產(chǎn)方式和管理模式變革，推動制造業(yè)向網(wǎng)絡(luò)化、數(shù)字化和智能化方向發(fā)展。在這個過程中，大數(shù)據(jù)分析平臺作為數(shù)據(jù)展現(xiàn)和業(yè)務(wù)分析的一種產(chǎn)品形態(tài)，發(fā)揮了越來越重要的價值。

總的來說，工業(yè)大數(shù)據(jù)分析平臺的應(yīng)用價值主要可以體現(xiàn)在以下幾個方面：

• （1）提高企業(yè)生產(chǎn)效率，通過數(shù)據(jù)驅(qū)動，提升產(chǎn)品的質(zhì)量。
• （2）利用數(shù)據(jù)精細(xì)化管理，可以降低生產(chǎn)成本，找出關(guān)鍵環(huán)節(jié)，真正實現(xiàn)節(jié)能減耗。
• （3）為產(chǎn)品創(chuàng)新提供數(shù)據(jù)依據(jù)，加速產(chǎn)品迭代，根據(jù)用戶需求實現(xiàn)大規(guī)模生產(chǎn)。
• （4）利用智能化管理，加快企業(yè)生產(chǎn)，提升企業(yè)競爭力。
  ?

案例:

在工業(yè)大數(shù)據(jù)方面，聯(lián)想推出了針對工業(yè)大數(shù)據(jù)的一站式應(yīng)用平臺Leap系列解決方案，圖5-50所示為Leap家族中LeapIOT的產(chǎn)品架構(gòu)圖。LeapIOT已經(jīng)先后與汽車、醫(yī)藥流通、重裝制造、能源、教育等多行業(yè)客戶展開合作，通過聯(lián)想大數(shù)據(jù)平臺Leap家族產(chǎn)品和解決方案向行業(yè)客戶賦能。
?

圖5-50 LeapIOT產(chǎn)品架構(gòu)（圖片來自聯(lián)想大數(shù)據(jù)官網(wǎng)）?

?

總結(jié)

以上是生活随笔為你收集整理的读书笔记丨《数据产品经理修炼手册:从零基础到大数据产品实践》丨DAY5的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。