大数据是风口,但是该怎么规划架构?一般人都没注意到
01
分析需求
1. 挖掘真實需求
俗話說,良好的開始是成功的一半。很多大數據產品之所以失敗,歸根到底就是出發點不對,沒有找準真需求,無法推動解決實際問題。流于表面的數據產品,是對時間和人力資源的浪費。
那么,如何對問題進行分析,挖掘真實需求呢?
從模糊的需求中挖掘本質,找出真需求,就是需求分析的內容了。
需求分析的第一步是對客戶基本資料和現狀的解讀,從現狀出發了解客戶對現狀的不滿和遇到的困難。除了培養同理心之外,這里提供兩種簡單有效的方法,第一個是花些時間收集客戶內部需求干系人對現狀的吐槽,找出其中的共性和最不滿的點;第二個是詢問客戶對現有的各類解決方案的點評和意見,了解其關注點。
“診”完了客戶的現狀,下一步就是配”藥”了。人們常犯的第一個錯誤就是功能堆砌,什么都有什么都能做。第二個錯誤就是抄襲復刻,把別人的解決方案原封不動照搬過來,沒有特點。第三個錯誤是為了讓產品顯得高端而強行捆綁一些不成熟的前沿技術,沒有考慮實用性和性價比。
在大數據項目中,原子級能力的強弱大同小異,解決方案的好壞關鍵在于場景滲透能力、技術整合能力和可持續升級能力。所謂”對癥下藥”,就是要以點帶面,在客戶最關注的一點上做深做透,細節上考慮得更多,在完成度上更上一層樓。
2. 減法思維,以點帶面
前面提到了我們應該在核心功能上做深做透,用到的是便是減法思維。
減法思維是指合理地減少一些不必要、與現狀不匹配的事情來提高效率的一種思維。從概念可以看出來,減法思維的的關鍵點在于減少不必要、與現狀不匹配的事情來實現高效,也就是說,如果你要做減法,你需要先識別出哪些事情是不必要并與現狀不匹配的,并能在減掉這些事情之后能夠提高效率。
?
02
數據盤點
1. 準備數據需求
傳統IT行業的需求點多是固定的業務邏輯,但大數據產品則更多的依賴數據,它的價值上限取決于數據自身的價值上限,正如那句經典的名言,”garbage in garbage out”。正因為如此,設計大數據產品需要盡早準備數據需求。
數據需求文檔DRD(Data Raquirements Document)顧名思義同PRD一樣,是同研發團隊溝通的一種憑據。主要包括了三部分:Source(來源)、Measures(指標)、Dimensions(維度)。
來源:就是指數據從何而來。來自哪個系統?使用何種數據接口?數據更新頻率如何?
指標:顧名思義,講指標的定義和計算邏輯。
維度:是用戶用于查看指標的數據元素。描述了數據需要以何種力度被組織起來。
從產物角度看,DRD需要產出的有數據流圖和數據字典,兩者相輔相成。沒有數據字典準確地描述數據流圖中使用的數據,數據流圖就不嚴格。反之,沒有數據流圖,數據字典也難于發揮作用。
?
數據流:是由一組固定成分的數據組成,表示數據的流向。值得注意的是,數據流圖中描述的是數據流,而不是控制流。除了流向數據存儲或從數據存儲流出的數據不必命名外,每個數據流必須要有一個合適的名字,以反映該數據流的含義。
數據存儲:數據存儲表示暫時存儲的數據。每個數據存儲都有一個名字。
【拓展】數據字典
任何字典最重要的用途都是供人查詢對不了解的條目的解釋,在結構化分析中,數據字典的作用是給數據流圖上每個成分加以定義和說明。換句話說,數據流圖上所有的成分的定義和解釋的文字集合就是數據字典。
?
2. 收集數據
收集數據主要可以分為外部數據和內部數據兩類。
內部數據是由組織內部的業務流程和運營過程中生成的數據。這些業務流程可以生成特定于該組織運營的大量數據,例如客戶購買數據、商品物流數據、評價數據等。除了顯式反饋數據的收集外,互聯網行業的一大特色是擁有大量的隱式反饋數據,例如通過埋點形式收集用戶的行為數據。
除了內部數據之外,我們還會接觸到很多外部數據,外部數據就是是在組織運營范圍之外生成的數據。外部數據一般是企業所處的外部環境相關的數據,包括諸如全球經濟指數,人口普查信息和行業價格之類的信息等等。所有這些數據均一直存在,與任何特定組織無關。
?
一般而言,價值創收目前主要都來自于對內部數據的挖掘,但外部數據的價值也不容小覷。假如一家創業公司剛剛起步,自身并沒有還積累數據,怎么辦?就算有數據,但擁有的數據無論在“質”和“量”上都很差,怎么辦?或者說,從內部數據上發現了某指標的變動,但對于其真實動因無法準確判定,怎么辦?這時候就需要外部數據的幫助了。
想要獲取外部數據,除了前面提到的可以從公開的數據網站上查詢外,另一大方法就是爬蟲。這種方法更加靈活,但是需要注意法律風險。
03
數據源管理
1. 數據源分類
完成數據盤點后,我們知道了現在有哪些數據,接下來就是給它們劃分業務領域,也就是類別。
對于小規模的業務來說,數據源歸類的作用并不明顯,但是當數據表多達幾百上千個,而且功能有重疊冗余、有新有舊的時候,數據源歸類就相當重要了。
業務領域囊括的范圍可大可小,完全依托于前期基于業務的梳理結果。
值得一提的是,數據(中臺)全景圖是一個執行數據歸類的很好的工具,便于數據查找。
?
2. 數據源分級
不同于數據分類,數據源分級更多的是從滿足監管要求的角度出發。數據分級屬于數據安全領域,或許稱呼它為敏感等級更為貼切。有的數據密集程度高,有的低,有的可公開,有的不可公開,不同敏感度等級的數據對外共享開放的程度不同。
04
數據資產管理與數據資產管理平臺
1. 數據資產與數據資產管理
2. 數據資產管理平臺的作用和價值
?
數據資產管理平臺是對企業數據盤點、數據管控等能力的承載和表現,它可以對全網數據資產進行統計、對數據權限進行細粒度的梳理、對數據使用狀況進行分析,大大降低管理人員工作量,同時為數據安全制度的建設提供依據。
3. 數據資產管理平臺的主要功能
?
?
總結
以上是生活随笔為你收集整理的大数据是风口,但是该怎么规划架构?一般人都没注意到的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: BI报表平台纪实:半年被叫停,用户个位数
- 下一篇: 最可怕的企业“内卷化”,是走入以下10个