咨询14个CEO,花了20小时,建设顶级数据团队的干货,被疯狂点赞
文|與數(shù)據(jù)同行
筆者在相當長的時間在做報表取數(shù),那個時候為了凸顯價值,其實我們也很想做一些高端的數(shù)據(jù)工作,比如數(shù)據(jù)分析和挖掘,但受限于當時的組織架構,公司并沒有明確數(shù)據(jù)團隊在這方面的職責,因此我們最終未能把一個個分析和挖掘的亮點轉化成真正的生產(chǎn)力。
報表取數(shù)始終是我們工作的基本面,而數(shù)據(jù)分析和挖掘對于這個團隊其實是可有可無的,在資源沖突的情況下,必然是優(yōu)先滿足報表取數(shù)這個基本職能。
?
如果當時讓我們全力做數(shù)據(jù)分析和挖掘,也會有一種不務正業(yè)的感覺,畢竟名不正則言不順。況且公司不給你匹配所需的資源,你也發(fā)展壯大不了,別的組織也不會認可。
很多企業(yè)想往大數(shù)據(jù)轉型,但對于大數(shù)據(jù)缺乏認識,相關組織和職能未能同比完成調整,比如要求現(xiàn)有的數(shù)據(jù)團隊既要做好報表取數(shù),也要做好挖掘分析,卻沒有配備相關的資源,很多人還身兼數(shù)職,這種模式基本上是很難成功的。
任何一個有志氣的數(shù)據(jù)從業(yè)者都不希望僅限于做報表和取數(shù),但實際上是企業(yè)賦予你團隊的職能決定了你實際工作的天花板。在一支報表取數(shù)為核心的團隊,你的挖掘分析的成果很難轉化為生產(chǎn)力。
?
下面以筆者的實踐跟你講講一支大數(shù)據(jù)團隊的構成,它可能適用于對于數(shù)字化轉型有一定認識、并在資源上能給予足夠的支持的企業(yè)。
當然這里的數(shù)據(jù)團隊是狹義的概念,主要包括五個組:匯通保障組、平臺工具組、報表取數(shù)組、挖掘服務組及對外變現(xiàn)組。
1、匯通保障組
負責企業(yè)級大數(shù)據(jù)統(tǒng)一采集(含集中數(shù)據(jù)交換)、大數(shù)據(jù)統(tǒng)一建模(基礎和融合模型)、大數(shù)據(jù)運維及優(yōu)化及企業(yè)級大數(shù)據(jù)標準及治理等職能??梢钥吹?#xff0c;匯通保證組是以提升數(shù)據(jù)本身的效率為核心的。
大數(shù)據(jù)統(tǒng)一采集:很多企業(yè)大數(shù)據(jù)設立了運維組,但大數(shù)據(jù)采集規(guī)劃和推動的職能并沒有實質性的落地,基本上是靠一次性項目或需求管理的方式來進行大數(shù)據(jù)采集,導致大數(shù)據(jù)平臺在建設了多年后卻發(fā)現(xiàn)大數(shù)據(jù)資產(chǎn)的增值有限,這讓大數(shù)據(jù)團隊喪失核心競爭力。
做數(shù)據(jù)的人都知道,數(shù)據(jù)是建模的天花板,但我們平時似乎更熱衷于用建模的方法去化腐朽為神奇,而忘了最本質的東西。
大數(shù)據(jù)采集規(guī)劃需要與運維生產(chǎn)的職能去融合,將主動采集作為運維團隊的核心職能,這代表了數(shù)據(jù)運維團隊的一個未來方向,企業(yè)如果設立統(tǒng)一的數(shù)據(jù)采集組織,辦事處應該設在這里。
大數(shù)據(jù)統(tǒng)一建模:數(shù)據(jù)倉庫建模的職能到底應該放在哪里備受爭議,我們以前只有報表取數(shù)組,因此曾經(jīng)把這個職能放在報表取數(shù)組,后來發(fā)現(xiàn)屁股決定腦袋的事情太多了,報表取數(shù)組基本沒有精力去做什么倉庫模型優(yōu)化。
?
隨著企業(yè)級中臺概念的提出,數(shù)據(jù)倉庫建??隙ㄒM一步下沉成為企業(yè)的公共服務,要致力于去滿足企業(yè)各個部門的數(shù)據(jù)訴求,因此統(tǒng)一建模跟運維組的整合也是很自然的。
大數(shù)據(jù)運維及優(yōu)化:跟OLTP可以將開發(fā)和運維完全分開不同,OLAP系統(tǒng)的開發(fā)(采集、建模及優(yōu)化)跟運維整合是必然的,我們自己經(jīng)歷了分離,整合再分離的過程,最終整合的理念經(jīng)受住了實踐的檢驗。
?
大數(shù)據(jù)標準及治理:大數(shù)據(jù)標準都是針對具備共性的東西制定的,企業(yè)不要搞個單獨的組織去做什么標準和治理,在初期應以效率為先,盡快的讓這些標準在生產(chǎn)中發(fā)揮作用才是當務之急。
2、平臺工具組
負責數(shù)據(jù)中臺工具建設及優(yōu)化,數(shù)據(jù)開發(fā)及挖掘服務環(huán)境建設及優(yōu)化,數(shù)據(jù)中臺新技術的落地。工欲善其事必,先利其器,平臺工具組是以提升數(shù)據(jù)使用效能為核心的。
企業(yè)完成了大數(shù)據(jù)平臺建設和數(shù)據(jù)匯聚其實只是走出了第一步,而如何將這些數(shù)據(jù)對外開放是巨大的挑戰(zhàn),筆者認為,以下這些平臺和工具是需要組建團隊長期建設和運營的:
數(shù)據(jù)開發(fā)管理平臺:提供跨平臺一站式可視化數(shù)據(jù)開發(fā)生產(chǎn)環(huán)境,這代表了一種數(shù)據(jù)技術趨勢。
這個平臺直接面向開發(fā)和業(yè)務人員,提供了標準化的開發(fā)方法,能有效降低開發(fā)門檻,當然對于體驗的要求非常高。但這種平臺是真正的五年磨一劍,需要專門的產(chǎn)品團隊長期運營。
數(shù)據(jù)挖掘管理平臺:以交互式、分布式及可視化的方式提供機器學習訓練、發(fā)布及預測的一站式服務。
數(shù)據(jù)資產(chǎn)管理平臺:提供從元數(shù)據(jù)管理、數(shù)據(jù)質量管理、數(shù)據(jù)資產(chǎn)評估、數(shù)據(jù)與系統(tǒng)運維監(jiān)控的一體化管理平臺。
數(shù)據(jù)資產(chǎn)管理平臺現(xiàn)在是個邏輯的概念,它的各種功能模塊通過組合的方式去為各類平臺賦能,比如元數(shù)據(jù)管理的數(shù)據(jù)字典功能是直接與數(shù)據(jù)開發(fā)平臺進行無縫集成的。
其他還有標簽庫管理平臺、營銷管理平臺、數(shù)據(jù)采集管理平臺、報表可視化平臺等等。
我們以前的數(shù)據(jù)沒人用,一個很大的原因是工具太差了,而這些工具往往又不是現(xiàn)成能買到的,需要企業(yè)下大功夫去做運營,而大多企業(yè)通過項目化的方式去打造的這種平臺和工具往往水土不服。
3、報表取數(shù)組
為公司提供及時、準確的數(shù)據(jù)是報表取數(shù)團隊的使命,報表取數(shù)是一只數(shù)據(jù)團隊最為核心的職能,報表取數(shù)有個好聽的別名:BI組,但BI起碼到現(xiàn)在還是以展現(xiàn)數(shù)據(jù)為核心的。
有些報表取數(shù)團隊還演化出了一些分析職能,但我其實蠻反對在現(xiàn)有報表取數(shù)團隊額外增加這種職能,因為完全是兩個專業(yè)。
數(shù)據(jù)分析和挖掘太多的探索性跟報表取數(shù)保守嚴謹?shù)墓ぷ鞣绞绞遣灰恢碌?#xff0c;你不能讓現(xiàn)有的報表取數(shù)人員去做兼職,你得額外增加組織和人員。
關于報表和BI工具的選擇,FineReport和FineBI是很不錯的。
?
報表取數(shù)團隊可以培養(yǎng)基礎的數(shù)據(jù)和業(yè)務能力,也是新人的試金石,做不好報表取數(shù),基本也很難勝任其他數(shù)據(jù)專業(yè)的工作,很多人通過報表取數(shù)的歷練成為專家,筆者也是這么過來的。
4、挖掘服務組
企業(yè)一般不會把數(shù)據(jù)團隊的名字叫做報表取數(shù)組,雖然它干的事情就是報表取數(shù),但領導不會滿足于數(shù)據(jù)團隊只干報表取數(shù)的事情,特別是在大數(shù)據(jù)的背景下。
OLTP的團隊可以說保障穩(wěn)定性、連續(xù)性是最大的業(yè)績,但報表取數(shù)團隊是說不出口的,大多數(shù)時候報表延遲幾個小時不是問題,這其實也很公平。
既然這樣,數(shù)據(jù)團隊索性跟公司爭取一些資源,成立獨立的挖掘組織,對企業(yè)有所承諾,專注的去干這種事情,做到責權利統(tǒng)一。
因此,企業(yè)有多大的決心,你有多大的能力決定著在這條路上能走多遠,否則,最多也就PPT上show一下而已。
5、對外變現(xiàn)組
無論是報表取數(shù)組,還是挖掘服務組,其實他們服務的對象都是內部客戶,服務內部客戶的一個問題是很難客觀評估數(shù)據(jù)團隊的價值,你拼命滿足業(yè)務部門需求的結果并不一定換來好的滿意度,這是數(shù)據(jù)團隊郁悶的一個原因。
設立對外變現(xiàn)組是每個數(shù)據(jù)團隊的理想,在充分競爭的市場能幫助公司賺到錢是最能體現(xiàn)自身價值的地方,也是最具挑戰(zhàn)的,當然這還需要天時地利人和的配合。
隨著對外業(yè)務的開展,它反過來能更好的驅動其他數(shù)據(jù)組織的優(yōu)化和完善,這也正是我們希望走的道路。
雖然筆者只提了以上五個組,但其實已經(jīng)包含了大量的內容,每個企業(yè)可以基于需要自由組合,從而打造出適合自己的數(shù)據(jù)團隊。
歡迎關注我的公眾號“商業(yè)智能研究”,私信回復“資料包”,即可領取大數(shù)據(jù)、數(shù)據(jù)中臺、商業(yè)智能、數(shù)據(jù)倉庫等6G精華資料!
總結
以上是生活随笔為你收集整理的咨询14个CEO,花了20小时,建设顶级数据团队的干货,被疯狂点赞的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: Windows完全卸载oracle11g
- 下一篇: 程序员,你还要迷茫多久?