數(shù)字化轉(zhuǎn)型，新基建等一些列風(fēng)向標(biāo)把數(shù)據(jù)推到了一個(gè)前所未有的高度，而作為最近非常火且經(jīng)常被人評論的東西，大數(shù)據(jù)還能火多久？

根據(jù)我個(gè)人的行業(yè)經(jīng)驗(yàn)來看。現(xiàn)在很多人，對大數(shù)據(jù)的理解都有些偏了。目前，對大數(shù)據(jù)的主流看法就是"深度學(xué)習(xí)","人工智能"等很火，很高大上的東西，都需要大量的數(shù)據(jù)。

其實(shí)，大數(shù)據(jù)的背后，是人類處理信息（也就是數(shù)據(jù)，大家不要認(rèn)為大數(shù)據(jù)，這個(gè)概念中的"數(shù)據(jù)"，是12345等阿拉伯?dāng)?shù)字組成的東西，凡是能存電腦里的東西，都是數(shù)據(jù)）的IT系統(tǒng)的一次革命性升級。

這次技術(shù)的升級，是繼數(shù)據(jù)庫系統(tǒng)后，人類處理數(shù)據(jù)手段和技能的提升。

下面，我以一個(gè)例子，來說明我們信息處理手段的提升。

張三是個(gè)創(chuàng)業(yè)者，每晚到夜市擺攤。由于攤子很小，每天回家后，找一只筆，一個(gè)香煙盒子紙，就能把賬算了、把貨盤了，這時(shí)，憑借著一只鉛筆，一張破紙，就能把該處理的數(shù)據(jù)信息處理了。

后來，攤子稍微大了一點(diǎn)，張三到門口小超市花幾塊錢買了個(gè)計(jì)算器，每天在計(jì)算器"為零"的幫助下，再加上一只筆、一張紙把信息處理了。

再后來，張三開了個(gè)小超市，他處理信息的能力也增強(qiáng)了，用上了Excel、word等軟件來處理信息。

后來，張三開開了個(gè)大超市，其信息處理工具也鳥槍換炮了，用上了進(jìn)銷存管理系統(tǒng)、財(cái)務(wù)管理系統(tǒng)、人事管理系統(tǒng)等。

?

這些系統(tǒng)，在數(shù)據(jù)存儲方面，用數(shù)據(jù)庫，如mysql。在業(yè)務(wù)處理方面，招幾個(gè)程序員，用php、python或java，寫具體的業(yè)務(wù)處理邏輯（也就是當(dāng)年張三在紙上寫寫畫畫的處理過程）。

這一階段的IT處理段位，是目前大多數(shù)中小企業(yè)所在的段位。可以看出，這個(gè)段位的IT系統(tǒng)和處理能力有以下不足:

1、只能處理結(jié)構(gòu)化數(shù)據(jù)，對大量非結(jié)構(gòu)化數(shù)據(jù)（文字、語音、視頻等），處理能力嚴(yán)重不足。

2、能處理的數(shù)據(jù)量還是太小，比如，用張破紙，你處理10條數(shù)據(jù)沒問題，給你個(gè)計(jì)算器，你處理100條數(shù)據(jù)沒壓力。用Excel，你處理10萬條無壓力。給你個(gè)mysql，你在千萬條數(shù)據(jù)的級別范圍內(nèi)增刪改查無壓力。

但是，當(dāng)你要面對的數(shù)據(jù)是100億條級別時(shí)，你的數(shù)據(jù)庫、存儲、業(yè)務(wù)處理代碼等，就有可能分分鐘鬧毛病給你看。 注意:利用各種中間件構(gòu)建分布式關(guān)系型數(shù)據(jù)庫集群，是能應(yīng)付的。此處，各位看官領(lǐng)會(huì)我說的什么意思就好，先不要糾結(jié)具體技術(shù)解決方案。

3、處理的手段單一，只能跑程序員編好的程序，比較死板。只能按著代碼邏輯跑，一點(diǎn)都不"智能"。

4、從技術(shù)上講，靈活性還是不足。你的進(jìn)銷存、財(cái)務(wù)、人事等系統(tǒng)。程序員編完，能用了，也就完了。沒有重要問題和需求變更，也不會(huì)去頻繁升級、重構(gòu)和迭代更新。

5、從具體的實(shí)際流程上看，流程太長、太慢。比如說，您是集團(tuán)公司的老總，有一天突發(fā)奇想，想到了一個(gè)項(xiàng)目，想"看看相關(guān)數(shù)據(jù)"。

北京分公司的數(shù)據(jù)，很快上來了，上海分公司的數(shù)據(jù)，秘書打了好幾遍電話，才要來。山東分公司的說，我們這邊忙著陪客戶吃飯喝酒了，具體數(shù)據(jù)沒收集呢。浙江分公司的，數(shù)據(jù)報(bào)上來了，可他們打電話說，數(shù)據(jù)報(bào)錯(cuò)了、漏報(bào)了，您稍等，我們組織人力物力，重新幫你核查。

此時(shí)，時(shí)間上，少說也一個(gè)月過去了，還不一定保證數(shù)據(jù)都正確。數(shù)據(jù)收集上來，您也不用"分析"了。市場風(fēng)云變幻，黃花菜都涼了。

鑒于此，大數(shù)據(jù)處理系統(tǒng)來了。有了hadoop、spark、storm、hbase、 Elasticsearch、zookeeper等等大數(shù)據(jù)工具搭建起來的數(shù)據(jù)處理集群，張三終于炮換導(dǎo)彈了。

?

1、有了hdfs，張三可以把以前覺得沒太大價(jià)值的數(shù)據(jù)保存起來。未來的事，誰知道呢，數(shù)據(jù)總是要的，說不定以后用的到呢。如果阿里巴巴沒有保存、整理用戶的交易數(shù)據(jù)等，花唄、借唄等業(yè)務(wù)，開展起來，簡直就是做夢。

2、有了spark等編程框架，你的業(yè)務(wù)處理流程，也更加靈活和牛逼了。你可以用python、java,scala等編寫一些腳本似的數(shù)據(jù)分析程序，盡情地挖掘出有價(jià)值的東西。這一個(gè)個(gè)的job，寫完后，扔給調(diào)度系統(tǒng)，定時(shí)，每天晚上讓集群幫你跑出來就好了。挺靈活的。

3、調(diào)用一些開發(fā)庫，你可以玩一些機(jī)器學(xué)習(xí)等高大上的東西。出去吹牛逼也有料了。

4、建立統(tǒng)一的數(shù)據(jù)處理中心，再加上互聯(lián)網(wǎng)的力量，終于可以在可接受的時(shí)間范圍內(nèi)獲得你想要的數(shù)據(jù)了，而且數(shù)據(jù)還更詳細(xì)，方方面面的數(shù)據(jù)都有，最后還附有機(jī)器人"小優(yōu)"的"智能"建議和溫馨提示。

5、借助比如storm等實(shí)時(shí)處理框架，很多結(jié)果可以秒級回饋。性能遇到瓶頸了，大不了加機(jī)器。反正一切都是分布式的。.......

?

我想大多數(shù)人，特別是中小企業(yè)，也不會(huì)關(guān)心。那是BAT等大公司的事，我們公司小、數(shù)據(jù)少，業(yè)務(wù)也簡單。"分析"，也是電腦不如人腦。因此，大多人，也是覺得，大數(shù)據(jù)或許是未來，但是，對我來說，似乎也沒多大用處。

如果，此人當(dāng)時(shí)心情不好，還多半認(rèn)為"大數(shù)據(jù)"，純粹是瞎忽悠。 回到本次話題，針對"大數(shù)據(jù)能火多久"，這個(gè)問題，這就要看大數(shù)據(jù)的本質(zhì)了。在我看來，我們業(yè)內(nèi)目前討論"大數(shù)據(jù)"，應(yīng)該更傾向于看它背后的技術(shù)對當(dāng)前企業(yè)IT系統(tǒng)的革新。

就如同目前大多數(shù)企業(yè)以關(guān)系型數(shù)據(jù)庫為中心的IT系統(tǒng)一樣，現(xiàn)在，我們處理信息的手段中，又添加了新的成員。現(xiàn)在，如果你向老大建議，我們不要以關(guān)系型數(shù)據(jù)庫為核心的各類"進(jìn)銷存"、財(cái)務(wù)等系統(tǒng)了，全體回退到以Excel、word來處理信息，我相信，他會(huì)分分鐘扇死你。

我相信，20年后，你向老板建議，我們放棄各類以大數(shù)據(jù)處理集群為核心的精準(zhǔn)營銷系統(tǒng)、智能客服系統(tǒng)、用戶智能分析系統(tǒng)等等，大家集體回退到以純關(guān)系型數(shù)據(jù)庫為核心的時(shí)代;我相信，他也一定會(huì)分分鐘扇死你。

當(dāng)前，我們對大數(shù)據(jù)的理解，越來越清晰和接地氣。阿里巴巴已經(jīng)把他們的大數(shù)據(jù)系統(tǒng)，改名為了"maxComputer"。從名字不難看出，大數(shù)據(jù)就是大電腦，這意味著更大的信息處理能力、更高的靈活性。

大數(shù)據(jù)能火多久，如同穿越到上世紀(jì)80年代，去問個(gè)人電腦能火多久一樣。現(xiàn)在，我們都不會(huì)認(rèn)為"個(gè)人電腦"很"火"。因?yàn)?#xff0c;它已經(jīng)成為了人類工具箱里一件強(qiáng)大的工具，提高了人類的生產(chǎn)力。我相信，"大數(shù)據(jù)"，也會(huì)成為我們的工具箱里的這么一樣工具的。

很多人討論起大數(shù)據(jù)，還是照搬教科書里的內(nèi)容。其實(shí)，對真正大數(shù)據(jù)圈而言，大數(shù)據(jù)已經(jīng)落地了。

大數(shù)據(jù)從幾年前很火，到現(xiàn)在，從PPT上下凡到數(shù)據(jù)中心，也就沒多大的討論必要了。

歡迎關(guān)注我的公眾號“商業(yè)智能研究”，私信回復(fù)“資料包”，即可領(lǐng)取大數(shù)據(jù)、數(shù)據(jù)中臺、商業(yè)智能、數(shù)據(jù)倉庫等6G精華資料！

總結(jié)

以上是生活随笔為你收集整理的小白都能看懂的干货！大数据这朵“后浪”，能卷起多大的风浪？的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。