介绍一下什么是大数据
一、 什么是大數據?
大數據:指指數據集的大小超過了現有典型的數據庫軟件和工具的處理能力
的數據。
二、大數據的特點
1、海量化(Volume)
數據量從TB到PB級別
2、多樣化(Variety)
數據類型復雜,超過80%的數據是非結構化的
3、快速化(Velocity)
數據量在持續增加(兩位數的年增長率)
數據的處理速度要求高
4、高價值(Value)
在海量多樣數據的快速分析下能夠發揮出更高的數據價值
三、大數據能做什么
海量數據背景下
1、快速查詢 - 全量查詢
例如:每個用戶查詢上月手機流量記錄或上月通話明細。都是在海量用戶
中查詢某一個人的記錄,三秒內出結果。
2、數據存儲 - 量大、文件大、
傳統數據計算特點:
數據量小(基本單位是MB、GB)、
數據種類少(大都為結構化數據)、
增長速度慢
海量數據存儲
A:大數據能夠存儲海量數據
大數據時代數據量巨大,
1TB=10241G 約26萬首歌(一首歌4M)
1PB=102410241G 約2.68億首歌 (一首歌4M)
B:大數據能夠存儲單個大文件。
目前市面上最大的單個硬盤大小約為10T左右。若有一個文件20T,將 無法存儲。大數據可以存儲單個20T文件,甚至更大。
3、快速計算 - 對比傳統方案
例如:計算全國移動用戶(全國數據量大),全年內通話總時間(每個人 一年通話總和)大于1萬分鐘的人,按照從多到少順序。
4、實時計算 - 最新數據
例如:欠費的手機充話費,充值完成后,手機幾秒鐘后就能使用、雙十一實時交易大屏
5、數據挖掘 - 新價值
例如:通過數據挖掘算法計算花的種類。
通過算法識別出這些花是玫瑰花?百合?茉莉花?菊花?桂花?
大數據前景也是非常不錯且國家大力支持
大數據也是一種趨勢
趨勢之一:
5G就是一場革命,它以技術為驅動,從人與人的連接延伸到萬物互聯,從個人和家庭延伸到社會各個領域,進而為社會經濟、生活帶來革命性的影響。
5G時代 數據傳輸速度更快,延時更低,數據量也將N個數量級增長,數據量將更大。
趨勢之二:
與云計算、人工智能等前沿創新技術深度融合。
趨勢之三:針對制造業的大數據解決方案不斷升級,助力智能制造。
大數據技術應用分享:
列舉一部分大數據就業崗位:
1、ETL工程師
2、數據倉庫工程師
3、大數據開發工程師
4、Hadoop工程師
5、Spark/Flink工程師
6、大數據分析師
7、大數據算法工程師
8、大數據運維工程師
9、大數據解決方案
總結
以上是生活随笔為你收集整理的介绍一下什么是大数据的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 再获国家级荣誉!谱尼测试蝉联“国家知识产
- 下一篇: i9502移植rom包进程记录