• 大數(shù)據(jù)采集
  是指從傳感器和智能設(shè)備、企業(yè)在線系統(tǒng)、企業(yè)離線系統(tǒng)、社交網(wǎng)絡(luò)和互聯(lián)網(wǎng)平臺等獲取數(shù)據(jù)的過程。
• 數(shù)據(jù)
  數(shù)據(jù)包括RFID數(shù)據(jù)、傳感器數(shù)據(jù)、用戶行為數(shù)據(jù)、社交網(wǎng)絡(luò)交互數(shù)據(jù)及移動互聯(lián)網(wǎng)數(shù)據(jù)等各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化及非結(jié)構(gòu)化的海量數(shù)據(jù)。

大數(shù)據(jù)的分類

• 業(yè)務(wù)數(shù)據(jù)：消費者數(shù)據(jù)、客戶關(guān)系數(shù)據(jù)、庫存數(shù)據(jù)、賬目數(shù)據(jù)等。
• 行業(yè)數(shù)據(jù)：車流量數(shù)據(jù)、能耗數(shù)據(jù)、PM2.5數(shù)據(jù)等。
• 內(nèi)容數(shù)據(jù)：應(yīng)用日志、電子文檔、機器數(shù)據(jù)、語音數(shù)據(jù)、社交媒體數(shù)據(jù)等。
• 線上行為數(shù)據(jù)：頁面數(shù)據(jù)、交互數(shù)據(jù)、表單數(shù)據(jù)、會話數(shù)據(jù)、反饋數(shù)據(jù)等。
• 線下行為數(shù)據(jù)：車輛位置和軌跡、用戶位置和軌跡、動物位置和軌跡等。

數(shù)據(jù)源的分類

• 企業(yè)系統(tǒng)：客戶關(guān)系管理系統(tǒng)、企業(yè)資源計劃系統(tǒng)、庫存系統(tǒng)、銷售系統(tǒng)等。
• 機器系統(tǒng)：智能儀表、工業(yè)設(shè)備傳感器、智能設(shè)備、視頻監(jiān)控系統(tǒng)等。
• 互聯(lián)網(wǎng)系統(tǒng)：電商那系統(tǒng)、服務(wù)行業(yè)業(yè)務(wù)系統(tǒng)、政府監(jiān)管系統(tǒng)等。
• 社交系統(tǒng)：微信、QQ、微博、博客、新聞網(wǎng)站、朋友圈等。

采集方法和采集工具

• 大數(shù)據(jù)的采集
  是指利用多個數(shù)據(jù)庫或存儲系統(tǒng)來接收發(fā)自客戶端（Web、App或者傳感器形式等）的數(shù)據(jù)。
• 在大數(shù)據(jù)時代，Redis、MongoDb和HBase等NoSQL數(shù)據(jù)庫常用于數(shù)據(jù)的采集。
• 大數(shù)據(jù)的采集過程的主要特點和挑戰(zhàn)是并發(fā)數(shù)高。
• 大數(shù)據(jù)采集時使用了大數(shù)據(jù)的處理模式即,MapReduce分布式并行處理模式或基于內(nèi)存的流式處理模式。
• 大數(shù)據(jù)的采集方法
  1）數(shù)據(jù)庫采集
  Redis、MongoDB和HBase等NoSQL數(shù)據(jù)庫常用于數(shù)據(jù)的采集。企業(yè)通過在采集端部署大量數(shù)據(jù)庫，并在這些數(shù)據(jù)庫之間進(jìn)行負(fù)載均衡和分片，來完成大數(shù)據(jù)采集工作。
  2）系統(tǒng)日志采集
  系統(tǒng)日志采集主要是手機公司業(yè)務(wù)平臺日常產(chǎn)生的大量日志數(shù)據(jù)，供離線和在線的大數(shù)據(jù)分析系統(tǒng)使用。高可用性、高可靠性、可擴(kuò)展性是日志收集系統(tǒng)所具有的基本特征。系統(tǒng)日志采集工具均采用分布式架構(gòu)，能夠滿足每秒數(shù)百MB的日志數(shù)據(jù)采集和傳輸需求。
  3）網(wǎng)絡(luò)數(shù)據(jù)采集
  網(wǎng)絡(luò)數(shù)據(jù)采集是指通過網(wǎng)絡(luò)爬蟲或網(wǎng)站公開API等方式從網(wǎng)站上獲取數(shù)據(jù)信息的過程。
  4）感知設(shè)備數(shù)據(jù)采集
  感知設(shè)備數(shù)據(jù)采集是指通過傳感器、攝像頭和其他智能終端自動采集信號、圖片或錄像來獲取數(shù)據(jù)。

總結(jié)

以上是生活随笔為你收集整理的大数据采集方法的全部內(nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯，歡迎將生活随笔推薦給好友。