物联网数据的采集与处理
一.物聯網相關協議
1.http
優勢:
- 簡單的工作模式,請求/響應
- 完整的方法定義。
- 合理的狀態碼設計
- 友好的媒體類型支持。文本、圖片、視頻
缺點:
- 單向傳輸,可以通過客戶端輪詢實現類似推送效果或者HTTP 2.0。
- 安全性不高, HTTP是明文協議,可以使用HTTPS傳輸
- HTTP是文本協議,冗長的協議頭部,對于運算、存儲、帶寬資源受限的設備來說開銷大。
2.MQTT
MQTT協議,支持一對多的基于消息主題(Topic)的消息訂閱,也就是一個MQTT的客戶端,發送一條特定主題的消息,
能同時支持多個訂閱者同時訂閱。
二.數據的采集與處理方案
1.傳統的方案:
? 假如我們手下現在有兩個樹莓派,其中一個樹莓派上面有幾個傳感器,我們標記為slave,而另外一個樹莓派充當服務器的角色,我們標記為master。然后我們通過在slave上收集傳感器的數據,然后將數據通過http請求發送給master,master進行傳感器的數據存儲。這是傳統的C/S架構。
2.現代的方案:
? 同樣是兩個樹莓派,我們從兩個點進行來更新項目提高項目的效率:數據的采集,數據的處理。
數據的采集:我們通過MQ進行消息數據傳送。
數據的處理:通過構造分布式數據庫,進行數據存儲。
如下圖所示,采用的是一種方案,將數據/數據文件存儲在云存儲中,然后通過MQ來監聽下載文件到分布式系統中(HDFS,spark,HBASE)
設備開始采集之后,然后以文件的方式保存,然后通過網絡傳送到云存儲。 由于數據量大,這里通常要做系列化以及壓縮處理。
三.總結
四.參考
物聯網數據采集處理架構:https://blog.csdn.net/tom_fans/article/details/78667779
如何有效的處理物聯網中的海量數據:http://m.elecfans.com/article/1062961.html
如何高效處理物聯網中數據與消息:https://yq.aliyun.com/articles/111342
物聯網協議MQTT淺談:https://blog.csdn.net/u010648018/article/details/80963913
總結
以上是生活随笔為你收集整理的物联网数据的采集与处理的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 【积】有向图中的louvain社区检测(
- 下一篇: BundlePhobia