大數(shù)據(jù)技術(shù)層面及其功能?

數(shù)據(jù)采集和預(yù)處理（功能）

利用ETL工具將分布的數(shù)據(jù)，抽取到臨時(shí)中間層后進(jìn)行處理，最后加載到數(shù)據(jù)倉(cāng)庫(kù)中，成為聯(lián)機(jī)分析處理、數(shù)據(jù)挖掘的基礎(chǔ)；

利用日志采集工具把實(shí)時(shí)采集的數(shù)據(jù)作為流計(jì)算的輸入，進(jìn)行實(shí)時(shí)處理分析；

利用網(wǎng)頁(yè)爬蟲程序到互聯(lián)網(wǎng)網(wǎng)站中爬取數(shù)據(jù)。

數(shù)據(jù)存儲(chǔ)和管理（功能）

利用分布式文件系統(tǒng)、數(shù)據(jù)倉(cāng)庫(kù)、關(guān)系數(shù)據(jù)庫(kù)、NoSQL數(shù)據(jù)庫(kù)、云數(shù)據(jù)庫(kù)等實(shí)現(xiàn)對(duì)結(jié)構(gòu)化、半結(jié)構(gòu)化和非結(jié)構(gòu)化海量數(shù)據(jù)的存儲(chǔ)和管理。

數(shù)據(jù)處理和分析（功能）

利用分布式并行編程模型和計(jì)算框架，結(jié)合機(jī)器學(xué)習(xí)和數(shù)據(jù)挖掘算法，實(shí)現(xiàn)對(duì)海量數(shù)據(jù)的處理和分析。

數(shù)據(jù)可視化（功能）

對(duì)分析結(jié)果進(jìn)行可視化呈現(xiàn)，幫助人們更好的理解數(shù)據(jù)、分析數(shù)據(jù)。

數(shù)據(jù)安全和隱私保護(hù)（功能）

在從大數(shù)據(jù)中挖掘潛在的巨大商業(yè)價(jià)值和學(xué)術(shù)價(jià)值的同時(shí)，構(gòu)建隱私數(shù)據(jù)保護(hù)體系和數(shù)據(jù)安全體系，有效保護(hù)個(gè)人隱私和數(shù)據(jù)安全。

數(shù)據(jù)采集

DAQ，又稱數(shù)據(jù)獲取，它通過(guò)各種技術(shù)手段把外部各種數(shù)據(jù)源產(chǎn)生的數(shù)據(jù)進(jìn)行實(shí)時(shí)或非實(shí)時(shí)的采集，獲得各種類型的結(jié)構(gòu)化、半結(jié)構(gòu)化以及非結(jié)構(gòu)化的海量數(shù)據(jù)并加以利用。

三大要點(diǎn)：全面性、多維性、高效性

數(shù)據(jù)分類

結(jié)構(gòu)化信息：傳統(tǒng)的關(guān)系型數(shù)據(jù)庫(kù)，可用二維表結(jié)構(gòu)表示；

半結(jié)構(gòu)化信息：類似XML之類，數(shù)據(jù)結(jié)構(gòu)和內(nèi)容混雜在一起；

非結(jié)構(gòu)化信息：各種文檔、圖片、視頻等；

數(shù)據(jù)采集方式

離線采集、實(shí)時(shí)采集、互聯(lián)網(wǎng)采集

數(shù)據(jù)采集數(shù)據(jù)源

傳感器：是一種檢測(cè)裝置、能感受到被測(cè)量的信息；

互聯(lián)網(wǎng)數(shù)據(jù)：互聯(lián)網(wǎng)數(shù)據(jù)采集是借助網(wǎng)絡(luò)爬蟲來(lái)實(shí)現(xiàn)的，通過(guò)網(wǎng)頁(yè)數(shù)據(jù)的定向抓取，將非結(jié)構(gòu)化的數(shù)據(jù)從網(wǎng)頁(yè)中抽取出來(lái)，并以結(jié)構(gòu)化的方式存儲(chǔ)在本地；

企業(yè)業(yè)務(wù)系統(tǒng)數(shù)據(jù)：企業(yè)每時(shí)每刻產(chǎn)生的業(yè)務(wù)數(shù)據(jù)，以數(shù)據(jù)庫(kù)一行記錄的形式，被直接寫入到數(shù)據(jù)庫(kù)中，企業(yè)使用傳統(tǒng)關(guān)系數(shù)據(jù)庫(kù)MySQL和oracle來(lái)存儲(chǔ)業(yè)務(wù)系統(tǒng)數(shù)據(jù)。

日志文件：日志文件系統(tǒng)一般由數(shù)據(jù)源系統(tǒng)產(chǎn)生，用于記錄數(shù)據(jù)源的執(zhí)行的各種操作活動(dòng)。

常用日志系統(tǒng)采集工具

chukwa，apache提出了chukwa的方法

flume，一個(gè)可靠性和可用性非常高的日志系統(tǒng)，支持分布式的海量日志采集、聚合和傳輸，具有寫到各種數(shù)據(jù)接收方的能力

scribe，日志收集系統(tǒng)，容錯(cuò)性很好，facebook

kafka，高吞吐的分布式發(fā)布訂閱消息系統(tǒng)，可以處理大規(guī)模網(wǎng)站中的所有動(dòng)作流數(shù)據(jù)

數(shù)據(jù)清洗

檢查數(shù)據(jù)一致性、處理無(wú)效值、缺失值

需要清洗的數(shù)據(jù)主要類型：殘缺數(shù)據(jù)、錯(cuò)誤數(shù)據(jù)、重復(fù)數(shù)據(jù)

數(shù)據(jù)清洗的內(nèi)容：一致性檢查、無(wú)效值和缺失值的處理

數(shù)據(jù)清理方法：整列刪除、變量刪除、成對(duì)刪除、估算

數(shù)據(jù)存儲(chǔ)概述

一個(gè)是存儲(chǔ)量需求越來(lái)越大、一個(gè)是對(duì)數(shù)據(jù)的有效管理提出了更高的要求

傳統(tǒng)數(shù)據(jù)存儲(chǔ)技術(shù)

傳統(tǒng)數(shù)據(jù)存儲(chǔ)和管理一般以結(jié)構(gòu)化數(shù)據(jù)為主，數(shù)據(jù)庫(kù)和文件系統(tǒng)是主流技術(shù)

文件系統(tǒng)

是操作系統(tǒng)用于明確存儲(chǔ)設(shè)備或分區(qū)上的文件的方法和數(shù)據(jù)結(jié)構(gòu)，即存儲(chǔ)設(shè)備上組織文件的方法；

文件系統(tǒng)由三部分組成：文件系統(tǒng)的接口，對(duì)對(duì)象操縱和管理的軟件集合，對(duì)象及屬性；

關(guān)系數(shù)據(jù)庫(kù)

數(shù)據(jù)庫(kù)是指以一定方式存儲(chǔ)在一起，能為多個(gè)用戶共享、具有盡可能小的冗余度、與應(yīng)用程序彼此獨(dú)立的數(shù)據(jù)集合；目前比較主流的數(shù)據(jù)庫(kù)是關(guān)系數(shù)據(jù)庫(kù)，采用了關(guān)系數(shù)據(jù)模型來(lái)組織和管理數(shù)據(jù)。

數(shù)據(jù)倉(cāng)庫(kù)

數(shù)據(jù)倉(cāng)庫(kù)是一個(gè)面向主題的、集成的、相對(duì)穩(wěn)定的、反映歷史變化的數(shù)據(jù)集合，用于支持管理決策。

并行數(shù)據(jù)庫(kù)

指那些在無(wú)共享的體系中進(jìn)行數(shù)據(jù)操作的數(shù)據(jù)庫(kù)系統(tǒng)。

大部分采用了關(guān)系數(shù)據(jù)模型并且支持SQL語(yǔ)句查詢，為了能夠并行執(zhí)行SQL的查詢操作，系統(tǒng)中采用了兩個(gè)關(guān)鍵技術(shù)：關(guān)系表的水平劃分和SQL查詢的分區(qū)執(zhí)行。

大數(shù)據(jù)時(shí)代的存儲(chǔ)技術(shù)

分布式系統(tǒng)、NoSQL、NewSQL

分布式系統(tǒng)：一種通過(guò)網(wǎng)絡(luò)實(shí)現(xiàn)文件在多臺(tái)主機(jī)上進(jìn)行分布式存儲(chǔ)的文件系統(tǒng)

NoSQL：對(duì)非關(guān)系數(shù)據(jù)庫(kù)的統(tǒng)稱，類似鍵值、列族、文檔等非關(guān)系模型；沒(méi)有固定表結(jié)構(gòu)、具有靈活的水平可擴(kuò)展性、支持海量數(shù)據(jù)存儲(chǔ)；具有三個(gè)特點(diǎn)：靈活的可擴(kuò)展性、靈活的數(shù)據(jù)模型、與云計(jì)算緊密結(jié)合

NewSQL數(shù)據(jù)庫(kù)：對(duì)各種可擴(kuò)展、高性能數(shù)據(jù)庫(kù)的簡(jiǎn)稱

大數(shù)據(jù)處理分析技術(shù)方法

?可視化

可視化面臨的挑戰(zhàn)

計(jì)算能力：大數(shù)據(jù)時(shí)代數(shù)據(jù)流爆發(fā)式增長(zhǎng)帶來(lái)的數(shù)據(jù)計(jì)算和處理能力的挑戰(zhàn)；

感知能力和認(rèn)知能力的局限性：人類視覺強(qiáng)大，但是又十分有限

顯示能力：主要局限于二維屏幕空間

數(shù)據(jù)安全技術(shù)

身份認(rèn)證技術(shù)、訪問(wèn)控制技術(shù)、加密技術(shù)、防火墻技術(shù)、入侵檢測(cè)技術(shù)

隱私保護(hù)技術(shù)

如何在不泄露用戶隱私的前提下，提高大數(shù)據(jù)的利用率，挖掘大數(shù)據(jù)的價(jià)值，是目前大數(shù)據(jù)研究領(lǐng)域的關(guān)鍵問(wèn)題；

數(shù)據(jù)水印保護(hù)原創(chuàng)

大數(shù)據(jù)生命周期的隱私保護(hù)模型

隱私保護(hù)的生命周期模型有主要幾個(gè)階段

數(shù)據(jù)發(fā)布、數(shù)據(jù)存儲(chǔ)、數(shù)據(jù)挖掘、數(shù)據(jù)使用

數(shù)據(jù)發(fā)布：與傳統(tǒng)針對(duì)隱私保護(hù)進(jìn)行的數(shù)據(jù)發(fā)布手段相比，大數(shù)據(jù)發(fā)布面臨的風(fēng)險(xiǎn)是大數(shù)據(jù)的發(fā)布是動(dòng)態(tài)的，且針對(duì)同一用戶的數(shù)據(jù)來(lái)源眾多、總量巨大；

數(shù)據(jù)存儲(chǔ)：云存儲(chǔ)服務(wù)商并不保證完全可信，用戶的數(shù)據(jù)面臨被不可信的第三方偷竊或者篡改的風(fēng)險(xiǎn)

數(shù)據(jù)挖掘：由于數(shù)據(jù)存在來(lái)源多樣性和動(dòng)態(tài)性等特點(diǎn)，經(jīng)過(guò)匿名處理后，經(jīng)過(guò)大數(shù)據(jù)關(guān)聯(lián)分析、聚類等挖掘方法后，依然可以分析用戶隱私；

數(shù)據(jù)使用：在大數(shù)據(jù)環(huán)境下，如何確保合適的數(shù)據(jù)及屬性能夠在合適時(shí)間地點(diǎn)訪問(wèn)和使用，是主要風(fēng)險(xiǎn)。現(xiàn)在主要技術(shù)：時(shí)刻融合的角色訪問(wèn)控制、基于屬性集加密訪問(wèn)控制、基于密文策略屬性集的加密。

總結(jié)

以上是生活随笔為你收集整理的大数据导论三——大数据技术的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。