隨著企業(yè)、服務(wù)提供商和超大型數(shù)據(jù)中心從描述性分析向預(yù)測(cè)性和規(guī)范性分析演進(jìn)，結(jié)合了融合運(yùn)營(yíng)和分析數(shù)據(jù)管道的融合數(shù)據(jù)平臺(tái)變得日益重要。大數(shù)據(jù)閃存可讓數(shù)據(jù)處理平臺(tái)快速訪問(wèn)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)流，從而以較低成本創(chuàng)建有效的預(yù)測(cè)模型。

隨著大數(shù)據(jù)從描述性分析（批量）向預(yù)測(cè)性（交互）和規(guī)范性（實(shí)時(shí)）分析演進(jìn)，企業(yè)正在越來(lái)越多地使用串流數(shù)據(jù)源和歷史批量數(shù)據(jù)，以提高機(jī)器的學(xué)習(xí)能力并建立預(yù)測(cè)模型。簡(jiǎn)而言之，描述性分析是為了了解事態(tài)，預(yù)測(cè)性分析是為了建立一個(gè)假設(shè)場(chǎng)景模型，而規(guī)范性分析是為了通過(guò)采取數(shù)據(jù)驅(qū)動(dòng)型行動(dòng)來(lái)影響結(jié)果。新型分析應(yīng)用能夠在交易發(fā)生時(shí)實(shí)時(shí)捕獲它，并能影響其結(jié)果，從而帶來(lái)直接的商業(yè)效益。這方面的用例包括：
反洗錢(qián)欺詐分析定向營(yíng)銷(xiāo)工業(yè)互聯(lián)網(wǎng)（IoT/IoE）實(shí)時(shí)生產(chǎn)制造醫(yī)療領(lǐng)域的患者數(shù)據(jù)情報(bào)SanDisk閃迪利用新型分析應(yīng)用對(duì)半導(dǎo)體制造數(shù)據(jù)進(jìn)行實(shí)時(shí)分析。從Lambda架構(gòu)到SMACK

Lambda架構(gòu)因其融合實(shí)時(shí)分析和批量分析的能力而深受喜愛(ài)。Lambda架構(gòu)使用HDFS、Scalding和HBASE作為融合實(shí)時(shí)分析和批量數(shù)據(jù)管道的構(gòu)建模塊。但是，該架構(gòu)帶來(lái)的多管道復(fù)制代碼和數(shù)據(jù)的開(kāi)銷(xiāo)，使得其難以大規(guī)模部署。

為了克服Lambda架構(gòu)的局限性，必需配備一個(gè)能夠有效處理批量和實(shí)時(shí)串流的大數(shù)據(jù)管道。全新的SMACK堆棧——Scala及其Spark、Mesos、Akka、Cassandra和Kafka生態(tài)系統(tǒng)便旨在實(shí)現(xiàn)這一點(diǎn)。SMACK串流已成為一個(gè)用于處理批量和串流數(shù)據(jù)的有效大型平臺(tái)。

Meosphere的Infinity堆棧或MapR新近發(fā)布的Converged Data Platform等解決方案都是Lambda架構(gòu)的實(shí)例。

配備SMACK（Spark、Mesos、Akka、Cassandra和Kafka）堆棧的串流架構(gòu)

以下是SMARK堆棧的簡(jiǎn)要介紹：
Spark：一個(gè)快速、通用的分布式大型數(shù)據(jù)處理引擎。Mesos：一個(gè)集群資源管理系統(tǒng)，在各個(gè)分布式應(yīng)用之間提供高效的資源隔離和共享功能。Akka：一個(gè)工具包和運(yùn)行環(huán)境，用于在JVM上創(chuàng)建高并發(fā)、分布式、彈性消息驅(qū)動(dòng)型應(yīng)用。Cassandra：一個(gè)分布式、高度可用的數(shù)據(jù)庫(kù)，旨在處理多個(gè)數(shù)據(jù)中心的大量數(shù)據(jù)。Kafka：一個(gè)高吞吐量、低時(shí)延的分布式消息系統(tǒng)，旨在處理實(shí)時(shí)數(shù)據(jù)流。面向融合數(shù)據(jù)平臺(tái)的大數(shù)據(jù)閃存

為了創(chuàng)建有效的預(yù)測(cè)模型，融合堆棧系統(tǒng)需要快速訪問(wèn)歷史數(shù)據(jù)和實(shí)時(shí)數(shù)據(jù)流。基于閃存的數(shù)據(jù)網(wǎng)格可為這些新的數(shù)據(jù)驅(qū)動(dòng)型架構(gòu)帶來(lái)巨大效益。

2015年3月，SanDisk閃迪設(shè)立了 “大數(shù)據(jù)閃存”市場(chǎng)類(lèi)別，推出了InfiniFlash系統(tǒng)，它擁有極高的容量以及卓越的性能和經(jīng)濟(jì)性（源于低成本晶圓和全新的閃存尺寸規(guī)格）。

事實(shí)上，InfiniFlash系統(tǒng)之所以能成為融合數(shù)據(jù)平臺(tái)架構(gòu)的構(gòu)建模塊，其架構(gòu)和性能起著至關(guān)重要的作用：
數(shù)據(jù)捕獲每秒可捕獲數(shù)百萬(wàn)個(gè)事件，且無(wú)事件丟失更快的批量攝取便于擴(kuò)展使用Avro或Protobuf格式存儲(chǔ)數(shù)據(jù)，無(wú)需ETL（提取、轉(zhuǎn)換、加載）過(guò)程通過(guò)支持Kafka等分布式消息系統(tǒng)消除負(fù)載數(shù)據(jù)處理能夠有效處理實(shí)時(shí)事件和批量數(shù)據(jù)輸入存儲(chǔ)處理，以秒和亞秒級(jí)實(shí)現(xiàn)時(shí)延交付數(shù)據(jù)存儲(chǔ)面向數(shù)據(jù)密集型工作負(fù)載的軟件定義數(shù)據(jù)構(gòu)造，提供敏捷性和可擴(kuò)展性可長(zhǎng)時(shí)間存儲(chǔ)數(shù)個(gè)TB的數(shù)據(jù)支持高吞吐量的批量數(shù)據(jù)存儲(chǔ)，且滿(mǎn)足低時(shí)延實(shí)時(shí)查詢(xún)可處理分離的數(shù)據(jù)源和“突發(fā)性”工作負(fù)載采用無(wú)模式方式存儲(chǔ)數(shù)據(jù)支持HDFS和NoSQL數(shù)據(jù)庫(kù)（如Cassandra、CouchDB、MemSQL、HBase等）可借助Rackscale架構(gòu)擴(kuò)展至PB級(jí)極低的年故障率（AFR）可使用解聚/共享存儲(chǔ)提供企業(yè)就緒度、沿襲（審計(jì)日志）、合規(guī)（依法保留等）和版本控制（維護(hù)不同的時(shí)間點(diǎn)副本）專(zhuān)為來(lái)自HDFS/S3的故障、備份和補(bǔ)丁而設(shè)計(jì)最為經(jīng)濟(jì)高效，低于/GB[1]數(shù)據(jù)查詢(xún)支持亞秒級(jí)時(shí)延的實(shí)時(shí)查詢(xún)支持批量/聚集查詢(xún)支持針對(duì)HDFS和NoSQL的查詢(xún)

使用InfiniFlash“大數(shù)據(jù)閃存”打造數(shù)據(jù)密集型融合數(shù)據(jù)平臺(tái)的三大原因

無(wú)論您是企業(yè)還是服務(wù)提供商，以下是您應(yīng)該考慮使用InfiniFlash打造融合數(shù)據(jù)平臺(tái)的三大原因：

滿(mǎn)足捕獲、處理、存儲(chǔ)和查詢(xún)數(shù)據(jù)管道的所有要求

傳統(tǒng)的直接附加型存儲(chǔ)解決方案和純HDD解決方案無(wú)法提供融合數(shù)據(jù)平臺(tái)所需的大規(guī)模性能和吞吐量。此外，它們也不具備可擴(kuò)展性所帶來(lái)的資本支出和運(yùn)營(yíng)支出效益，也不具備這些平臺(tái)所要求的敏捷性和企業(yè)就緒程度。

與傳統(tǒng)硬盤(pán)相比，InfiniFlash系統(tǒng)的性能是它們的50倍，密度是它們的5倍，可靠性是它們的4倍，而且便于向上和向外擴(kuò)展，以滿(mǎn)足大數(shù)據(jù)應(yīng)用的苛刻要求[2]。基于閃存的軟件定義數(shù)據(jù)構(gòu)造可讓用戶(hù)根據(jù)需要靈活選用多種文件系統(tǒng)，其中包括HDFS、Spectrum Scale、Lustre和Ceph。

全球支持

InfiniFlash在全球各地得到了SanDisk閃迪及其合作伙伴的支持。InfiniFlash是TSA Net Support Community的一部分，可確保滿(mǎn)足嚴(yán)格的SLA協(xié)議要求。與此同時(shí)，我們的FlashStart 功能可確保其安裝順利，并提供卓越的客戶(hù)體驗(yàn)。

同類(lèi)最佳的生態(tài)系統(tǒng)

SanDisk閃迪與眾多業(yè)內(nèi)領(lǐng)先的軟件開(kāi)發(fā)者和硬件合作伙伴開(kāi)展合作，通過(guò)同類(lèi)最佳的生態(tài)系統(tǒng)獲得更多的選擇和靈活性。我們的合作伙伴包括： RedhatCeph、Nexenta、ICloudbyte以及思科、聯(lián)想、戴爾、Supermicro、Quanta等廠商。同時(shí)，我們也正與開(kāi)源社區(qū)開(kāi)展密切合作，并通過(guò)我們的各項(xiàng)事業(yè)成為貢獻(xiàn)者和思想領(lǐng)袖。（欲了解SanDisk閃迪對(duì)于開(kāi)源SCST企業(yè)級(jí)特性所做出的貢獻(xiàn)，請(qǐng)點(diǎn)擊此處。）

結(jié)語(yǔ)

搭建融合數(shù)據(jù)平臺(tái)是為了滿(mǎn)足融合運(yùn)營(yíng)和分析管道的要求，以及隨后的捕獲、處理、存儲(chǔ)和查詢(xún)階段的存儲(chǔ)要求，一個(gè)基于大數(shù)據(jù)閃存的數(shù)據(jù)構(gòu)造是融合平臺(tái)理想的存儲(chǔ)層構(gòu)建模塊，可讓數(shù)據(jù)管道的每個(gè)階段都受益。

本文轉(zhuǎn)自d1net（轉(zhuǎn)載）

總結(jié)

以上是生活随笔為你收集整理的使用大数据闪存打造融合数据平台的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問(wèn)題。

如果覺(jué)得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。