对象存储界的“百变星君”来了,非结构化数据存储还是事儿吗?
關注我們牛年牛氣沖天
全世界80%的數據是非結構化的!(潛臺詞:非結構化數據非常重要)
非結構化數據的增長非常迅速。IDC預測,截止2023年,全球文件和對象數據容量增長3倍。(潛臺詞:非結構化數據的存儲將是個大難題,但同時非結構化數據又是一座亟待挖掘的金礦)
其實,對于非結構化數據我們已經習以為常,文件、圖片、音視頻,以及來自社交媒體、IoT的海量數據都屬于非結構化數據。但是就像“不識廬山真面目,只緣身在此山中”所描述的那樣,當我們真的陷入非結構化數據的海洋之中,你對非結構化數據的了解真的成竹在胸嗎?你真的能夠洞察非結構化數據中蘊藏的價值嗎?你對非結構化數據的存儲真的那么有把握,能夠做到快速、高效和低成本嗎?
對于非結構化數據,以及非結構化數據的存儲、應用和進一步挖掘都還在路上!
你真的了解非結構化數據嗎?
雖然非結構化數據的數量龐大,但給人的感覺是價值密度低,所以以前人們將更多的精力放在存儲和優化與交易直接相關的塊數據上。但其實與規整的數據庫中的數據相比,五花八門的非結構化數據的存儲、分析、挖掘和洞察其實更難,它就像是隱藏在海平面以下的巨大的冰山。
非結構化數據無處不在,歸納起來,主要來自三個方面:一是企業IT部門管理的數據,包括文件共享、主目錄、文件檔案庫,以及視頻監控數據等;二是行業應用數據,比如視頻數據、生命科學中的基因測序分析,以及石油、能源、氣象、地震等領域用到的數據等;三是來自新興業務領域的數據,包括云計算、大數據、人工智能、IoT、虛擬現實、區塊鏈等。
隨著“大數據”這一概念被提出并且得到越來越多人的認可,非結構化數據的價值也得到了進一步彰顯。擁有大數據和具有大數據處理分析能力的公司,將在數字化時代占得先機成了行業共識。“非結構化數據是一座金礦,但是如何從中挖掘出金子,卻存在諸多挑戰?!贝鳡柨萍技瘓F大中華區非結構化數據存儲事業部技術總監胡淵汶指出,在非結構化數據的存儲和使用上主要有以下兩大障礙。
戴爾科技集團大中華區非結構化數據存儲事業部技術總監 胡淵汶
第一,快速增長的非結構化數據量超乎人們的想象,而且越來越多的用戶傾向于不隨便刪除數據,這就給數據的長期保留,以及數據價值的進一步挖掘提出了新的更高的要求。更突出的一個矛盾還在于,在存儲壓力逐步增加的同時,企業的IT預算并沒有隨之大幅增加,如何在嚴格控制成本的前提下,更好地處理非結構化數據成了一個棘手的問題。
第二,應用現代化帶來的挑戰。很多用戶的應用開發和部署逐漸走向云原生。IDC預測,到2022年,90%新開發的應用都將是云原生的,云原生將成為市場主流。這就意味著企業的存儲技術架構必須與時俱進,滿足應用現代化和云原生的要求。隨著越來越多的企業采用新的應用架構、微服務、容器等技術,傳統的存儲解決方案和數據庫已無法滿足新應用架構對簡易性、靈活性等的要求。
二十年、三代,成熟穩定的保證
在“大數據”的概念出現前,企業存儲數據通常采用簡單的“二分法”,即塊數據采用SAN,而文件數據采用NAS,清晰明了。但是隨著數據量和數據類型的增加,特別是各種新的應用層出不窮,“二分法”這種粗放式的數據存儲模式顯然已經不再適用。對象存儲應運而生。
現在一談到對象存儲,很多人首先會想到大型互聯網企業和云服務商,因為它們是對象存儲的大力倡導者和忠實擁躉,對象存儲的部署非常普遍,而且應用規模通常比較大。但你可能不太了解,在企業級對象存儲領域還有一個骨灰級的玩家——Dell EMC。
戴爾科技集團現在的對象存儲主打產品——Dell EMC Elastic Cloud Storage (ECS) 經過了二十多年、三代產品的打磨和持續演進。
早在2000年,當時的EMC公司收購了一家對象存儲領域的初創公司FilePool,在對其產品進行改造和增強后,于2001年推出首款劃時代的產品——CENTERA。CENTERA采用了自主的專用API\SDK和單一命名空間。CENTERA一經推出便受到市場的熱捧。尤其是在“安然事件”曝出后,美國國會和政府加速通過了《薩班斯—奧克斯利法案》,而CENTERA是符合該法案的解決方案,因此贏得了大批上市公司的青睞。
2009年,在對CENTERA進行改造,增加了大量新功能后,第二代對象存儲ATMOS橫空出世。雖然AWS在2006年已經發布了S3,但那時候還沒有成為市場主流。ATMOS采用RESTful API,兼容S3,還支持數據可讀寫,引入了多站點、多租戶等眾多功能,成為許多運營商提供云計算服務的首選。
2014年,對象存儲市場加速發展,呈現出新的格局,當時S3已經成了事實上的對象存儲標準。ATMOS也與時俱進,進化到第三代對象存儲ECS,其特性、功能和數據服務能力持續提升。
“ECS并不是一個新產品,而是擁有多年的技術積累和突破。”胡淵汶表示,“ECS既能以純軟件的方式部署,也有軟硬件一體機的模式,在國外還有運營商基于ECS軟件在數據中心搭建一套對象存儲,為用戶提供S3云服務?!?/p>
ECS具備完備的功能,在性能、可靠性、彈性、靈活性,以及數據保護、管理和服務能力等方面優勢明顯。特別需要指出的是,ECS可支持數據湖,一份數據同時服務多個應用,減少數據拷貝和數據復制的成本,還可支持直接數據分析,無需NAS網關;具有Box-carting歸并功能,顯著提高小對象的磁盤利用率和性能;具備元數據檢索和搜索功能;SSD元數據加速,顯著提升系統整體性能;ECS具有獨特的故障恢復機制,對于節點和磁盤故障,僅依靠本數據中心內的資源即可進行自愈,無需數據中心間的網絡流量,降低帶寬成本;ECS還支持WORM功能,避免數據誤修改,更好地滿足法規遵從要求;ECS還支持多數據中心部署架構,從任意數據中心均可訪問所有數據,即使在數據中心故障時,其他數據中心仍能接管應用訪問……
總之,ECS是經過多年市場驗證的成熟、穩定的對象存儲產品,具有值得信賴的數據安全性和持續運行能力,是企業級用戶實現對非結構化數據保護的理想解決方案。
總有一款適合你
據胡淵汶介紹,ECS已與包括Cloudera、Oracle、Veritas等在內的100多家廠商的軟件實現了集成,幾乎覆蓋了企業主要的應用場景。
ECS可謂是對象存儲界的“百變星君”。ECS既可以獨自為戰,作為企業極致的備份目標設備,用于企業數據的備份和歸檔,其成本甚至比公有云更低,又能與戴爾科技集團以及合作伙伴的產品強強組合,滿足多種業務場景的需要。比如,ECS+戴爾PowerProtect DD,可將PowerProtect DD上變“冷”的備份數據轉移到成本較低的ECS上,從而釋放出 PowerProtect DD上的空間資源,降低整體架構的成本。再比如,ECS+戴爾PowerScale,形成一個優化的分層存儲組合,在PowerScale上的數據變“冷”以后,可以通過CloudPools將數據推送到ECS上,相當于數據的歸檔,歸檔的數據可以復制部署到多地,實現容災。諸如此類的靈活組合還有很多。
在對象存儲領域,戴爾科技集團處于領先地位。2020年10月,在Gartner公布的《分布式文件系統和對象存儲的魔力象限》中,戴爾科技集團處于領導者象限。
近些年,戴爾科技集團在對象存儲領域一直不斷推陳出新,形成了比較完善的產品線,可以滿足不同規模的用戶對性能、容量的不同需求,比如,適用于中小規模企業的EX300,將性能與存儲密度完美結合的EX500,還有適合大規模部署的EX3000等。特別值得一提的是,戴爾科技集團最新推出的EXF900,基于Dell EMC PowerEdge構建,配備NVMe固態硬盤,每個節點可支持12~24個硬盤,集群的規模從每個機架230TB到2.94PB,能夠為大規模的現代化工作負載提供極致的性能。
除了作為備份和歸檔之用以外,戴爾ECS對象存儲在驅動現代化的工作負載,包括人工智能、機器學習、物聯網和分析應用等方面,同樣展現出強大的能力。
對于每一個企業用戶來說,非結構化數據的處理將是一項長期而艱巨的任務。選擇一個適合的對象存儲解決方案,以及一個技術和服務能力強大的合作伙伴是必須的。戴爾科技集團對非結構化數據基礎架構具有長期的遠景、戰略和投資,能夠為用戶提供文件、對象和流數據分析的完整且靈活的解決方案。相信戴爾ECS對象存儲“百變星君”的形象會隨著大量應用場景的鋪開而更加清晰和令人印象深刻。
歡迎掃碼關注
總結
以上是生活随笔為你收集整理的对象存储界的“百变星君”来了,非结构化数据存储还是事儿吗?的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: 实时视频流:工作原理
- 下一篇: 虚拟软盘启动OS方法