影音先锋熟女少妇av资源,国产精品52页,2021精品国产自在现线看,亚洲高清中文字幕在线

物聯(lián)傳媒 旗下網(wǎng)站
登錄 注冊

大數(shù)據(jù)存儲的7個關(guān)鍵因素

作者:Harris編譯
來源:機房360
日期:2017-11-30 15:00:30
摘要:存儲技術(shù)的發(fā)展并不會停止,人們將看到增值數(shù)據(jù)存儲服務迅速發(fā)展,如加密和壓縮、索引、標簽服務以及其他功能。大型云提供商(尤其是AWS)甚至將數(shù)據(jù)庫結(jié)構(gòu)(如Hadoop文件系統(tǒng))構(gòu)建到工具包中。這使他們能夠部署類似希捷和華為設備的關(guān)鍵/數(shù)據(jù)存儲驅(qū)動器等設備中,以加速構(gòu)建特定的數(shù)據(jù)結(jié)構(gòu)。

  大數(shù)據(jù)的應用為企業(yè)的存儲帶來了挑戰(zhàn)。以下是企業(yè)應該考慮的最重要的事情。

  定義大數(shù)據(jù)實際上比人們想象的更具挑戰(zhàn)性。GLib的定義談到了大量的非結(jié)構(gòu)化數(shù)據(jù),但事實上,它是合并了結(jié)構(gòu)化和結(jié)構(gòu)化的許多數(shù)據(jù)源,以創(chuàng)建一個可以分析有用信息的存儲數(shù)據(jù)池。

  人們可能會問“大數(shù)據(jù)到底有多大?”,存儲營銷人員的答案通常是“大,非常大”或者是達到“PB”級。但是,還有很多方法來衡量存儲的內(nèi)容。很多大數(shù)據(jù)在被分析的幾分鐘之內(nèi)就會變成垃圾數(shù)據(jù),而有些則需要存儲和保留。這使得數(shù)據(jù)的生命周期管理至關(guān)重要。隨著數(shù)據(jù)的全球化,將于2018年5月生效的“歐盟通用數(shù)據(jù)保護條例”規(guī)定了個人數(shù)據(jù)生命周期管理要求,即使對于歐洲之外公司來說,其違規(guī)處罰也是十分嚴厲的,涉及的企業(yè)將會遭到其高達4%的全球年收入的處罰。

  對于IT行業(yè)人士來說,其存儲已經(jīng)習慣了TB這個術(shù)語,但存儲PB級的數(shù)據(jù)成本令人望而生畏,這就像人們當初面臨RAID存儲陣列的那咱情況。如今的驅(qū)動器和存儲設備已經(jīng)改變了所有關(guān)于容量成本的規(guī)則,特別是在開源軟件可以發(fā)揮作用的地方。

  事實上,今年8月舉辦的閃存峰會上推出了在1U機架可以部署容量為1PB的設備,隨著3DNAND和英特爾公司推出的“Ruler”硬盤驅(qū)動器等新技術(shù)和新產(chǎn)品的出現(xiàn),在幾個月內(nèi)可以達到1PB的目標。大數(shù)據(jù)存儲容量將會改變存儲的空間、功耗、成本的游戲規(guī)則。

  集中的容量需要集中的網(wǎng)絡帶寬。第一步是將這些PB級存儲設備與以太網(wǎng)上的NVMe結(jié)合起來,以100Gbps的速度運行,但行業(yè)廠商已經(jīng)處于200Gbps部署的初期階段。這是網(wǎng)絡連接能力的一個重大飛躍,但即使如此,也不足以跟上大規(guī)模并行設計的驅(qū)動器的發(fā)展步伐。

  數(shù)據(jù)壓縮有助于解決許多大數(shù)據(jù)存儲的使用案例,從刪除重復圖像到重復的Word文件塊。使用GPU進行壓縮的新方法可以處理巨大的數(shù)據(jù)速率,為PB級1U機柜提供一種快速處理的方式。

  大數(shù)據(jù)存儲最具價值的部分實際上是軟件。非結(jié)構(gòu)化數(shù)據(jù)通常存儲在密鑰/數(shù)據(jù)格式中,在傳統(tǒng)的blockIO之上,這是一個試圖掩蓋多個不匹配的低效方法。較新的設計范圍從對象的擴展元數(shù)據(jù)標記到以驅(qū)動器或存儲設備上的開放式密鑰/數(shù)據(jù)格式存儲數(shù)據(jù)。這些都是一些處在萌芽狀態(tài)的方法,但其價值主張似乎很明確。

  最后,公共云為大數(shù)據(jù)提供了一個可擴展到龐大規(guī)模的具有彈性的平臺。這顯然有助于滿足企業(yè)需求,AWS,Azure和Google都添加了強大的大數(shù)據(jù)服務列表來匹配。借助巨大的實例和GPU支持,云計算虛擬機可以有效地模擬內(nèi)部服務器場,并為混合云或基于公共云的解決方案提供引人注目的案例。

  可以說,企業(yè)在制定大數(shù)據(jù)存儲計劃時需要考慮很多事情。以下更詳細地了解一下其中的一些因素。

  (1)確定大數(shù)據(jù)存儲需求

  一旦創(chuàng)建了大數(shù)據(jù)存儲的要求,就要考慮減少大數(shù)據(jù)的方式。大部分數(shù)據(jù)在一兩天后都是垃圾數(shù)據(jù),這取決于積極的報廢協(xié)議。有些數(shù)據(jù)是具有價值的,所以這些數(shù)據(jù)應該存儲和加密、備份,以及存檔。

  隨著需求日益增長,公共云非常適合存儲短期數(shù)據(jù),特別是在突發(fā)情況下。存儲桶能夠以更低成本進行創(chuàng)建和刪除,而且擴大規(guī)模并不是問題。

  最后,大數(shù)據(jù)有時并沒有那么大。對于使用10TB結(jié)構(gòu)化數(shù)據(jù)的用戶來說,100TB似乎很大,但是它很容易適合于最小的Ceph集群。而如今存儲100TB的數(shù)據(jù),這對于一些解決方案來說非常簡單。

  (2)對象存儲的作用

  大數(shù)據(jù)常常與對象存儲混淆,因為對象存儲可以輕松地處理奇怪的對象,并提供允許對數(shù)據(jù)進行巨大控制的元數(shù)據(jù)結(jié)構(gòu)。而且對象存儲的成本比傳統(tǒng)的RAID存儲陣列要低得多。事實上,最常見的對象存儲使用開源軟件和COTS(商用現(xiàn)成品或技術(shù))硬件。也可以使用沒有捆綁許可的軟件。

  對象存儲設備配有6到12個驅(qū)動器,服務器主板和快速網(wǎng)絡,而且越來越多的網(wǎng)絡將采用基于RDMA的100GbE或200GbE網(wǎng)卡。即便如此,硬盤驅(qū)動器的速度變得如此之快,以至于這些網(wǎng)絡速率仍然難以跟上?,F(xiàn)在人們處在對象存儲的NVMe以太網(wǎng)連接的邊緣,這將帶來延遲和吞吐量的飛躍。

  還有開源的全球文件系統(tǒng),這些系統(tǒng)已經(jīng)在金融系統(tǒng)和高性能計算中使用了很多年。這些處理需要一定的規(guī)模,但沒有擴展的元數(shù)據(jù)和其他靈活的擴展。

  (3)生命周期管理

  從大數(shù)據(jù)存儲池獲取數(shù)據(jù)是一個比設置池本身更大的挑戰(zhàn)。在企業(yè)的存儲軟件中構(gòu)建報廢標簽是管理它的一種方法:策略在數(shù)據(jù)對象創(chuàng)建時設置自毀標簽值。然而,制定策略需要時間,而且在處理選項增加到包括將數(shù)據(jù)移動到云中成本非常低廉的歸檔層時,情況會變得更加復雜。大數(shù)據(jù)的數(shù)據(jù)流模型,特別是物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù),往往在存儲營銷信息圖中被描述成“許多支流匯合在一起的一條大河”。然而,從存儲的角度來看,所有這些組合起來并不是真正的傳感器數(shù)據(jù)(IoT生成的典型內(nèi)容)可能會被分解為時間戳,以便后期處理,而結(jié)構(gòu)化數(shù)據(jù)庫條目可以直接存儲在主數(shù)據(jù)庫中,它有自己的分層冷數(shù)據(jù)工具。

  更復雜的是,人們知道一些大數(shù)據(jù)比其他數(shù)據(jù)更為活躍。這種活躍的數(shù)據(jù)可能需要存儲到更快速的存儲設備中,例如SSD固態(tài)硬盤。

  (4)數(shù)據(jù)隱私法規(guī)

  通用數(shù)據(jù)保護規(guī)范(GDPR)將要實施。企業(yè)在處理歐盟個人數(shù)據(jù)的過程中如果違反法規(guī),則可能會面臨其全球收入的4%的嚴厲處罰,這個法規(guī)適用于全球范圍的企業(yè)。

  通用數(shù)據(jù)保護規(guī)范(GDPR)最終處理的是關(guān)鍵和個人數(shù)據(jù)的常識。每個人都應該正確地加密數(shù)據(jù)。其規(guī)則涵蓋數(shù)據(jù)治理,生命周期管理,訪問和使用以及加密。

  在了解存儲供應商是否符合GDRP標準之后,人們可能會松一口氣,認為可能與自己無關(guān)。但這些規(guī)則涉及到數(shù)據(jù)所有者以及任何數(shù)據(jù)存儲的重大范式轉(zhuǎn)變,如果企業(yè)還沒有經(jīng)歷這個調(diào)整過程,那么很可能就不符合法規(guī)。

  人們一個常見的誤解是,供應商提供的加密措施可以解決企業(yè)的合規(guī)性要求。其實無論是由存儲廠商還是云服務提供商所提供的基于驅(qū)動器的加密都不適用于任何數(shù)據(jù)標準,如HIPAA,SOX或GDPR。企業(yè)作為數(shù)據(jù)所有者必須擁有密鑰。幸運的是,云端有加密支持,但更好的選擇是將其構(gòu)建到服務器或虛擬機中的工作流中。

  (5)SSD固態(tài)硬盤

  SSD固態(tài)硬盤正在改變存儲系統(tǒng)中的所有規(guī)則。作為處于DRAM和硬盤存儲器之間的具有高速緩存的大容量存儲設備,SSD硬盤在隨機IO中的存儲性能提高了約1000倍,帶寬從10倍增加到100倍。對于大量數(shù)據(jù)來說,這是非常重要的,特別是在使用Hadoop或GPU加速等并行處理時。

  容量為100TB的固態(tài)硬盤將會推出市場,并具有優(yōu)異的性能,一些小型存儲設備可以創(chuàng)造奇跡。規(guī)模最小的Ceph對象存儲陣列為四個節(jié)點,即使使用標準的1U服務器格式,當前也可以容納1.2PB的SSD硬盤容量。這樣做成本高昂,但在計算性能時比較經(jīng)濟。一些供應商已經(jīng)宣布了1UPB級設備的計劃,其中包括使用32個英特爾公司推出的Ruler硬盤,這是一款狹長的的SSD硬盤。

  固態(tài)存儲領(lǐng)域得到快速發(fā)展,這也是企業(yè)不應該在短期內(nèi)在存儲方面投入太多費用的原因。因為硬盤價格點和所有其他指標在未來兩年內(nèi)都會發(fā)生變化。企業(yè)需要確保將來購買的任何設備和驅(qū)動器都適合集群,以便其他有用的設備不會被廢棄。

  (6)數(shù)據(jù)壓縮

  如今,存儲1PB數(shù)據(jù)的設備可以存儲5PB數(shù)據(jù),而這是使用壓縮軟件的好處。固態(tài)硬盤支持大帶寬,以至于使用其中的一些將壓縮數(shù)據(jù)寫入設備是有意義的。不過,最好是在數(shù)據(jù)創(chuàng)建時進行壓縮。這減少了整個數(shù)據(jù)流量的網(wǎng)絡流量,節(jié)省了存儲空間,并減少了傳輸時間。但源數(shù)據(jù)壓縮需要硬件支持,而這些硬盤開始出現(xiàn)在市場上。

  "Rehydrating"(重新水化)數(shù)據(jù)是一個使用少量資源的簡單過程,因此通過提高壓縮率來增加存儲容量可以節(jié)省成本。全閃存陣列通常包括壓縮,而這種技術(shù)也作為用于家電的軟件提供。

  (7)選擇云存儲服務

  在討論硬件之后,采用云存儲提供商提供的服務可能是一個具有吸引力的選擇。事實上,云服務提供商三大巨頭亞馬遜、谷歌和微軟公司在實施新架構(gòu)和軟件編排方面都處于行業(yè)領(lǐng)先地位。云計算的應用很經(jīng)濟,并且可以隨時需要的規(guī)模支付費用。云服務可以處理存儲負載峰值,這在一些數(shù)據(jù)類中很常見,例如零售傳感器數(shù)據(jù)。這減少或至少延遲了倉儲設備的內(nèi)部購買。

  然而,獲得與內(nèi)部運營相媲美的性能水平是一個挑戰(zhàn)。并不是具有相同CPU和內(nèi)存組合的實例都是相同的。一個高度調(diào)優(yōu)的內(nèi)部集群可能會做得更好。

  如今,存儲技術(shù)的發(fā)展并不會停止,人們將看到增值數(shù)據(jù)存儲服務迅速發(fā)展,如加密和壓縮、索引、標簽服務以及其他功能。大型云提供商(尤其是AWS)甚至將數(shù)據(jù)庫結(jié)構(gòu)(如Hadoop文件系統(tǒng))構(gòu)建到工具包中。這使他們能夠部署類似希捷和華為設備的關(guān)鍵/數(shù)據(jù)存儲驅(qū)動器等設備中,以加速構(gòu)建特定的數(shù)據(jù)結(jié)構(gòu)。

人物訪談