大數(shù)據(jù)的應用為企業(yè)的存儲帶來了挑戰(zhàn)。以下是企業(yè)應該考慮的最重要的事情。

　　定義大數(shù)據(jù)實際上比人們想象的更具挑戰(zhàn)性。GLib的定義談到了大量的非結(jié)構(gòu)化數(shù)據(jù)，但事實上，它是合并了結(jié)構(gòu)化和結(jié)構(gòu)化的許多數(shù)據(jù)源，以創(chuàng)建一個可以分析有用信息的存儲數(shù)據(jù)池。

　　人們可能會問“大數(shù)據(jù)到底有多大?”，存儲營銷人員的答案通常是“大，非常大”或者是達到“PB”級。但是，還有很多方法來衡量存儲的內(nèi)容。很多大數(shù)據(jù)在被分析的幾分鐘之內(nèi)就會變成垃圾數(shù)據(jù)，而有些則需要存儲和保留。這使得數(shù)據(jù)的生命周期管理至關(guān)重要。隨著數(shù)據(jù)的全球化，將于2018年5月生效的“歐盟通用數(shù)據(jù)保護條例”規(guī)定了個人數(shù)據(jù)生命周期管理要求，即使對于歐洲之外公司來說，其違規(guī)處罰也是十分嚴厲的，涉及的企業(yè)將會遭到其高達4%的全球年收入的處罰。

　　對于IT行業(yè)人士來說，其存儲已經(jīng)習慣了TB這個術(shù)語，但存儲PB級的數(shù)據(jù)成本令人望而生畏，這就像人們當初面臨RAID存儲陣列的那咱情況。如今的驅(qū)動器和存儲設備已經(jīng)改變了所有關(guān)于容量成本的規(guī)則，特別是在開源軟件可以發(fā)揮作用的地方。

　　事實上，今年8月舉辦的閃存峰會上推出了在1U機架可以部署容量為1PB的設備，隨著3DNAND和英特爾公司推出的“Ruler”硬盤驅(qū)動器等新技術(shù)和新產(chǎn)品的出現(xiàn)，在幾個月內(nèi)可以達到1PB的目標。大數(shù)據(jù)存儲容量將會改變存儲的空間、功耗、成本的游戲規(guī)則。

　　集中的容量需要集中的網(wǎng)絡帶寬。第一步是將這些PB級存儲設備與以太網(wǎng)上的NVMe結(jié)合起來，以100Gbps的速度運行，但行業(yè)廠商已經(jīng)處于200Gbps部署的初期階段。這是網(wǎng)絡連接能力的一個重大飛躍，但即使如此，也不足以跟上大規(guī)模并行設計的驅(qū)動器的發(fā)展步伐。

　　數(shù)據(jù)壓縮有助于解決許多大數(shù)據(jù)存儲的使用案例，從刪除重復圖像到重復的Word文件塊。使用GPU進行壓縮的新方法可以處理巨大的數(shù)據(jù)速率，為PB級1U機柜提供一種快速處理的方式。

　　大數(shù)據(jù)存儲最具價值的部分實際上是軟件。非結(jié)構(gòu)化數(shù)據(jù)通常存儲在密鑰/數(shù)據(jù)格式中，在傳統(tǒng)的blockIO之上，這是一個試圖掩蓋多個不匹配的低效方法。較新的設計范圍從對象的擴展元數(shù)據(jù)標記到以驅(qū)動器或存儲設備上的開放式密鑰/數(shù)據(jù)格式存儲數(shù)據(jù)。這些都是一些處在萌芽狀態(tài)的方法，但其價值主張似乎很明確。

　　最后，公共云為大數(shù)據(jù)提供了一個可擴展到龐大規(guī)模的具有彈性的平臺。這顯然有助于滿足企業(yè)需求，AWS，Azure和Google都添加了強大的大數(shù)據(jù)服務列表來匹配。借助巨大的實例和GPU支持，云計算虛擬機可以有效地模擬內(nèi)部服務器場，并為混合云或基于公共云的解決方案提供引人注目的案例。

　　可以說，企業(yè)在制定大數(shù)據(jù)存儲計劃時需要考慮很多事情。以下更詳細地了解一下其中的一些因素。

　　(1)確定大數(shù)據(jù)存儲需求

　　一旦創(chuàng)建了大數(shù)據(jù)存儲的要求，就要考慮減少大數(shù)據(jù)的方式。大部分數(shù)據(jù)在一兩天后都是垃圾數(shù)據(jù)，這取決于積極的報廢協(xié)議。有些數(shù)據(jù)是具有價值的，所以這些數(shù)據(jù)應該存儲和加密、備份，以及存檔。

　　隨著需求日益增長，公共云非常適合存儲短期數(shù)據(jù)，特別是在突發(fā)情況下。存儲桶能夠以更低成本進行創(chuàng)建和刪除，而且擴大規(guī)模并不是問題。

　　最后，大數(shù)據(jù)有時并沒有那么大。對于使用10TB結(jié)構(gòu)化數(shù)據(jù)的用戶來說，100TB似乎很大，但是它很容易適合于最小的Ceph集群。而如今存儲100TB的數(shù)據(jù)，這對于一些解決方案來說非常簡單。

　　(2)對象存儲的作用

　　大數(shù)據(jù)常常與對象存儲混淆，因為對象存儲可以輕松地處理奇怪的對象，并提供允許對數(shù)據(jù)進行巨大控制的元數(shù)據(jù)結(jié)構(gòu)。而且對象存儲的成本比傳統(tǒng)的RAID存儲陣列要低得多。事實上，最常見的對象存儲使用開源軟件和COTS(商用現(xiàn)成品或技術(shù))硬件。也可以使用沒有捆綁許可的軟件。

　　對象存儲設備配有6到12個驅(qū)動器，服務器主板和快速網(wǎng)絡，而且越來越多的網(wǎng)絡將采用基于RDMA的100GbE或200GbE網(wǎng)卡。即便如此，硬盤驅(qū)動器的速度變得如此之快，以至于這些網(wǎng)絡速率仍然難以跟上?，F(xiàn)在人們處在對象存儲的NVMe以太網(wǎng)連接的邊緣，這將帶來延遲和吞吐量的飛躍。

　　還有開源的全球文件系統(tǒng)，這些系統(tǒng)已經(jīng)在金融系統(tǒng)和高性能計算中使用了很多年。這些處理需要一定的規(guī)模，但沒有擴展的元數(shù)據(jù)和其他靈活的擴展。

　　(3)生命周期管理

　　從大數(shù)據(jù)存儲池獲取數(shù)據(jù)是一個比設置池本身更大的挑戰(zhàn)。在企業(yè)的存儲軟件中構(gòu)建報廢標簽是管理它的一種方法：策略在數(shù)據(jù)對象創(chuàng)建時設置自毀標簽值。然而，制定策略需要時間，而且在處理選項增加到包括將數(shù)據(jù)移動到云中成本非常低廉的歸檔層時，情況會變得更加復雜。大數(shù)據(jù)的數(shù)據(jù)流模型，特別是物聯(lián)網(wǎng)產(chǎn)生的大數(shù)據(jù)，往往在存儲營銷信息圖中被描述成“許多支流匯合在一起的一條大河”。然而，從存儲的角度來看，所有這些組合起來并不是真正的傳感器數(shù)據(jù)(IoT生成的典型內(nèi)容)可能會被分解為時間戳，以便后期處理，而結(jié)構(gòu)化數(shù)據(jù)庫條目可以直接存儲在主數(shù)據(jù)庫中，它有自己的分層冷數(shù)據(jù)工具。

　　更復雜的是，人們知道一些大數(shù)據(jù)比其他數(shù)據(jù)更為活躍。這種活躍的數(shù)據(jù)可能需要存儲到更快速的存儲設備中，例如SSD固態(tài)硬盤。

　　(4)數(shù)據(jù)隱私法規(guī)

　　通用數(shù)據(jù)保護規(guī)范(GDPR)將要實施。企業(yè)在處理歐盟個人數(shù)據(jù)的過程中如果違反法規(guī)，則可能會面臨其全球收入的4%的嚴厲處罰，這個法規(guī)適用于全球范圍的企業(yè)。

　　通用數(shù)據(jù)保護規(guī)范(GDPR)最終處理的是關(guān)鍵和個人數(shù)據(jù)的常識。每個人都應該正確地加密數(shù)據(jù)。其規(guī)則涵蓋數(shù)據(jù)治理，生命周期管理，訪問和使用以及加密。

　　在了解存儲供應商是否符合GDRP標準之后，人們可能會松一口氣，認為可能與自己無關(guān)。但這些規(guī)則涉及到數(shù)據(jù)所有者以及任何數(shù)據(jù)存儲的重大范式轉(zhuǎn)變，如果企業(yè)還沒有經(jīng)歷這個調(diào)整過程，那么很可能就不符合法規(guī)。

　　人們一個常見的誤解是，供應商提供的加密措施可以解決企業(yè)的合規(guī)性要求。其實無論是由存儲廠商還是云服務提供商所提供的基于驅(qū)動器的加密都不適用于任何數(shù)據(jù)標準，如HIPAA，SOX或GDPR。企業(yè)作為數(shù)據(jù)所有者必須擁有密鑰。幸運的是，云端有加密支持，但更好的選擇是將其構(gòu)建到服務器或虛擬機中的工作流中。

　　(5)SSD固態(tài)硬盤

　　SSD固態(tài)硬盤正在改變存儲系統(tǒng)中的所有規(guī)則。作為處于DRAM和硬盤存儲器之間的具有高速緩存的大容量存儲設備，SSD硬盤在隨機IO中的存儲性能提高了約1000倍，帶寬從10倍增加到100倍。對于大量數(shù)據(jù)來說，這是非常重要的，特別是在使用Hadoop或GPU加速等并行處理時。

　　容量為100TB的固態(tài)硬盤將會推出市場，并具有優(yōu)異的性能，一些小型存儲設備可以創(chuàng)造奇跡。規(guī)模最小的Ceph對象存儲陣列為四個節(jié)點，即使使用標準的1U服務器格式，當前也可以容納1.2PB的SSD硬盤容量。這樣做成本高昂，但在計算性能時比較經(jīng)濟。一些供應商已經(jīng)宣布了1UPB級設備的計劃，其中包括使用32個英特爾公司推出的Ruler硬盤，這是一款狹長的的SSD硬盤。

　　固態(tài)存儲領(lǐng)域得到快速發(fā)展，這也是企業(yè)不應該在短期內(nèi)在存儲方面投入太多費用的原因。因為硬盤價格點和所有其他指標在未來兩年內(nèi)都會發(fā)生變化。企業(yè)需要確保將來購買的任何設備和驅(qū)動器都適合集群，以便其他有用的設備不會被廢棄。

　　(6)數(shù)據(jù)壓縮

　　如今，存儲1PB數(shù)據(jù)的設備可以存儲5PB數(shù)據(jù)，而這是使用壓縮軟件的好處。固態(tài)硬盤支持大帶寬，以至于使用其中的一些將壓縮數(shù)據(jù)寫入設備是有意義的。不過，最好是在數(shù)據(jù)創(chuàng)建時進行壓縮。這減少了整個數(shù)據(jù)流量的網(wǎng)絡流量，節(jié)省了存儲空間，并減少了傳輸時間。但源數(shù)據(jù)壓縮需要硬件支持，而這些硬盤開始出現(xiàn)在市場上。

　　"Rehydrating"(重新水化)數(shù)據(jù)是一個使用少量資源的簡單過程，因此通過提高壓縮率來增加存儲容量可以節(jié)省成本。全閃存陣列通常包括壓縮，而這種技術(shù)也作為用于家電的軟件提供。

　　(7)選擇云存儲服務

　　在討論硬件之后，采用云存儲提供商提供的服務可能是一個具有吸引力的選擇。事實上，云服務提供商三大巨頭亞馬遜、谷歌和微軟公司在實施新架構(gòu)和軟件編排方面都處于行業(yè)領(lǐng)先地位。云計算的應用很經(jīng)濟，并且可以隨時需要的規(guī)模支付費用。云服務可以處理存儲負載峰值，這在一些數(shù)據(jù)類中很常見，例如零售傳感器數(shù)據(jù)。這減少或至少延遲了倉儲設備的內(nèi)部購買。

　　然而，獲得與內(nèi)部運營相媲美的性能水平是一個挑戰(zhàn)。并不是具有相同CPU和內(nèi)存組合的實例都是相同的。一個高度調(diào)優(yōu)的內(nèi)部集群可能會做得更好。

　　如今，存儲技術(shù)的發(fā)展并不會停止，人們將看到增值數(shù)據(jù)存儲服務迅速發(fā)展，如加密和壓縮、索引、標簽服務以及其他功能。大型云提供商(尤其是AWS)甚至將數(shù)據(jù)庫結(jié)構(gòu)(如Hadoop文件系統(tǒng))構(gòu)建到工具包中。這使他們能夠部署類似希捷和華為設備的關(guān)鍵/數(shù)據(jù)存儲驅(qū)動器等設備中，以加速構(gòu)建特定的數(shù)據(jù)結(jié)構(gòu)。