數位革命的興起
好一段時間以來,IT 產業一直熱衷於推廣將類比生活轉變為數位生活的理念,無論是為了個人還是商業企業。 無論我們喜歡與否,這場數位革命都影響著我們所有人,它承諾讓生活更輕鬆、更高效,並在日常生活中實現更高的效率。 作為消費者,我們肯定會享受到數位生活的優勢。 儘管這種方法聽起來很有前途,但 IT 產業在實現這一夢想的道路上正面臨著更大的挑戰。
資料洪流
根據 2014 年 IDC 報告,數位技術在 2013 年呈現指數級增長,同時也帶來了大量的數位機會。 目前,我們的數位宇宙中有 4.4 ZB(Zettabytes)或 440 億 TB(Terabytes)的資料,預計到 2020 年將增長十倍,達到 44 ZB。 為了更直觀地理解,假設我們在 2013 年擁有一個厚度為 0.29 英寸、容量為 128 GB 的平板電腦,將它們堆疊起來,其總長度大約是地球到月球距離的三分之二。 到 2020 年,這個堆疊的數量將肯定增長到 6.6 倍。

來源:新興技術部落格
換句話說,44 ZB 的數據量相當於連續聽音樂 880 億年,或連續觀看高畫質影片 14 億年。

物聯網的成長
透過理解上述資訊,人們會好奇我們是如何產生如此龐大的數位資料的。 這有一個簡單的解釋。 產生這些資料的主要貢獻者有兩個——消費者和企業。 目前有 200 億個所謂的「物聯網」設備,從筆記型電腦、智慧型手機、穿戴式裝置、電視到洗碗機、冰箱、智慧汽車、交通感測器、資訊娛樂系統、加油站幫浦、機器人機器、智慧建築等等。 假設到 2020 年地球人口達到 77 億,那麼這些設備將增長到 320 億個,約合每人 4 個設備。 我們使用的所有這些設備都能產生和消耗大量的資料。 最近的研究顯示,在 2014 年每分鐘,Netflix 上串流了 5 萬小時的影片,Google 收到了 400 萬次搜尋,並發布了 27.7 萬條推文。
隨著所有這些數位資料的爆炸性增長,這些資料來自各種數位來源,數位宇宙將會變得過於龐大而難以應付。 這將是 IT 產業整體面臨的一個重大且艱鉅的挑戰。 根據同一份 IDC 報告,2013 年創建的 4.4 ZB 資料中,只有 15% 的數位資料由消費者管理,而企業和 IT 則負責使用剩餘 85% 的資料。

來源:DellEMC
大數據儲存挑戰

為了了解 IT 產業和企業必須面對的挑戰,我們首先需要了解並分類「大數據」的需求。 Gartner 將大數據定義為三個「V」:容量(Volume)、速度(Velocity)和多樣性(Variety)。 隨後,在 2014 年,暢銷作家 Bernard Marr 將這三個「V」擴展為五個「V」,增加了真實性(Veracity)和價值(Value)。
容量
容量是指每秒產生的大量資料。 想想我們每秒製造和分享的所有電子郵件、推文、照片、影片片段、感測器資料等等。 我們談論的不是 TB,而是 ZB。 僅在 Facebook 上,我們每天發送 100 億條訊息,「讚」按鈕被點擊 45 億次,每天上傳 3.5 億張新圖片。 如果我們將從時間開始到 2008 年全世界產生所有資料的總和,那麼很快就會在每分鐘內產生相同數量的資料! 不斷增長的數據量使得資料集過於龐大,難以使用傳統的資料庫技術進行儲存和分析。 面對如此龐大的資料,我們確實需要一種技術,能夠透過高度可擴展的儲存系統來儲存和使用這些資料集,其中部分資料儲存在不同位置並透過軟體整合在一起。
速度
速度是指新數據生成的速率,以及數據傳輸的速度。 想想社交媒體訊息在幾秒鐘內病毒式傳播的速度,信用卡交易檢查欺詐活動的速度,或交易系統分析社交媒體網絡以獲取觸發買賣股票決策信號所需的時間,這可能只需要幾毫秒。 大數據技術現在要求我們在數據生成時檢索和分析數據,所有這些都盡可能以最低延遲,在幾毫秒甚至幾微秒內完成。
多樣性
多樣性指的是我們現在可以使用的不同類型的資料。 過去,我們僅專注於幾乎能放入表格或關聯式資料庫的結構化資料,例如財務資料(如按產品或地區劃分的銷售額)。 事實上,目前全球 80% 的資料都是非結構化的,因此無法輕易地放入表格中(想想照片、影片序列或社群媒體更新)。 大數據要求我們利用不同類型的資料(結構化和非結構化),包括訊息、社群媒體對話、照片、感測器資料、影片或錄音,並將它們與更傳統的結構化資料結合起來。
真實性
面對無數形式的大數據,其品質和準確性並不容易控制(最佳例子是帶有標籤、縮寫、錯字和口語的 Twitter 貼文,以及內容的可靠性和準確性)。 最重要的是,想想所有這些讀寫到儲存系統的位元和位元組,它們容易出現位元錯誤,更不用說硬體故障的可能性。 所有這些快速的資料速度也將需要品質和準確性。
價值
最後,在審視大數據時,還有最後一個 V 需要考慮——價值! 能夠存取大數據固然很好,但除非我們能將其轉化為價值,否則它毫無用處。 因此,你可以肯定地說「價值」是大數據中最重要的 V。 I重要的是,企業應為任何收集和利用大數據的嘗試制定商業案例。 在沒有清楚了解成本和收益的情況下,很容易陷入炒作陷阱並開始大數據計畫。
面對所有這些挑戰,IT 產業和企業應該重新思考並重新發明其未來的儲存技術,包括硬體和軟體,使其能夠協同且無縫地運作。
儲存硬體
從 20 世紀的電腦革命以來,我們確實取得了長足的進步。 在 1960 年代,一台電腦就足以供整個 IT 部門使用,僅能執行幾項基本運算。 想想看,這只是我們目前智慧型手機功能的一小部分。 多虧了摩爾定律,不斷進步的半導體在年復一年、十年復一年地不斷改進。
然而,當我們談到特定的儲存技術時,我們目前仍然在使用磁帶機,這種機械式旋轉磁碟機已經是半個多世紀前的技術了。
快閃記憶體救援
下方圖表顯示了當 DRAM 和 CPU 速度加快時,差距如何擴大,而磁帶和旋轉硬碟卻無法跟上摩爾定律。 幸運的是,我們有快閃技術來彌補這個差距。 比較目前 SATA SSD 的性能,它可以提供約 100,000 IOPS,而 15K RPM 企業級硬碟僅能提供 200 IOPS。 你可以看到容量增加了硬碟的 1,000 倍。 目前,硬碟在容量方面仍然是贏家(在撰寫本文時,4TB、6TB 甚至 8TB 的硬碟隨處可見),而 SSD 目前的最高容量約為 4TB。 然而,在儲存密度方面,SSD 快閃記憶體絕對是冠軍。 此外,在未來 12 到 24 個月內,所有主要的 SSD 廠商都將能夠提供高達 8TB 或 12TB 的 SSD。
那麼,這是否意味著磁帶和硬碟將會滅絕? 可能還沒有,至少在不久的將來或未來幾年內還不會。 硬碟和磁帶目前的成本仍然只是快閃 SSD 成本的一小部分。 但根據 Gartner 下方的圖表,SSD 可能很快就會迎頭趕上。 2017 年可能是企業級硬碟和入門級 SSD 的價格平價點。我們也應該記住,到 2017 年,低成本的資料中心硬碟可能仍將至少是 SSD 成本的 20%。 因此,旋轉式硬碟可能仍將在市場上佔有一席之地。
在 Premio,我們兼顧硬碟和快閃記憶體技術,因為它們分別具有成本效益和高性能。關鍵在於如何利用這兩種技術在各自的領域中,並創建混合儲存解決方案。 快閃記憶體驅動器非常適合存放熱數據,也非常適合作為第一級或「最常用」的快取數據,而旋轉式硬碟在成本效益上更適合用於冷儲存或長期儲存數據,這些數據對性能要求不高,且每 GB 成本更為關鍵。
這也是我們的產品系列提供FlacheStreams的原因之一,它專用於快閃磁碟陣列,而 ScaleStreams 則用於大型備份儲存。 更重要的是,我們的一些產品,如 DuraStreams 和 OmniStreams,在同一個機箱中同時配備了快閃和硬碟,以實現混合儲存解決方案。
若要進一步了解我們的伺服器產品及其能為您的企業帶來什麼,請立即聯繫我們!