電子發(fā)燒友App

硬聲App

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示
創(chuàng)作
電子發(fā)燒友網>電子資料下載>人工智能>數據中心高性能對象存儲會碰到什么挑戰(zhàn)

數據中心高性能對象存儲會碰到什么挑戰(zhàn)

2020-05-09 | doc | 0.02 MB | 次下載 | 2積分

資料介紹

  對象存儲非常適合長期備份和歸檔,如何將高性能對象存儲擴展到大規(guī)模、高容量的工作負載,人們對此需要進行了解。

  對象存儲最有趣的方面之一是其用途的多樣性。盡管對象存儲通常用作歸檔存儲區(qū)、原有數據的目的地,以及文件服務器的替代品,但實際上有許多方法可以應用對象存儲。隨著供應商開始提供性能優(yōu)化的對象存儲,該技術已經為用于一組全新的工作負載準備就緒。

  高性能對象存儲不僅僅需要從基于硬盤的對象存儲系統(tǒng)切換到全閃存對象存儲。向全閃存介質的遷移無疑會有所幫助,但是對象存儲系統(tǒng)(很大程度上要歸功于其豐富的元數據)通常具有太多延遲,無法有效利用閃存性能。

  創(chuàng)建高性能對象存儲系統(tǒng)的另一個挑戰(zhàn)是基礎設施的橫向擴展特性。為了滿足容量需求,對象存儲將大量節(jié)點添加到存儲集群中。每個節(jié)點的容量都被吸收到集群中,從而創(chuàng)建一個存儲池。在大型橫向擴展集群中,具有數十個節(jié)點都是比較常見的。聚合和管理這些節(jié)點的等待時間可能很長。

AL t4518534542394368

  人工智能深度學習的對象存儲挑戰(zhàn)

  非結構化的大型數據工作負載(例如人工智能和機器學習以及深度學習)是對象存儲架構如何成為高性能工作負載的一個很好的例子。理論上,這些工作負載對于對象存儲而言應該是理想的。它們擁有數百萬甚至數十億個文件,而存儲所有這些數據需要大量的SSD硬盤或HDD硬盤,因此需要許多節(jié)點。這些過程也是受吞吐量驅動的。

  所有這些因素的結合使ai服務器和深度學習針對對象存儲的高節(jié)點數存儲集群量身定制。大多數與人工智能通信的框架(例如TensorFlow)用于驅動人工智能服務器和機器學習工作負載,它們都使用Amazon S3協(xié)議。大多數對象存儲系統(tǒng)也是基于S3存儲桶,并且S3存儲桶本身是高度并行的。從理論上講,對象存儲基礎設施應該能夠滿足人工智能和機器或深度學習工作負載的需求。

  但是,此方法不僅僅需要創(chuàng)建一個全閃存對象存儲系統(tǒng)。該系統(tǒng)必須能夠解決這樣一個問題,即可能會有數十個(即使不是數百個)節(jié)點,而元數據以及集群管理也帶來了挑戰(zhàn)。

  應對元數據挑戰(zhàn)

  元數據是關于數據的數據,它對高性能對象存儲帶來了挑戰(zhàn),其原因有兩個:第一個挑戰(zhàn)是,對象存儲系統(tǒng)需要更多時間來管理其豐富的元數據。由于大多數對象存儲供應商會在集群中指定一定數量的節(jié)點來管理和存儲元數據,因此管理更加復雜。在人工智能和深度移動學習等工作負載中,專用的元數據控制器通常不堪重負,并成為系統(tǒng)瓶頸。因此,服務器閃存驅動器甚至硬盤無法充分發(fā)揮其潛力。

  第二個挑戰(zhàn)是集群通信。大多數橫向擴展NAS或塊存儲系統(tǒng)的節(jié)點數都比較少。在網絡附屬存儲(NAS)和塊用例中,擁有六個節(jié)點的存儲集群被認為是大型的浪潮服務器存儲系統(tǒng),但在許多對象存儲部署中,六個節(jié)點只是一個入門級別。而節(jié)點間的通信成為一個大問題,尤其是在不涉及性能的歸檔的用例中。

  要創(chuàng)建高性能的大規(guī)模對象存儲解決方案,需要解決元數據性能和集群管理問題。下一代對象存儲將元數據分布在集群中的每個節(jié)點上,而不僅僅是幾個控制器。元數據的分布可確保每個節(jié)點都具有響應I/O請求所需的所有信息

下載該資料的人也在下載 下載該資料的人還在閱讀
更多 >

評論

查看更多

下載排行

本周

  1. 1電子電路原理第七版PDF電子教材免費下載
  2. 0.00 MB  |  1491次下載  |  免費
  3. 2單片機典型實例介紹
  4. 18.19 MB  |  95次下載  |  1 積分
  5. 3S7-200PLC編程實例詳細資料
  6. 1.17 MB  |  27次下載  |  1 積分
  7. 4筆記本電腦主板的元件識別和講解說明
  8. 4.28 MB  |  18次下載  |  4 積分
  9. 5開關電源原理及各功能電路詳解
  10. 0.38 MB  |  11次下載  |  免費
  11. 6100W短波放大電路圖
  12. 0.05 MB  |  4次下載  |  3 積分
  13. 7基于單片機和 SG3525的程控開關電源設計
  14. 0.23 MB  |  4次下載  |  免費
  15. 8基于AT89C2051/4051單片機編程器的實驗
  16. 0.11 MB  |  4次下載  |  免費

本月

  1. 1OrCAD10.5下載OrCAD10.5中文版軟件
  2. 0.00 MB  |  234313次下載  |  免費
  3. 2PADS 9.0 2009最新版 -下載
  4. 0.00 MB  |  66304次下載  |  免費
  5. 3protel99下載protel99軟件下載(中文版)
  6. 0.00 MB  |  51209次下載  |  免費
  7. 4LabView 8.0 專業(yè)版下載 (3CD完整版)
  8. 0.00 MB  |  51043次下載  |  免費
  9. 5555集成電路應用800例(新編版)
  10. 0.00 MB  |  33562次下載  |  免費
  11. 6接口電路圖大全
  12. 未知  |  30320次下載  |  免費
  13. 7Multisim 10下載Multisim 10 中文版
  14. 0.00 MB  |  28588次下載  |  免費
  15. 8開關電源設計實例指南
  16. 未知  |  21539次下載  |  免費

總榜

  1. 1matlab軟件下載入口
  2. 未知  |  935053次下載  |  免費
  3. 2protel99se軟件下載(可英文版轉中文版)
  4. 78.1 MB  |  537793次下載  |  免費
  5. 3MATLAB 7.1 下載 (含軟件介紹)
  6. 未知  |  420026次下載  |  免費
  7. 4OrCAD10.5下載OrCAD10.5中文版軟件
  8. 0.00 MB  |  234313次下載  |  免費
  9. 5Altium DXP2002下載入口
  10. 未知  |  233046次下載  |  免費
  11. 6電路仿真軟件multisim 10.0免費下載
  12. 340992  |  191183次下載  |  免費
  13. 7十天學會AVR單片機與C語言視頻教程 下載
  14. 158M  |  183277次下載  |  免費
  15. 8proe5.0野火版下載(中文版免費下載)
  16. 未知  |  138039次下載  |  免費