0
  • 聊天消息
  • 系統(tǒng)消息
  • 評(píng)論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線(xiàn)課程
  • 觀看技術(shù)視頻
  • 寫(xiě)文章/發(fā)帖/加入社區(qū)
會(huì)員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識(shí)你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

對(duì)象存儲(chǔ)適合AI和機(jī)器學(xué)習(xí)工作負(fù)載的三個(gè)原因

如意 ? 來(lái)源:51cto ? 作者:51cto ? 2020-07-06 09:27 ? 次閱讀

各種各樣的企業(yè)在加快AI機(jī)器學(xué)習(xí)項(xiàng)目,但要真正發(fā)揮潛力,需要克服重大的技術(shù)障礙。雖然計(jì)算基礎(chǔ)架構(gòu)常常是關(guān)注的重點(diǎn),但存儲(chǔ)同樣重要。這三個(gè)主要的原因表明了為什么對(duì)象存儲(chǔ)(而不是文件存儲(chǔ)或塊存儲(chǔ))特別適合AI和機(jī)器學(xué)習(xí)工作負(fù)載:

1. 可擴(kuò)展性——有龐大且多樣的數(shù)據(jù)源可供學(xué)習(xí)時(shí),AI和機(jī)器學(xué)習(xí)最有效。數(shù)據(jù)科學(xué)家利用這些豐富的數(shù)據(jù)來(lái)訓(xùn)練領(lǐng)域模型。在“大數(shù)據(jù)的五個(gè)V”(容量、種類(lèi)、速度、準(zhǔn)確性和價(jià)值)中,前兩個(gè)(容量和種類(lèi))最重要。簡(jiǎn)而言之,AI和機(jī)器學(xué)習(xí)依賴(lài)大量多樣化的數(shù)據(jù)(圖像、文本、結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)),構(gòu)建有用的模型、提供準(zhǔn)確的結(jié)果并最終提供業(yè)務(wù)價(jià)值。

對(duì)象存儲(chǔ)是最具擴(kuò)展性的存儲(chǔ)架構(gòu),特別適合支持AI和機(jī)器學(xué)習(xí)所需的大量數(shù)據(jù)。對(duì)象存儲(chǔ)旨在通過(guò)橫向擴(kuò)展方法支持無(wú)限增長(zhǎng),使企業(yè)組織能夠通過(guò)隨時(shí)隨地添加節(jié)點(diǎn)來(lái)擴(kuò)大部署范圍。由于對(duì)象存儲(chǔ)使用單個(gè)全局命名空間,也可以同時(shí)跨多個(gè)地方進(jìn)行這種擴(kuò)展。另一方面,文件和塊系統(tǒng)通常采用縱向擴(kuò)展方法。這意味著這種平臺(tái)通過(guò)為單個(gè)節(jié)點(diǎn)添加更多計(jì)算資源實(shí)現(xiàn)縱向擴(kuò)展,這種方法最終受到限制。它們無(wú)法通過(guò)部署額外節(jié)點(diǎn)來(lái)增加計(jì)算資源以高效地橫向擴(kuò)展。

2. API——健壯靈活的數(shù)據(jù)API對(duì)于AI和機(jī)器學(xué)習(xí)很重要,如前所述,AI和機(jī)器學(xué)習(xí)使用多種類(lèi)型的數(shù)據(jù)。存儲(chǔ)平臺(tái)需要支持API以容納各種數(shù)據(jù)。此外,AI和機(jī)器學(xué)習(xí)方面的創(chuàng)新日益在公共云上完成,但是仍有相當(dāng)一部分的AI和機(jī)器學(xué)習(xí)在本地或私有云中進(jìn)行,這取決于使用場(chǎng)合的具體情況(比如說(shuō),科學(xué)研究和醫(yī)療保健等領(lǐng)域的容量密集型工作負(fù)載往往最適合私有云)。這意味著企業(yè)需要在公共云和本地/私有云中都支持工作負(fù)載的存儲(chǔ)API。

文件和塊存儲(chǔ)平臺(tái)在它們支持的API方面受到限制,部分原因是它們是較舊的架構(gòu)。相比之下,對(duì)象存儲(chǔ)使用云端更高級(jí)的API,這種API旨在以應(yīng)用程序?yàn)?a target="_blank">中心,并支持比文件和塊存儲(chǔ)更廣泛的API,包括版本控制、生命周期管理、加密、對(duì)象鎖定和元數(shù)據(jù)。此外,支持AI和機(jī)器學(xué)習(xí)使用場(chǎng)景的新對(duì)象存儲(chǔ)API(比如支持流數(shù)據(jù)和海量數(shù)據(jù)集的查詢(xún))也有可能。

由于對(duì)象存儲(chǔ)API圍繞Amazon S3實(shí)現(xiàn)了標(biāo)準(zhǔn)化,更容易整合本地和公共云中的軟件。企業(yè)可以輕松地將部署的AI和機(jī)器學(xué)習(xí)從本地/私有云環(huán)境擴(kuò)展到公共云,或者將云原生的AI和機(jī)器學(xué)習(xí)工作負(fù)載遷移到本地環(huán)境,功能不會(huì)減損。這種雙模式方法使企業(yè)能夠以合作、可互換的方式利用本地/私有云和公共云上的資源。

由于S3 API已成為對(duì)象存儲(chǔ)事實(shí)上的標(biāo)準(zhǔn),許多軟件工具和庫(kù)都可以充分利用該API。這允許共享代碼、軟件和工具,促進(jìn)AI/機(jī)器學(xué)習(xí)社區(qū)更快速的開(kāi)發(fā)。例子包括流行的機(jī)器學(xué)習(xí)平臺(tái),比如擁有內(nèi)置S3 API的TensorFlow和Apache Spark。

3.元數(shù)據(jù)——與API一樣,使用AI和機(jī)器學(xué)習(xí)的企業(yè)利用無(wú)限制、可自定義的元數(shù)據(jù)顯得至關(guān)重要。元數(shù)據(jù)就是關(guān)于數(shù)據(jù)的數(shù)據(jù)——從最基本的層面上講,某個(gè)數(shù)據(jù)何時(shí)在何地創(chuàng)建、創(chuàng)建者是誰(shuí)。但是元數(shù)據(jù)可以描述更多信息:用戶(hù)可以創(chuàng)建任意的元數(shù)據(jù)標(biāo)簽來(lái)描述他們需要的任何屬性。

數(shù)據(jù)科學(xué)家需要豐富的元數(shù)據(jù)來(lái)查找特定數(shù)據(jù)以構(gòu)建和使用AI和機(jī)器學(xué)習(xí)模型。隨著更多信息添加到數(shù)據(jù)中,元數(shù)據(jù)注釋便于逐步積累知識(shí)。

文件和塊存儲(chǔ)僅支持有限的元數(shù)據(jù),比如上述基本屬性。這在很大程度上歸結(jié)為可擴(kuò)展性,因?yàn)槲募蛪K系統(tǒng)無(wú)力支持快速無(wú)縫的增長(zhǎng),如果存儲(chǔ)系統(tǒng)為依賴(lài)龐大數(shù)據(jù)集的AI和機(jī)器學(xué)習(xí)應(yīng)用程序支持豐富的元數(shù)據(jù),自然會(huì)出現(xiàn)這種情況。然而,對(duì)象存儲(chǔ)支持無(wú)限制的、完全可自定義的元數(shù)據(jù),從而更容易找到用于AI和機(jī)器學(xué)習(xí)算法的數(shù)據(jù),并從中獲得更準(zhǔn)確的信息。

以一家醫(yī)院針對(duì)X射線(xiàn)圖像使用圖像識(shí)別應(yīng)用程序?yàn)槔河辛嗽獢?shù)據(jù),可以使用TensorFlow模型來(lái)分析添加到對(duì)象存儲(chǔ)系統(tǒng)的每個(gè)圖像,然后為每個(gè)圖像分配細(xì)化的元數(shù)據(jù)標(biāo)簽(比如,傷病類(lèi)型、基于骨骼大小或生長(zhǎng)情況來(lái)判斷患者的年齡或性別)。然后可以針對(duì)該元數(shù)據(jù)訓(xùn)練TensorFlow模型,并加以分析,對(duì)患者獲得新的寶貴信息(比如說(shuō),二三十歲的女性比五年前更容易患骨骼疾?。?/p>

幾乎每家《財(cái)富》 500強(qiáng)公司都在大張旗鼓地搞AI和機(jī)器學(xué)習(xí),可以想象這些技術(shù)在可預(yù)見(jiàn)的將來(lái)將是最重要的企業(yè)IT項(xiàng)目。然而,AI/機(jī)器學(xué)習(xí)項(xiàng)目要獲得回報(bào),企業(yè)就要使用合適的存儲(chǔ)基礎(chǔ)架構(gòu)。由于可擴(kuò)展性、支持各種API(尤其是S3)和豐富的元數(shù)據(jù),對(duì)象存儲(chǔ)可謂是AI和機(jī)器學(xué)習(xí)的最佳支柱。

聲明:本文內(nèi)容及配圖由入駐作者撰寫(xiě)或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場(chǎng)。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問(wèn)題,請(qǐng)聯(lián)系本站處理。 舉報(bào)投訴
  • 存儲(chǔ)
    +關(guān)注

    關(guān)注

    13

    文章

    4170

    瀏覽量

    85482
收藏 人收藏

    評(píng)論

    相關(guān)推薦

    使用帶有三個(gè)DC-DC模塊的UCC39002的48VIN、12VOUT負(fù)載共享系統(tǒng)

    電子發(fā)燒友網(wǎng)站提供《使用帶有三個(gè)DC-DC模塊的UCC39002的48VIN、12VOUT負(fù)載共享系統(tǒng).pdf》資料免費(fèi)下載
    發(fā)表于 10-22 10:23 ?0次下載
    使用帶有<b class='flag-5'>三個(gè)</b>DC-DC模塊的UCC39002的48VIN、12VOUT<b class='flag-5'>負(fù)載</b>共享系統(tǒng)

    RISC-V如何支持不同的AI機(jī)器學(xué)習(xí)框架和庫(kù)?

    RISC-V如何支持不同的AI機(jī)器學(xué)習(xí)框架和庫(kù)?還請(qǐng)壇友們多多指教一下。
    發(fā)表于 10-10 22:24

    AI引擎機(jī)器學(xué)習(xí)陣列指南

    云端動(dòng)態(tài)工作負(fù)載以及超高帶寬網(wǎng)絡(luò),同時(shí)還可提供高級(jí)安全性功能。AI 和數(shù)據(jù)科學(xué)家以及軟硬件開(kāi)發(fā)者均可充分利用高計(jì)算密度的優(yōu)勢(shì)來(lái)加速提升任何應(yīng)用的性能。AI 引擎
    的頭像 發(fā)表于 09-18 09:16 ?236次閱讀
    <b class='flag-5'>AI</b>引擎<b class='flag-5'>機(jī)器</b><b class='flag-5'>學(xué)習(xí)</b>陣列指南

    機(jī)器人語(yǔ)言系統(tǒng)包括三個(gè)基本狀態(tài)

    機(jī)器人語(yǔ)言系統(tǒng)(有時(shí)也被稱(chēng)為機(jī)器人語(yǔ)言操作系統(tǒng))確實(shí)包括三個(gè)基本狀態(tài),這些狀態(tài)是機(jī)器人程序運(yùn)行和管理的核心組成部分。它們分別是: 監(jiān)控狀態(tài) :在此狀態(tài)下,系統(tǒng)負(fù)責(zé)對(duì)
    的頭像 發(fā)表于 09-04 09:24 ?231次閱讀

    LM258A兩個(gè)上電后燒穿,三個(gè)不正常工作是什么原因導(dǎo)致的?

    您好 客戶(hù)在使用LM258AD/SOIC-8,小批100臺(tái),遇到兩個(gè)上電后燒穿,三個(gè)不正常工作。原理圖如下, VDD± 12V,輸出DC 2.5V,麻煩問(wèn)下,可能是什么原因,有沒(méi)有好
    發(fā)表于 08-02 11:54

    簡(jiǎn)述極管的三個(gè)工作區(qū)域

    極管的三個(gè)區(qū)域,通常指的是其在不同工作條件下的狀態(tài)區(qū)域,即截止區(qū)、放大區(qū)和飽和區(qū)。這三個(gè)區(qū)域定義了極管在不同電壓和電流條件下的行為特性,
    的頭像 發(fā)表于 07-29 10:50 ?1709次閱讀

    可調(diào)變阻器三個(gè)引腳怎么區(qū)分

    的區(qū)分對(duì)于正確使用可調(diào)變阻器至關(guān)重要。本文將介紹可調(diào)變阻器的三個(gè)引腳的區(qū)分方法。 一、可調(diào)變阻器的工作原理 在了解可調(diào)變阻器的三個(gè)引腳之前,我們首先需要了解其工作原理??烧{(diào)變阻器主要由
    的頭像 發(fā)表于 07-24 11:12 ?619次閱讀

    機(jī)器人視覺(jué)可以分為哪三個(gè)部分?

    機(jī)器人視覺(jué)是機(jī)器人技術(shù)中的一個(gè)重要分支,它涉及到圖像處理、計(jì)算機(jī)視覺(jué)、機(jī)器學(xué)習(xí)等多個(gè)領(lǐng)域。機(jī)器
    的頭像 發(fā)表于 07-04 11:17 ?462次閱讀

    微波測(cè)量的三個(gè)基本參量是什么

    微波測(cè)量是電子工程領(lǐng)域中的一個(gè)重要分支,它涉及到對(duì)微波信號(hào)的頻率、幅度、相位等參數(shù)的測(cè)量。在微波測(cè)量中,有三個(gè)基本參量:頻率、幅度和相位。這三個(gè)參量是微波信號(hào)的基本特征,對(duì)于微波系統(tǒng)的設(shè)計(jì)、調(diào)試
    的頭像 發(fā)表于 05-28 14:46 ?853次閱讀

    個(gè)籬笆三個(gè)樁——記晶體極管的發(fā)明

    個(gè)籬笆三個(gè)樁——記晶體極管的發(fā)明
    的頭像 發(fā)表于 05-12 08:14 ?541次閱讀
    一<b class='flag-5'>個(gè)</b>籬笆<b class='flag-5'>三個(gè)</b>樁——記晶體<b class='flag-5'>三</b>極管的發(fā)明

    三個(gè)高速放大器中的一個(gè)出現(xiàn)震蕩是什么原因?

    三個(gè)高速放大器中的一個(gè)出現(xiàn)震蕩,請(qǐng)問(wèn)這是什么原因
    發(fā)表于 11-27 07:54

    AI Transformer模型支持機(jī)器視覺(jué)對(duì)象檢測(cè)方案

    使用機(jī)器視覺(jué)進(jìn)行對(duì)象檢測(cè)需要 AI 模型/算法在 AI 芯片、FPGA 或模塊上運(yùn)行。它們通常被稱(chēng)為“人工智能引擎”。在首次訓(xùn)練后,可以部署 AI
    發(fā)表于 11-23 10:31 ?431次閱讀
    <b class='flag-5'>AI</b> Transformer模型支持<b class='flag-5'>機(jī)器</b>視覺(jué)<b class='flag-5'>對(duì)象</b>檢測(cè)方案

    mos管三個(gè)引腳怎么區(qū)分

    工作原理中起到不同的作用,下面將詳細(xì)介紹這三個(gè)引腳的區(qū)分。 首先,我們來(lái)了解MOS管的基本結(jié)構(gòu)和工作原理。MOS管是基于金屬-氧化物-半導(dǎo)體(Metal-Oxide-Semiconductor,簡(jiǎn)稱(chēng)MOS)結(jié)構(gòu)制造的一種晶體管
    的頭像 發(fā)表于 11-22 16:51 ?6703次閱讀

    電工三個(gè)要點(diǎn)準(zhǔn)確判斷和處理故障關(guān)鍵

    在電力工作中,電工們需要具備多種技能和素質(zhì),其中最為重要的三個(gè)要素是“聽(tīng)”、“看”、“摸”。這三個(gè)要素是電工們?cè)?b class='flag-5'>工作中迅速準(zhǔn)確地判斷和處理故障的關(guān)鍵。
    的頭像 發(fā)表于 11-09 11:39 ?577次閱讀

    POSIX適合對(duì)象存儲(chǔ)嗎?

    最近,留意到 MinIO 官方博客的一篇題為“在對(duì)象存儲(chǔ)上實(shí)現(xiàn) POSIX 訪(fǎng)問(wèn)接口是壞主意[1]”的文章,作者以 S3FS-FUSE 為例分享了通過(guò) POSIX 方式訪(fǎng)問(wèn) MinIO 中的數(shù)據(jù)時(shí)碰到了性能方面的困難,性能遠(yuǎn)不如直接訪(fǎng)問(wèn) MinIO。
    的頭像 發(fā)表于 10-29 10:19 ?582次閱讀
    POSIX<b class='flag-5'>適合</b><b class='flag-5'>對(duì)象</b><b class='flag-5'>存儲(chǔ)</b>嗎?