0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

打造大規(guī)模共享閃存基礎(chǔ)架構(gòu)

存儲D1net ? 來源:lp ? 2019-04-16 17:18 ? 次閱讀

從概念上講,RSI為不同的架構(gòu)整合服務(wù)器部件(CPUGPU、存儲系統(tǒng)、內(nèi)存和網(wǎng)絡(luò)),使每個部件都能夠在標(biāo)準(zhǔn)機架設(shè)備中進行調(diào)整和升級,通過高容量/低延遲PCIe鏈路進行連接。在這上面安裝虛擬服務(wù)器軟件,可以利用一個個機架級部件構(gòu)建虛擬服務(wù)器,并且你擁有了一種意義重大的配置,使企業(yè)基礎(chǔ)架構(gòu)能夠與云服務(wù)相競爭。

不過,在網(wǎng)絡(luò)上使用非易失性內(nèi)存和存儲系統(tǒng)通常意味著不可接受的延遲。斯坦福大學(xué)團隊的ReFlex(軟件存儲服務(wù)器 )這時就有了用武之地。

ReFlex

使遠程閃存訪問可以接受面臨幾個難題,最大的難題是實現(xiàn)低延遲。

管理共享閃存池中的多租戶需要隔離機制,那樣應(yīng)用程序不會干擾對方。共享閃存方面最好具有高度靈活性,預(yù)計還會遇到其他部署問題,比如規(guī)模和網(wǎng)絡(luò)協(xié)議。

斯坦福大學(xué)的團隊在測試中發(fā)現(xiàn),ReFlex獲得的遠程閃存性能相當(dāng)于使用TCP/IP基于10Gb以太網(wǎng)的本地閃存訪問。他們解釋道:“ReFlex使用一種緊密集成網(wǎng)絡(luò)和存儲的新型數(shù)據(jù)平面內(nèi)核,在計算要求有限的情況下實現(xiàn)了高性能。這種數(shù)據(jù)平面設(shè)計避免了中斷和數(shù)據(jù)拷貝的開銷,針對局部性進行了優(yōu)化,并兼顧了高吞吐量(IOPS)和低尾延遲?!?/p>

多租戶

閃存設(shè)備上多租戶的一大問題是,讀取性能和寫入性能之間存在巨大的差異。寫入可能需要幾毫秒,而讀取是亞毫秒級事務(wù)。這意味著執(zhí)行大量寫入操作的應(yīng)用(比如元數(shù)據(jù)更新或流視頻)耗用NVMe設(shè)備的大量資源。

斯坦福大學(xué)的團隊實施了QoS調(diào)度程序,它可以全面了解所有租戶的整個工作負載。最大的IOPS取決于所有請求的讀取/寫入比。調(diào)度程序查看每個工作負載的服務(wù)級別目標(biāo)(SLO),優(yōu)先考慮注重延遲的應(yīng)用而不是盡力的應(yīng)用,并確保應(yīng)用的SLO得到實現(xiàn)。

由于諸如此類的優(yōu)化,ReFlex能夠做到每個核心提供高達850K的IOPS,同時僅比直接訪問本地閃存增加21μs的延遲。這非常好。

英特爾的遠見卓識者多年來一直在倡導(dǎo)RSI概念,但看起來正是在2018年,所有必要部分(尤其是PCIe v4)匯集起來,使這個概念在技術(shù)上和經(jīng)濟上都切實可行。隨著閃存價格暴跌,塞滿閃存的機架比以往任何時候都更經(jīng)濟實惠,哪怕是數(shù)百TB的閃存。

這對我們數(shù)據(jù)密集型的未來來說是好消息。是否有任何企業(yè)存儲供應(yīng)商使類似ReFlex的技術(shù)實現(xiàn)產(chǎn)品化值得拭目以待。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 閃存
    +關(guān)注

    關(guān)注

    16

    文章

    1765

    瀏覽量

    114727
  • 網(wǎng)絡(luò)協(xié)議

    關(guān)注

    3

    文章

    258

    瀏覽量

    21486
  • 存儲系統(tǒng)
    +關(guān)注

    關(guān)注

    2

    文章

    400

    瀏覽量

    40808

原文標(biāo)題:打造大規(guī)模共享閃存基礎(chǔ)架構(gòu)

文章出處:【微信號:D1Net11,微信公眾號:存儲D1net】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    Zettabyte與緯創(chuàng)攜手打造臺灣首個超大規(guī)模AI數(shù)據(jù)中心

    在推動亞太地區(qū)AI計算領(lǐng)域邁向新紀(jì)元的征程中,Zettabyte與緯創(chuàng)資通(Wistron Corporation)攜手宣布了一項重大合作——共同建設(shè)臺灣地區(qū)首個超大規(guī)模AI數(shù)據(jù)中心,這一里程碑式的項目不僅標(biāo)志著臺灣AI基礎(chǔ)設(shè)施的飛躍,也預(yù)示著亞太區(qū)AI計算格局的深刻變革。
    的頭像 發(fā)表于 09-05 16:26 ?270次閱讀

    谷歌云部門進行大規(guī)模裁員

    谷歌云部門近日進行了大規(guī)模裁員,多個Cloud團隊的員工收到了工作取消的通知。據(jù)一名知情員工透露,盡管受影響員工的總?cè)藬?shù)尚未明確,但亞太地區(qū)“Go To Market”團隊約有100名員工被裁。
    的頭像 發(fā)表于 06-05 09:48 ?590次閱讀

    專用集成電路都是大規(guī)模的嗎為什么呢

    的集成度和性能優(yōu)勢。然而,并非所有專用集成電路都是大規(guī)模的,因為集成度的大小取決于設(shè)計和制造的要求。 在探討專用集成電路是否大規(guī)模之前,我們首先需要了解什么是大規(guī)模集成電路(Very Large Scale Integratio
    的頭像 發(fā)表于 04-21 09:15 ?447次閱讀

    專用集成電路都是大規(guī)模的嗎

    Integrated Circuit,簡稱GPIC)相比,專用集成電路更加定制化和特定化,因此常被視為大規(guī)模的集成電路。但是,并不是所有的專用集成電路都是大規(guī)模的,這取決于具體的設(shè)計需求和應(yīng)用場景。 在
    的頭像 發(fā)表于 04-19 14:39 ?401次閱讀

    專用集成電路都是大規(guī)模的嗎為什么

    Integrated Circuit, GPIC)相比,ASIC針對特定的應(yīng)用程序進行了優(yōu)化和定制,以實現(xiàn)更高的性能、更低的功耗和更小的面積。 專用集成電路之所以通常是大規(guī)模的,是因為它們需要集成
    的頭像 發(fā)表于 04-14 10:48 ?513次閱讀

    專用集成電路都是大規(guī)模的嗎對嗎

    。與通用型集成電路(General Purpose Integrated Circuit,簡稱GPIC)相比,專用集成電路在特定的應(yīng)用領(lǐng)域中更為專注和高效。在關(guān)于專用集成電路是否都是大規(guī)模的這個問題上,答案
    的頭像 發(fā)表于 04-14 10:45 ?402次閱讀

    大規(guī)模數(shù)據(jù)中心網(wǎng)絡(luò)演進的七大主流趨勢

    自動駕駛已經(jīng)變成可能,大規(guī)模應(yīng)用只是一個時間問題。大規(guī)模網(wǎng)絡(luò)運維的自動化也必然是業(yè)界的趨勢,要達到自動駕駛或自動化運維都需要兩個共同的條件:一是有足夠有效的數(shù)據(jù),二是要有對數(shù)據(jù)的智能分析和處理能力。
    發(fā)表于 03-11 11:21 ?386次閱讀

    大規(guī)模儲能-堿性水系鈉離子電池開發(fā)

    當(dāng)前,對大規(guī)模儲能的需求不斷增長,推動了具有安全性、環(huán)保性和低成本的電池系統(tǒng)的開發(fā)。
    的頭像 發(fā)表于 01-24 09:29 ?954次閱讀
    <b class='flag-5'>大規(guī)模</b>儲能-堿性水系鈉離子電池開發(fā)

    谷歌將進行大規(guī)模重組和裁員

    谷歌近日宣布對其硬件團隊進行大規(guī)模重組,包括Pixel、Nest和Fitbit在內(nèi)的多個硬件部門將受到影響。同時,Google Assistant部門也將裁員數(shù)百人,而增強現(xiàn)實(AR)團隊的大多數(shù)員工也將面臨被解雇的命運。
    的頭像 發(fā)表于 01-12 15:06 ?679次閱讀

    GGII預(yù)計2024快充大規(guī)模應(yīng)用元年將至

    GGII預(yù)計2024年中國新上市2C以上快充車型將超過15款,快充大規(guī)模應(yīng)用元年正在到來。
    的頭像 發(fā)表于 01-05 10:05 ?712次閱讀
    GGII預(yù)計2024快充<b class='flag-5'>大規(guī)模</b>應(yīng)用元年將至

    對話國產(chǎn)EDA和IP廠商,如何攻克大規(guī)模數(shù)字電路設(shè)計挑戰(zhàn)?

    隨著先進制程不斷推進,以及AI、大數(shù)據(jù)、云計算等一系列新技術(shù)的快速發(fā)展,數(shù)字電路的處理能力越來越強,電路規(guī)模越來越大,對大規(guī)模數(shù)字芯片的需求也越來越多。因此,如何加速大規(guī)模數(shù)字電路設(shè)計就成為了業(yè)內(nèi)
    的頭像 發(fā)表于 12-28 08:23 ?1101次閱讀
    對話國產(chǎn)EDA和IP廠商,如何攻克<b class='flag-5'>大規(guī)模</b>數(shù)字電路設(shè)計挑戰(zhàn)?

    大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化:超參最佳實踐與規(guī)模

    從理論分析入手把握大規(guī)模神經(jīng)網(wǎng)絡(luò)優(yōu)化的規(guī)律,可以指導(dǎo)實踐中的超參數(shù)選擇。反過來,實踐中的超參數(shù)選擇也可以指導(dǎo)理論分析。本篇文章聚焦于大語言模型,介紹從 GPT 以來大家普遍使用的訓(xùn)練超參數(shù)的變化
    的頭像 發(fā)表于 12-10 21:45 ?915次閱讀

    WiFi 6下的大規(guī)模部署策略

    隨著數(shù)字化時代的快速發(fā)展,我們正處于一個多設(shè)備、高密度連接的時代。在這個背景下,WiFi 6(802.11ax)作為一項新的無線通信標(biāo)準(zhǔn),被廣泛認(rèn)為是滿足未來大規(guī)模連接需求的關(guān)鍵技術(shù)。本文將深入研究WiFi 6在大規(guī)模部署中的關(guān)鍵策略,以確保網(wǎng)絡(luò)的高效性、可靠性和安全性。
    的頭像 發(fā)表于 11-02 16:33 ?481次閱讀

    長電科技聯(lián)合產(chǎn)業(yè)資本打造大規(guī)模生產(chǎn)車規(guī)芯片成品的先進封裝旗艦工廠

    、上海集成電路產(chǎn)業(yè)投資基金(二期)的入股增資至48億元,聯(lián)合包括上海臨港當(dāng)?shù)禺a(chǎn)業(yè)資本在內(nèi)的產(chǎn)業(yè)基金,在上海臨港新片區(qū)全力加速打造大規(guī)模專業(yè)生產(chǎn)車規(guī)芯片成品的先進封裝基地,配套國內(nèi)外大客戶和行業(yè)主要合作伙伴,面向新能源汽車的高度電動化、智能化,全面
    的頭像 發(fā)表于 11-01 16:43 ?522次閱讀

    AMD大規(guī)模裁員15%? 賠償N+7?官方回應(yīng)來了

    近日,美國芯片大廠AMD遭傳出在中國進行大規(guī)模裁員15%的消息,引發(fā)網(wǎng)友關(guān)注。 對此,AMD官方26日回應(yīng)稱,「網(wǎng)絡(luò)傳聞失實」,該公司并沒有進行大規(guī)模裁員。 相反地,AMD是進行的「小幅度」的組織
    的頭像 發(fā)表于 10-26 18:32 ?647次閱讀