數(shù)據(jù)中心場景下的內存交換技術TMO應用研究

本篇論文是Facebook（Meta）公司發(fā)表在ASPLOS 2022上的文章。隨著數(shù)據(jù)中心級應用對內存需求的不斷增長，導致DRAM的成本成為數(shù)據(jù)中心的主要開銷。為了解決這個問題，現(xiàn)有的思路是將冷數(shù)據(jù)卸載到其他替代介質中，如NVMe SSDs和其他非易失性設備。其中關鍵的挑戰(zhàn)是要設計出具有足夠魯棒性的方法來適應不同特性的工作負載和不同的后端存儲設備。這篇文章提出的TMO引入了一種新型的Linux內核機制來實時檢測由于CPU、內存和IO的資源短缺導致的工作丟失。

通過這一信息，TMO可以根據(jù)設備性能特性和應用對內存訪問降速的敏感型來自動決定卸載多少內存數(shù)據(jù)到異構設備中。同時為了最大化內存節(jié)省，TMO同時考慮了匿名頁和文件頁，并根據(jù)匿名頁的換入率和文件頁的重載率來進行均衡。目前TMO已經(jīng)在數(shù)據(jù)中心中運行超過一年，并節(jié)省了20%-32%的內存。TMO已經(jīng)成功編入Linux內核中了。

背景

隨著如今數(shù)據(jù)中心對內存需求的增長，數(shù)據(jù)中心中內存的開銷越來越大。圖1展示了在Facebook數(shù)據(jù)中心中內存、壓縮內存和SSD存儲的開銷?？梢园l(fā)現(xiàn)內存的開銷占比越來越高，而其因此如何降低內存開銷成為了重要的難題。而與此同時數(shù)據(jù)中心中每個服務器都配備了一個性能好的SSD，而SSD的開銷占比僅為1%，因此如何利用SSD進行內存擴充成為關鍵。

圖1：數(shù)據(jù)中心中內存、壓縮內存和SSD的開銷占比

動機和挑戰(zhàn)

圖2展示了內存中在過去1分鐘、2分鐘、5分鐘被訪問的數(shù)據(jù)量占比，同時也展示了五分鐘內未被訪問的數(shù)據(jù)占比。可以發(fā)現(xiàn)其中冷內存數(shù)據(jù)（5分鐘內未被訪問）占比平均約35%，這些冷內存數(shù)據(jù)即為內存所需要卸載的數(shù)據(jù)。同時還發(fā)現(xiàn)冷內存數(shù)據(jù)在不同應用中的占比不同，從19%到62%。這就需要設計一個魯棒性強的技術來進行內存卸載。

圖2：應用在1分鐘、2分鐘、5分鐘內訪問和5分鐘內未訪問內存數(shù)據(jù)占比

為了簡化數(shù)據(jù)中心應用的操作，有很大一部分內存需要用來激活微服務和提供基礎功能。文章中將數(shù)據(jù)中心內存稅定義為軟件包、分析、日志和和其他支持數(shù)據(jù)中心軟件功能所需要占用的內存，同時將微服務內存稅定義為應用程序由于需要分解為微服務所需要占用的內存，如支持導航和代理。圖3展示了數(shù)據(jù)中心稅和微服務稅在內存中的占比?？梢园l(fā)現(xiàn)占比非常高，而這些內存稅相較于應用直接訪問的內存數(shù)據(jù)而言影響用戶體驗較小。因此這些內存稅是內存主要需要卸載的對象。

圖3：內存稅及其中各部分的占比

圖4展示了文件頁和匿名頁所占內存的比例?？梢园l(fā)現(xiàn)其中文件頁和匿名頁所占比例在不同應用中差異較大，這也使得在設計交換策略的時候需要綜合考慮文件頁和匿名頁的需求，從而最大化節(jié)省內存。

圖4：文件頁和匿名頁占用內存的比例

圖5展示了市面上不同SSD在壽命、讀寫延遲和讀寫IOPS之間的差異性?？梢园l(fā)現(xiàn)不同SSD之間的差異很大，這就使得在設計交換策略的時候要考慮這個差異性，要使得其在不同SSD作為后端存儲設備時都能表現(xiàn)優(yōu)異。

圖5：以對數(shù)為刻度展示SSD的特性。A-G指代不同的SSD

設計

TMO的目的是為了將冷數(shù)據(jù)卸載到后端存儲上，并適用于不同應用和后端存儲。為了實現(xiàn)這一目的TMO回答了在內存卸載時需要卸載多少數(shù)據(jù)以及卸載哪些數(shù)據(jù)。圖6展示了TMO的整體架構圖。其中TMO提出了用戶層組件senpai（2）來控制內存卸載進程和決定每個工作負載需要卸載多少內存數(shù)據(jù)，內核組件壓力阻塞信息PSI（3）以壓力信息的方式表示應用性能下降的原因，并修改了內核回收內存的邏輯來決定卸載哪些內存數(shù)據(jù)。

圖6：TMO的整體架構圖

1. PSI：PSI提出根據(jù)進程阻塞的時間來判斷該資源對性能下降的敏感程度。如圖7所示，其中some為每個進程自己阻塞的時間，full為所有進程同時阻塞的時間。PSI可以應用于不同的系統(tǒng)資源中，如為了追蹤內存壓力，PSI記錄內存缺失所出現(xiàn)的時間開銷；IO壓力為每個進程因IO阻塞時等待block IO完成的時間；CPU壓力為進程運行時等待CPU空閑的時間。

圖7：內核資源壓力衡量指標

2. Senpai：Senpai根據(jù)PSI來實時衡量工作負載所需要的內存開銷，從而釋放超過這些所需開銷的內存。即當衡量內存壓力的PSI低于閾值的時候，將內存中的數(shù)據(jù)卸載到后端存儲中，如圖8所示。同時根據(jù)公式來決定當前內存中有多少數(shù)據(jù)需要卸載。其中的參數(shù)經(jīng)實驗驗證并不敏感，文中設置reclaim_ratio為0.0005，PSI_threshold為0.1%。

圖8：Senpai執(zhí)行示例

3. 重載檢測機制：TMO提出重載率（refault ratio），當文件頁在觸發(fā)兩次page fault進行換入時的時間間隔低于一個閾值，則判定出現(xiàn)了重載。根據(jù)重載率和匿名頁的換入率進行比較，判斷當前內存對文件頁還是匿名頁更加需要，從而判定卸載文件頁還是匿名頁。文件頁和匿名頁分別使用活躍/非活躍的LRU鏈表進行管理。

實驗效果

1. 內存節(jié)省效果明顯。文章從應用內存和內存稅兩個角度衡量內存節(jié)省結果，如圖9所示為應用所需內存角度。當壓縮內存作為后端存儲時，TMO節(jié)省了7-12%的內存；當SSD作為后端存儲時，TMO節(jié)省了10-19%的內存。同時如圖10所示，TMO節(jié)省了平均13%的內存稅。

圖9：應用內存節(jié)省比率

圖10：內存稅節(jié)省比率

文章中還衡量了針對內存受限應用-web應用的性能和內存節(jié)省，對PSI指標和現(xiàn)在已有指標的對比實驗，以及senpai參數(shù)調整的實驗。同時針對SSD壽命問題，文章中提出通過調節(jié)內存卸載時的寫入速率來避免SSD過度磨損，其中寫入速率設為1MB/s。具體實驗請大家參閱文章。

總結

為了解決當前數(shù)據(jù)中心內存資源開銷大的問題，本文提出TMO應用在以SSD和壓縮內存作為后端存儲來擴充內存的場景下。TMO通過進程阻塞的時間作為衡量指標來判斷當前進程對資源的需求程度，從而在內存資源不緊張的時候將內存冷數(shù)據(jù)卸載到后端存儲設備中，來緩解內存壓力。同時TMO通過對文件頁重載率和匿名頁換入率的比較來決定卸載什么類型的數(shù)據(jù)。實驗結果顯示TMO能夠節(jié)省較多的內存，同時具有較強的魯棒性，適應于不同的負載和后端存儲介質。 ? ? ?

致謝

感謝本次論文解讀者，來自華東師范大學的博士生羅龍飛，主要研究方向為混合式存儲設備優(yōu)化。

編輯：黃飛