現(xiàn)代異步存儲(chǔ)訪問(wèn)API探索：libaio、io_uring和SPDK

【摘要】

最近的高性能存儲(chǔ)設(shè)備暴露了現(xiàn)有軟件棧的低效，因而催生了對(duì)I/O棧的改進(jìn)。Linux內(nèi)核的最新API是io_uring。作者提供了第一個(gè)針對(duì)io_uring的深度研究，并且和libaio、SPDK比較，探討它的下性能和優(yōu)缺點(diǎn)。根據(jù)作者的發(fā)現(xiàn)，（1）輪詢能極大影響性能（2）只要CPU核足夠多，io_uring可以提供和SPKD接近的性能（3）在多核CPU和多設(shè)備場(chǎng)景下擴(kuò)展需要仔細(xì)的考慮并且需要一個(gè)混合方案。最后，作者為存儲(chǔ)密集的應(yīng)用開發(fā)者提供了設(shè)計(jì)指導(dǎo)。

【三種API簡(jiǎn)介】

1、libaio

傳統(tǒng)的同步I/O接口包括read()、write()、pread()、pwrite()等，線程開始I/O操作后立刻進(jìn)入阻塞狀態(tài)，直到I/O請(qǐng)求完成。而使用異步I/O接口，如aio，線程把I/O請(qǐng)求發(fā)送給內(nèi)核后可以繼續(xù)做其他工作，直到內(nèi)核把I/O請(qǐng)求完成的信號(hào)發(fā)送給線程。通常，異步I/O接口效率更高，其中的核心系統(tǒng)調(diào)用是io_submit（用于提交I/O請(qǐng)求）和io_getevents（用于獲得完成的I/O請(qǐng)求）。然而，在每個(gè)I/O操作中，libaio要依賴兩個(gè)系統(tǒng)調(diào)用，而且使用中斷的方式通知I/O請(qǐng)求的完成，這導(dǎo)致libaio的單個(gè)I/O性能并不好，如下圖。

2、SPDK

SPDK是Linux的高性能API。它在用戶空間映射了PCIe寄存器以配置CQ和SQ，用戶通過(guò)輪詢CQ來(lái)捕獲I/O請(qǐng)求的完成，而不需要中斷和系統(tǒng)調(diào)用。SPDK的缺點(diǎn)是它很復(fù)雜，而且相對(duì)于libaio適用范圍很窄。SPDK不支持文件系統(tǒng)，也無(wú)法利用內(nèi)核存儲(chǔ)服務(wù)，如訪問(wèn)控制、調(diào)度、QoS和配額管理。

3、io_uring

io_uring中和了上述兩類API的優(yōu)缺點(diǎn)。它在用戶空間實(shí)現(xiàn)了兩個(gè)環(huán)形數(shù)據(jù)結(jié)構(gòu)，同時(shí)內(nèi)核可以訪問(wèn)它們，類似于NVMe的CQ和SQ，submission ring存儲(chǔ)了用戶提交的I/O請(qǐng)求，completion存儲(chǔ)了I/O請(qǐng)求的完成結(jié)果。用戶可以不通過(guò)系統(tǒng)調(diào)用插入和檢索兩個(gè)環(huán)。

io_uring提供的I/O機(jī)制有三種，如下圖：

默認(rèn)模式下，用戶可以通過(guò)io_uring_enter系統(tǒng)調(diào)用通知內(nèi)核新請(qǐng)求已經(jīng)提交到SQ中。用戶使用同一個(gè)io_uring_enter系統(tǒng)調(diào)用等待I/O請(qǐng)求完成。io_uring_enter支持中斷模式（a）和輪詢模式（b）。當(dāng)然，因?yàn)橛脩粢部梢栽L問(wèn)CQ，所以用戶可以自己輪詢CQ等待I/O請(qǐng)求完成，而不使用任何系統(tǒng)調(diào)用。并且，io_uring也可以使用一個(gè)內(nèi)核線程輪詢SQ，這樣在整個(gè)I/O操作中不會(huì)使用任何系統(tǒng)調(diào)用（c）。

【性能測(cè)試分析】

實(shí)驗(yàn)使用fio生成4KB隨機(jī)讀負(fù)載，不使用page cache。純讀負(fù)載能達(dá)到更高的IOPS，而高IOPS有助于分析不同API的可擴(kuò)展性趨勢(shì)和每個(gè)I/O操作的開銷。除了io_uring外，其他API均使用默認(rèn)配置。io_uring的配置如下：

（1）iou：上圖（a）的配置（默認(rèn)的fio參數(shù)）

（2）iou+p：上圖（b）的配置（fio參數(shù)是hipri）

（3）iou+k：不使用系統(tǒng)調(diào)用，即使用內(nèi)核線程輪詢I/O的提交，同時(shí)應(yīng)用輪詢I/O的完成（fio的參數(shù)是sqthread_poll）

環(huán)境配置如下表：

P.S. 雖然io_uring里提供了io_uring_enter作為提交I/O請(qǐng)求和捕獲完成的I/O請(qǐng)求的統(tǒng)一接口，但FIO里面還是分開使用了（即調(diào)用了兩次io_uring_enter）。

1、理解輪詢

作者使用單個(gè)fio job、單個(gè)NVMe驅(qū)動(dòng)和單個(gè)CPU，在不同隊(duì)列深度下，測(cè)試三種API（libaio、io_uring和SPDK）的KIOPS，如下圖：

每個(gè)IOPS下對(duì)應(yīng)的延遲中位數(shù)如下圖：

平均每個(gè)I/O操作進(jìn)行的系統(tǒng)調(diào)用個(gè)數(shù)如下圖：

① 可知，iou+k的KIOPS僅僅13，比其他API少一個(gè)數(shù)量級(jí)。因?yàn)榇藭r(shí)fio線程和內(nèi)核輪詢線程共享一個(gè)CPU，減少了FIO每秒處理的I/O請(qǐng)求的數(shù)量。同時(shí)，iou+k的延遲是8ms，比其他API慢1~2個(gè)數(shù)量級(jí)。iou+k的延遲不隨KIOPS的變化而變化，因?yàn)榇藭r(shí)的延遲取決于CPU資源的競(jìng)爭(zhēng)，而非排隊(duì)等待。

當(dāng)CPU數(shù)量增加到2時(shí)，iou+k的性能完全恢復(fù)了，如下圖：

每個(gè)KIOPS對(duì)應(yīng)的延遲中位數(shù)為：

此時(shí)，iou+k的性能僅次于SPDK：最大帶寬比SPDK小18%，延遲和SPDK相當(dāng)。

②SPDK在所有場(chǎng)景下性能最好，也是唯一達(dá)到驅(qū)動(dòng)帶寬上限的API。SPDK和iou+k的區(qū)別在于，iou+k使用兩個(gè)線程訪問(wèn)同一個(gè)變量，會(huì)產(chǎn)生原子訪問(wèn)和緩存失效的開銷，而SPDK使用一個(gè)線程，能更加充分的利用資源。

③ 當(dāng)IOPS較小時(shí)，iou+p的性能和SPDK接近，因?yàn)殛?duì)列深度較小時(shí)，系統(tǒng)調(diào)用的開銷還不足以成為性能瓶頸，此時(shí)系統(tǒng)態(tài)輪詢和用戶態(tài)輪詢的性能接近。類似的還有iou和libaio，當(dāng)隊(duì)列深度小于16時(shí)，二者KIOPS和延遲都很接近，當(dāng)隊(duì)列深度大于16后，iou的KIOPS和延遲比libaio要好——因?yàn)閕ou使用的系統(tǒng)調(diào)用比libaio少，所以可以更加充分的利用CPU資源。

當(dāng)隊(duì)列深度小于16時(shí)，iou的系統(tǒng)調(diào)用比iou+p少，但延遲比iou+p高。原因是，隊(duì)列較淺時(shí)，fio的隊(duì)列很快會(huì)被填滿，而當(dāng)隊(duì)列滿時(shí)，fio會(huì)等待至少一個(gè)請(qǐng)求完成再進(jìn)行下一步動(dòng)作。此時(shí)，雖然中斷比較慢，但iou可能會(huì)一次處理較多完成的請(qǐng)求，而輪詢則是檢測(cè)到一個(gè)請(qǐng)求完成就退出，從而錯(cuò)失了批量處理多個(gè)完成的請(qǐng)求的機(jī)會(huì)。當(dāng)隊(duì)列深度增加時(shí)，兩個(gè)API最后都趨向于每個(gè)I/O請(qǐng)求只使用1個(gè)系統(tǒng)調(diào)用。

iou和libaio的最大區(qū)別是，iou多了一個(gè)提交隊(duì)列（SQ），這就是它具有批處理能力的原因。

2、不同的CPU-設(shè)備比

作者進(jìn)一步分析了對(duì)于iou+k，每個(gè)驅(qū)動(dòng)需要多少個(gè)CPU以獲得最佳性能。此時(shí)，作者使用了J=5個(gè)FIO job測(cè)試，每個(gè)job運(yùn)行在不同的驅(qū)動(dòng)上，隊(duì)列深度為128，C代表CPU的數(shù)目，本次實(shí)驗(yàn)中，分別測(cè)試了C=J，C=J+1，C=J+2和C=J*2的情況。

注意，在iou+k中，內(nèi)核會(huì)為每個(gè)job產(chǎn)生一個(gè)內(nèi)核線程以輪詢SQ獲得提交的請(qǐng)求。

實(shí)驗(yàn)結(jié)果如下圖：

可見，除了iou+k，其他API的帶寬表現(xiàn)和CPU-設(shè)備比無(wú)關(guān)。而iou+k需要兩倍于驅(qū)動(dòng)數(shù)的CPU才能達(dá)到最好的性能——即每個(gè)線程需要一個(gè)單獨(dú)的CPU來(lái)輪詢。糟糕的是，當(dāng)CPU數(shù)不是最佳時(shí)，iou+k的KIOPS是最低的。這一實(shí)驗(yàn)結(jié)果揭示了iou+k要實(shí)現(xiàn)高性能的隱藏開銷，而其他測(cè)試忽略了這一點(diǎn)。

3、可擴(kuò)展性

作者控制job從1到20，以測(cè)試不同API的可擴(kuò)展性。每個(gè)job訪問(wèn)不同的驅(qū)動(dòng)，設(shè)置CPU數(shù)C=2*J（由于硬件限制，C最大可以取到20），隊(duì)列深度為128。下圖是測(cè)試結(jié)果：

SPDK的性能總是最好的，而性能第二好的API取決于job的數(shù)量和CPU核的數(shù)量。當(dāng)J不大于10時(shí)，iou+k可以給每個(gè)內(nèi)核線程分配一個(gè)CPU，性能最好。此后隨著J的增大，內(nèi)核線程和應(yīng)用線程開始搶奪CPU資源，KIOPS開始下滑。在J=12時(shí)，iou+k和iou、iou+p的KIOPS交匯，在J=14時(shí)，iou+k成為性能最差的API。其他的API隨著job的增長(zhǎng)，KIOPS也基本上穩(wěn)定增長(zhǎng)。

iou和iou+p的性能很接近，libaio的帶寬也僅僅比iou、iou+p少10%。

【總結(jié)與討論】

1、不同的輪詢方式各有特點(diǎn)

lSPDK的優(yōu)勢(shì)不僅僅體現(xiàn)在用戶態(tài)輪詢、無(wú)系統(tǒng)調(diào)用開銷，還體現(xiàn)在使用單個(gè)線程進(jìn)行輪詢。

liou+k的優(yōu)勢(shì)在CPU不夠時(shí)不明顯。

liou+p使用系統(tǒng)級(jí)輪詢，在隊(duì)列深度較小時(shí)可以和SPDK相當(dāng)。

2、io_uring在特定配置下的性能接近SPDK

3、性能的可擴(kuò)展性需要仔細(xì)考慮

雖然SPDK的性能最好，但需要放棄Linux文件的支持。如果需要使用文件系統(tǒng)，且CPU足夠多，iou+k是不錯(cuò)的選擇（可以達(dá)到90% SPDK的性能），而若CPU資源不足，可以使用iou+p，當(dāng)隊(duì)列深度不深時(shí)和SPDK的性能接近。

未來(lái)可以在更在實(shí)際的I/O密集型應(yīng)用上測(cè)試，如數(shù)據(jù)庫(kù)。它們都需要文件系統(tǒng)的支持，可能會(huì)帶來(lái)額外的同步開銷，可能會(huì)覆蓋I/O路徑上的bottleneck。此外還可以研究更高效的iou+k設(shè)計(jì)，如不同的應(yīng)用線程共享一個(gè)內(nèi)核輪詢線程，或者二者更好的使用CPU資源等。最后，io_uring支持socket I/O，所以它的性能也可以測(cè)試以評(píng)估網(wǎng)絡(luò)應(yīng)用的表現(xiàn)。

審核編輯：湯梓紅