在WebAssembly中使用Rust編寫eBPF程序并發(fā)布OCI鏡像

eBPF（extended Berkeley Packet Filter）是一種高性能的內(nèi)核虛擬機(jī)，可以運(yùn)行在內(nèi)核空間中，以收集系統(tǒng)和網(wǎng)絡(luò)信息。隨著計(jì)算機(jī)技術(shù)的不斷發(fā)展，eBPF 的功能日益強(qiáng)大，并且已經(jīng)成為各種效率高效的在線診斷和跟蹤系統(tǒng)，以及構(gòu)建安全的網(wǎng)絡(luò)、服務(wù)網(wǎng)格的重要組成部分。

WebAssembly（Wasm）最初是以瀏覽器安全沙盒為目的開發(fā)的，發(fā)展到目前為止，WebAssembly 已經(jīng)成為一個用于云原生軟件組件的高性能、跨平臺和多語言軟件沙箱環(huán)境，Wasm 輕量級容器也非常適合作為下一代無服務(wù)器平臺運(yùn)行時，或在邊緣計(jì)算等資源受限的場景高效執(zhí)行。

現(xiàn)在，借助 Wasm-bpf 編譯工具鏈和運(yùn)行時，我們可以使用 Wasm 將 eBPF 程序編寫為跨平臺的模塊，使用 C/C++ 和 Rust 編寫程序。通過在 WebAssembly 中使用 eBPF 程序，我們不僅讓 Wasm 應(yīng)用獲得 eBPF 的高性能、對系統(tǒng)接口的訪問能力，還可以讓 eBPF 程序享受到 Wasm 的沙箱、靈活性、跨平臺性、和動態(tài)加載的能力，并且使用 Wasm 的 OCI 鏡像來方便、快捷地分發(fā)和管理 eBPF 程序。例如，可以類似 docker 一樣，從云端一行命令獲取 Wasm 輕量級容器鏡像，并運(yùn)行任意 eBPF 程序。通過結(jié)合這兩種技術(shù)，我們將會給 eBPF 和 Wasm 生態(tài)來一個全新的開發(fā)體驗(yàn)！

使用 Wasm-bpf 工具鏈在 Wasm 中編寫、動態(tài)加載、分發(fā)運(yùn)行 eBPF 程序

在前兩篇短文中，我們已經(jīng)介紹了 Wasm-bpf 的設(shè)計(jì)思路，以及如何使用 C/C++ 在 Wasm 中編寫 eBPF 程序:

• Wasm-bpf: 架起 Webassembly 和 eBPF 內(nèi)核可編程的橋梁
• 在 WebAssembly 中使用 C/C++ 和 libbpf 編寫 eBPF 程序

基于 Wasm，我們可以使用多種語言構(gòu)建 eBPF 應(yīng)用，并以統(tǒng)一、輕量級的方式管理和發(fā)布。以我們構(gòu)建的示例應(yīng)用 bootstrap.wasm 為例，使用 C/C++ 構(gòu)建的鏡像大小最小僅為 ~90K，很容易通過網(wǎng)絡(luò)分發(fā)，并可以在不到 100ms 的時間內(nèi)在另一臺機(jī)器上動態(tài)部署、加載和運(yùn)行，并且保留輕量級容器的隔離特性。運(yùn)行時不需要內(nèi)核特定版本頭文件、LLVM、clang 等依賴，也不需要做任何消耗資源的重量級的編譯工作。對于 Rust 而言，編譯產(chǎn)物會稍大一點(diǎn)，大約在 2M 左右。

本文將以 Rust 語言為例，討論：

• 使用 Rust 編寫 eBPF 程序并編譯為 Wasm 模塊
• 使用 OCI 鏡像發(fā)布、部署、管理 eBPF 程序，獲得類似 Docker 的體驗(yàn)

我們在倉庫中提供了幾個示例程序，分別對應(yīng)于可觀測、網(wǎng)絡(luò)、安全等多種場景。

編寫 eBPF 程序并編譯為 Wasm 的大致流程

一般說來，在非 Wasm 沙箱的用戶態(tài)空間，使用 libbpf-bootstrap 腳手架，可以快速、輕松地使用 C/C++構(gòu)建 BPF 應(yīng)用程序。編譯、構(gòu)建和運(yùn)行 eBPF 程序（無論是采用什么語言），通常包含以下幾個步驟：

• 編寫內(nèi)核態(tài) eBPF 程序的代碼，一般使用 C/C++ 或 Rust 語言
• 使用 clang 編譯器或者相關(guān)工具鏈編譯 eBPF 程序（要實(shí)現(xiàn)跨內(nèi)核版本移植的話，需要包含 BTF 信息）。
• 在用戶態(tài)的開發(fā)程序中，編寫對應(yīng)的加載、控制、掛載、數(shù)據(jù)處理邏輯；
• 在實(shí)際運(yùn)行的階段，從用戶態(tài)將 eBPF 程序加載進(jìn)入內(nèi)核，并實(shí)際執(zhí)行。

使用 Rust 編寫 eBPF 程序并編譯為 Wasm

Rust 可能是 WebAssembly 生態(tài)系統(tǒng)中支持最好的語言。Rust 不僅支持幾個 WebAssembly 編譯目標(biāo)，而且 wasmtime、Spin、Wagi 和其他許多 WebAssembly 工具都是用 Rust 編寫的。因此，我們也提供了 Rust 的開發(fā)示例：

• Wasm 和 WASI 的 Rust 生態(tài)系統(tǒng)非常棒
• 許多 Wasm 工具都是用 Rust 編寫的，這意味著有大量的代碼可以復(fù)用。
• Spin 通常在對其他語言的支持之前就有Rust的功能支持
• Wasmtime 是用 Rust編寫的，通常在其他運(yùn)行時之前就有最先進(jìn)的功能。
• 可以在 WebAssembly 中使用許多現(xiàn)成的 Rust 庫。
• 由于 Cargo 的靈活構(gòu)建系統(tǒng)，一些 Crates 甚至有特殊的功能標(biāo)志來啟用Wasm的功能（例如Chrono）。
• 由于 Rust 的內(nèi)存管理技術(shù)，與同類語言相比，Rust 的二進(jìn)制大小很小。

我們同樣提供了一個 Rust 的 eBPF SDK，可以使用 Rust 編寫 eBPF 的用戶態(tài)程序并編譯為 Wasm。借助 aya-rs 提供的相關(guān)工具鏈支持，內(nèi)核態(tài)的 eBPF 程序也可以用 Rust 進(jìn)行編寫，不過在這里，我們還是復(fù)用之前使用 C 語言編寫的內(nèi)核態(tài)程序。

首先，我們需要使用 rust 提供的 wasi 工具鏈，創(chuàng)建一個新的項(xiàng)目：

rustuptargetaddwasm32-wasi
cargonewrust-helloworld

之后，可以使用 Makefile 運(yùn)行 make 完成整個編譯流程，并生成 bootstrap.bpf.o eBPF 字節(jié)碼文件。

使用 wit-bindgen 生成類型信息，用于內(nèi)核態(tài)和 Wasm 模塊之間通信

wit-bindgen 項(xiàng)目是一套著眼于 WebAssembly，并使用組件模型的語言的綁定生成器。綁定是用 *.wit 文件描述的，文件中描述了 Wasm 模塊導(dǎo)入、導(dǎo)出的函數(shù)和接口。我們可以 wit-bindgen 它來生成多種語言的類型定義，以便在內(nèi)核態(tài)的 eBPF 和用戶態(tài)的 Wasm 模塊之間傳遞數(shù)據(jù)。

我們首先需要在 Cargo.toml 配置文件中加入 wasm-bpf-binding 和 wit-bindgen-guest-rust 依賴：

wasm-bpf-binding = { path = "wasm-bpf-binding" }

這個包提供了 wasm-bpf 由運(yùn)行時提供給 Wasm 模塊，用于加載和控制 eBPF 程序的函數(shù)的綁定。

• wasm-bpf-binding 在 wasm-bpf 倉庫中有提供。

[dependencies]
wit-bindgen-guest-rust = { git = "https://github.com/bytecodealliance/wit-bindgen", version = "0.3.0" }

[patch.crates-io]
wit-component = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}
wit-parser = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}

這個包支持用 wit 文件為 rust 客戶程序生成綁定。使用這個包的情況下，我們不需要再手動運(yùn)行 wit-bindgen。

接下來，我們使用 btf2wit 工具，從 BTF 信息生成 wit 文件?？梢允褂?cargo install btf2wit 安裝我們提供的 btf2wit 工具，并編譯生成 wit 信息：

cdbtf
clang-targetbpf-gevent-def.c-c-oevent.def.o
btf2witevent.def.o-oevent-def.wit
cp*.wit../wit/

• 其中 event-def.c 是包含了我們需要的結(jié)構(gòu)體信息的的 C 程序文件。只有在導(dǎo)出符號中用到的結(jié)構(gòu)體才會被記錄在 BTF 中。

對于 C 結(jié)構(gòu)體生成的 wit 信息，大致如下：

default world host {
    record event {
         pid: s32,
        ppid: s32,
        exit-code: u32,
        --pad0: list,
        duration-ns: u64,
        comm: list,
        filename: list,
        exit-event: s8,
    }
}

wit-bindgen-guest-rust 會為 wit 文件夾中的所有類型信息，自動生成 rust 的類型，例如：

#[repr(C,packed)]
#[derive(Debug,Copy,Clone)]
structEvent{
pid:i32,
ppid:i32,
exit_code:u32,
__pad0:[u8;4],
duration_ns:u64,
comm:[u8;16],
filename:[u8;127],
exit_event:u8,
}

編寫用戶態(tài)加載和處理代碼

為了在 WASI 上運(yùn)行，需要為 main.rs 添加 #![no_main] 屬性，并且 main 函數(shù)需要采用類似如下的形態(tài)：

#[export_name="__main_argc_argv"]
fnmain(_env_json:u32,_str_len:i32)->i32{

return0;
}

用戶態(tài)加載和掛載代碼，和 C/C++ 中類似：

letobj_ptr=
binding::wasm_load_bpf_object(bpf_object.as_ptr()asu32,bpf_object.len()asi32);
ifobj_ptr==0{
println!("Failedtoloadbpfobject");
return1;
}
letattach_result=binding::wasm_attach_bpf_program(
obj_ptr,
"handle_exec".as_ptr()asu32,
"".as_ptr()asu32,
);
...

polling ring buffer：

letmap_fd=binding::wasm_bpf_map_fd_by_name(obj_ptr,"rb".as_ptr()asu32);
ifmap_fd0{
println!("Failedtogetmapfd:{}",map_fd);
return1;
}
//binding::wasm
letbuffer=[0u8;256];
loop{
//pollingthebuffer
binding::wasm_bpf_buffer_poll(
obj_ptr,
map_fd,
handle_eventasi32,
0,
buffer.as_ptr()asu32,
buffer.len()asi32,
100,
);
}

使用 handler 接收返回值：

extern"C"fnhandle_event(_ctx:u32,data:u32,_data_sz:u32){
letevent_slice=unsafe{slice::from_raw_parts(dataas*constEvent,1)};
letevent=&event_slice[0];
letpid=event.pid;
letppid=event.ppid;
letexit_code=event.exit_code;
ifevent.exit_event==1{
print!(
"{:<8}?{:<5}?{:<16}?{:<7}?{:<7}?[{}]",
"TIME",
"EXIT",
unsafe{CStr::from_ptr(event.comm.as_ptr()as*consti8)}
.to_str()
.unwrap(),
pid,
ppid,
exit_code
);
...
}

接下來即可使用 cargo 編譯運(yùn)行：

$cargobuild--targetwasi32-wasm
$sudowasm-bpf./target/wasm32-wasi/debug/rust-helloworld.wasm
TIMEEXECsh18024533666/bin/sh
TIMEEXECwhich180246180245/usr/bin/which
TIMEEXITwhich180246180245[0](1ms)
TIMEEXITsh18024533666[0](3ms)
TIMEEXECsh18024733666/bin/sh
TIMEEXECps180248180247/usr/bin/ps
TIMEEXITps180248180247[0](23ms)
TIMEEXITsh18024733666[0](25ms)
TIMEEXECsh18024933666/bin/sh
TIMEEXECcpuUsage.sh180250180249/root/.vscode-server-insiders/bin/a7d49b0f35f50e460835a55d20a00a735d1665a3/out/vs/base/node/cpuUsage.sh

使用 OCI 鏡像發(fā)布和管理 eBPF 程序

開放容器協(xié)議 (OCI) 是一個輕量級，開放的治理結(jié)構(gòu)，為容器技術(shù)定義了規(guī)范和標(biāo)準(zhǔn)。在 Linux 基金會的支持下成立，由各大軟件企業(yè)構(gòu)成，致力于圍繞容器格式和運(yùn)行時創(chuàng)建開放的行業(yè)標(biāo)準(zhǔn)。其中包括了使用 Container Registries 進(jìn)行工作的 API，正式名稱為 OCI 分發(fā)規(guī)范 (又名“distribution-spec”)。

Docker 也宣布推出與 WebAssembly 集成 (Docker+Wasm) 的首個技術(shù)預(yù)覽版，并表示公司已加入字節(jié)碼聯(lián)盟 (Bytecode Alliance)，成為投票成員。Docker+Wasm 讓開發(fā)者能夠更容易地快速構(gòu)建面向 Wasm 運(yùn)行時的應(yīng)用程序。

借助于 Wasm 的相關(guān)生態(tài)，可以非常方便地發(fā)布、下載和管理 eBPF 程序，例如，使用 wasm-to-oci 工具，可以將 Wasm 程序打包為 OCI 鏡像，獲取類似 docker 的體驗(yàn)：

wasm-to-ocipushtestdata/hello.wasm.azurecr.io/wasm-to-oci:v1
wasm-to-ocipull.azurecr.io/wasm-to-oci:v1--outtest.wasm

我們也將其集成到了 eunomia-bpf 的 ecli 工具中，可以一行命令從云端的 Github Packages 中下載并運(yùn)行 eBPF 程序，或通過 Github Packages 發(fā)布：

#pushtoGithubPackages
eclipushhttps://ghcr.io/eunomia-bpf/sigsnoop:latest
#pullfromGithubPackages
eclipullhttps://ghcr.io/eunomia-bpf/sigsnoop:latest
#runeBPFprogram
eclirunhttps://ghcr.io/eunomia-bpf/sigsnoop:latest

我們已經(jīng)在 LMP 項(xiàng)目的 eBPF Hub 中，有一些創(chuàng)建符合 OCI 標(biāo)準(zhǔn)的 Wasm-eBPF 應(yīng)用程序，并利用 ORAS 簡化擴(kuò)展 eBPF 應(yīng)用開發(fā)，分發(fā)、加載、運(yùn)行能力的嘗試[11]，以及基于 Wasm 同時使用多種不同語言開發(fā) eBPF 的用戶態(tài)數(shù)據(jù)處理插件的實(shí)踐?；?a href="http://srfitnesspt.com/article/zt/" target="_blank">最新的 Wasm-bpf 框架，有更多的探索性工作可以繼續(xù)展開，我們希望嘗試構(gòu)建一個完整的針對 eBPF 和 Wasm 程序的包管理系統(tǒng)，以及更多的可以探索的應(yīng)用場景。

總結(jié)

本文以 Rust 語言為例，討論了使用 Rust 編寫 eBPF 程序并編譯為 Wasm 模塊以及使用 OCI 鏡像發(fā)布、部署、管理 eBPF 程序，獲得類似 Docker 的體驗(yàn)。更完整的代碼，請參考我們的 Github 倉庫：https://github.com/eunomia-bpf/wasm-bpf.

接下來，我們會繼續(xù)完善在 Wasm 中使用多種語言開發(fā)和運(yùn)行 eBPF 程序的體驗(yàn)，提供更完善的示例和用戶態(tài)開發(fā)庫/工具鏈，以及更具體的應(yīng)用場景。

審核編輯 ：李倩