精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

在WebAssembly中使用Rust編寫eBPF程序并發布OCI鏡像

jf_wN0SrCdH ? 來源:Rust語言中文社區 ? 2023-02-14 18:10 ? 次閱讀

eBPF(extended Berkeley Packet Filter)是一種高性能的內核虛擬機,可以運行在內核空間中,以收集系統和網絡信息。隨著計算機技術的不斷發展,eBPF 的功能日益強大,并且已經成為各種效率高效的在線診斷和跟蹤系統,以及構建安全的網絡、服務網格的重要組成部分。

WebAssembly(Wasm)最初是以瀏覽器安全沙盒為目的開發的,發展到目前為止,WebAssembly 已經成為一個用于云原生軟件組件的高性能、跨平臺和多語言軟件沙箱環境,Wasm 輕量級容器也非常適合作為下一代無服務器平臺運行時,或在邊緣計算等資源受限的場景高效執行。

現在,借助 Wasm-bpf 編譯工具鏈和運行時,我們可以使用 Wasm 將 eBPF 程序編寫為跨平臺的模塊,使用 C/C++ 和 Rust 編寫程序。通過在 WebAssembly 中使用 eBPF 程序,我們不僅讓 Wasm 應用獲得 eBPF 的高性能、對系統接口的訪問能力,還可以讓 eBPF 程序享受到 Wasm 的沙箱、靈活性、跨平臺性、和動態加載的能力,并且使用 Wasm 的 OCI 鏡像來方便、快捷地分發和管理 eBPF 程序。例如,可以類似 docker 一樣,從云端一行命令獲取 Wasm 輕量級容器鏡像,并運行任意 eBPF 程序。通過結合這兩種技術,我們將會給 eBPF 和 Wasm 生態來一個全新的開發體驗!

使用 Wasm-bpf 工具鏈在 Wasm 中編寫、動態加載、分發運行 eBPF 程序

在前兩篇短文中,我們已經介紹了 Wasm-bpf 的設計思路,以及如何使用 C/C++ 在 Wasm 中編寫 eBPF 程序:

  • Wasm-bpf: 架起 Webassembly 和 eBPF 內核可編程的橋梁
  • 在 WebAssembly 中使用 C/C++ 和 libbpf 編寫 eBPF 程序

基于 Wasm,我們可以使用多種語言構建 eBPF 應用,并以統一、輕量級的方式管理和發布。以我們構建的示例應用 bootstrap.wasm 為例,使用 C/C++ 構建的鏡像大小最小僅為 ~90K,很容易通過網絡分發,并可以在不到 100ms 的時間內在另一臺機器上動態部署、加載和運行,并且保留輕量級容器的隔離特性。運行時不需要內核特定版本頭文件、LLVM、clang 等依賴,也不需要做任何消耗資源的重量級的編譯工作。對于 Rust 而言,編譯產物會稍大一點,大約在 2M 左右。

本文將以 Rust 語言為例,討論:

  • 使用 Rust 編寫 eBPF 程序并編譯為 Wasm 模塊
  • 使用 OCI 鏡像發布、部署、管理 eBPF 程序,獲得類似 Docker 的體驗

我們在倉庫中提供了幾個示例程序,分別對應于可觀測、網絡、安全等多種場景。

編寫 eBPF 程序并編譯為 Wasm 的大致流程

一般說來,在非 Wasm 沙箱的用戶態空間,使用 libbpf-bootstrap 腳手架,可以快速、輕松地使用 C/C++構建 BPF 應用程序。編譯、構建和運行 eBPF 程序(無論是采用什么語言),通常包含以下幾個步驟:

  • 編寫內核態 eBPF 程序的代碼,一般使用 C/C++ 或 Rust 語言
  • 使用 clang 編譯器或者相關工具鏈編譯 eBPF 程序(要實現跨內核版本移植的話,需要包含 BTF 信息)。
  • 在用戶態的開發程序中,編寫對應的加載、控制、掛載、數據處理邏輯;
  • 在實際運行的階段,從用戶態將 eBPF 程序加載進入內核,并實際執行。

使用 Rust 編寫 eBPF 程序并編譯為 Wasm

Rust 可能是 WebAssembly 生態系統中支持最好的語言。Rust 不僅支持幾個 WebAssembly 編譯目標,而且 wasmtime、Spin、Wagi 和其他許多 WebAssembly 工具都是用 Rust 編寫的。因此,我們也提供了 Rust 的開發示例:

  • Wasm 和 WASI 的 Rust 生態系統非常棒
  • 許多 Wasm 工具都是用 Rust 編寫的,這意味著有大量的代碼可以復用。
  • Spin 通常在對其他語言的支持之前就有Rust的功能支持
  • Wasmtime 是用 Rust編寫的,通常在其他運行時之前就有最先進的功能。
  • 可以在 WebAssembly 中使用許多現成的 Rust 庫。
  • 由于 Cargo 的靈活構建系統,一些 Crates 甚至有特殊的功能標志來啟用Wasm的功能(例如Chrono)。
  • 由于 Rust 的內存管理技術,與同類語言相比,Rust 的二進制大小很小。

我們同樣提供了一個 Rust 的 eBPF SDK,可以使用 Rust 編寫 eBPF 的用戶態程序并編譯為 Wasm。借助 aya-rs 提供的相關工具鏈支持,內核態的 eBPF 程序也可以用 Rust 進行編寫,不過在這里,我們還是復用之前使用 C 語言編寫的內核態程序。

首先,我們需要使用 rust 提供的 wasi 工具鏈,創建一個新的項目:

rustuptargetaddwasm32-wasi
cargonewrust-helloworld

之后,可以使用 Makefile 運行 make 完成整個編譯流程,并生成 bootstrap.bpf.o eBPF 字節碼文件。

使用 wit-bindgen 生成類型信息,用于內核態和 Wasm 模塊之間通信

wit-bindgen 項目是一套著眼于 WebAssembly,并使用組件模型的語言的綁定生成器。綁定是用 *.wit 文件描述的,文件中描述了 Wasm 模塊導入、導出的函數和接口。我們可以 wit-bindgen 它來生成多種語言的類型定義,以便在內核態的 eBPF 和用戶態的 Wasm 模塊之間傳遞數據。

我們首先需要在 Cargo.toml 配置文件中加入 wasm-bpf-bindingwit-bindgen-guest-rust 依賴:

wasm-bpf-binding = { path = "wasm-bpf-binding" }

這個包提供了 wasm-bpf 由運行時提供給 Wasm 模塊,用于加載和控制 eBPF 程序的函數的綁定。

  • wasm-bpf-binding 在 wasm-bpf 倉庫中有提供。
[dependencies]
wit-bindgen-guest-rust = { git = "https://github.com/bytecodealliance/wit-bindgen", version = "0.3.0" }

[patch.crates-io]
wit-component = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}
wit-parser = {git = "https://github.com/bytecodealliance/wasm-tools", version = "0.5.0", rev = "9640d187a73a516c42b532cf2a10ba5403df5946"}

這個包支持用 wit 文件為 rust 客戶程序生成綁定。使用這個包的情況下,我們不需要再手動運行 wit-bindgen。

接下來,我們使用 btf2wit 工具,從 BTF 信息生成 wit 文件。可以使用 cargo install btf2wit 安裝我們提供的 btf2wit 工具,并編譯生成 wit 信息:

cdbtf
clang-targetbpf-gevent-def.c-c-oevent.def.o
btf2witevent.def.o-oevent-def.wit
cp*.wit../wit/
  • 其中 event-def.c 是包含了我們需要的結構體信息的的 C 程序文件。只有在導出符號中用到的結構體才會被記錄在 BTF 中。

對于 C 結構體生成的 wit 信息,大致如下:

default world host {
    record event {
         pid: s32,
        ppid: s32,
        exit-code: u32,
        --pad0: list,
        duration-ns: u64,
        comm: list,
        filename: list,
        exit-event: s8,
    }
}

wit-bindgen-guest-rust 會為 wit 文件夾中的所有類型信息,自動生成 rust 的類型,例如:

#[repr(C,packed)]
#[derive(Debug,Copy,Clone)]
structEvent{
pid:i32,
ppid:i32,
exit_code:u32,
__pad0:[u8;4],
duration_ns:u64,
comm:[u8;16],
filename:[u8;127],
exit_event:u8,
}

編寫用戶態加載和處理代碼

為了在 WASI 上運行,需要為 main.rs 添加 #![no_main] 屬性,并且 main 函數需要采用類似如下的形態:

#[export_name="__main_argc_argv"]
fnmain(_env_json:u32,_str_len:i32)->i32{

return0;
}

用戶態加載和掛載代碼,和 C/C++ 中類似:

letobj_ptr=
binding::wasm_load_bpf_object(bpf_object.as_ptr()asu32,bpf_object.len()asi32);
ifobj_ptr==0{
println!("Failedtoloadbpfobject");
return1;
}
letattach_result=binding::wasm_attach_bpf_program(
obj_ptr,
"handle_exec".as_ptr()asu32,
"".as_ptr()asu32,
);
...

polling ring buffer:

letmap_fd=binding::wasm_bpf_map_fd_by_name(obj_ptr,"rb".as_ptr()asu32);
ifmap_fd0{
println!("Failedtogetmapfd:{}",map_fd);
return1;
}
//binding::wasm
letbuffer=[0u8;256];
loop{
//pollingthebuffer
binding::wasm_bpf_buffer_poll(
obj_ptr,
map_fd,
handle_eventasi32,
0,
buffer.as_ptr()asu32,
buffer.len()asi32,
100,
);
}

使用 handler 接收返回值:

extern"C"fnhandle_event(_ctx:u32,data:u32,_data_sz:u32){
letevent_slice=unsafe{slice::from_raw_parts(dataas*constEvent,1)};
letevent=&event_slice[0];
letpid=event.pid;
letppid=event.ppid;
letexit_code=event.exit_code;
ifevent.exit_event==1{
print!(
"{:<8}?{:<5}?{:<16}?{:<7}?{:<7}?[{}]",
"TIME",
"EXIT",
unsafe{CStr::from_ptr(event.comm.as_ptr()as*consti8)}
.to_str()
.unwrap(),
pid,
ppid,
exit_code
);
...
}

接下來即可使用 cargo 編譯運行:

$cargobuild--targetwasi32-wasm
$sudowasm-bpf./target/wasm32-wasi/debug/rust-helloworld.wasm
TIMEEXECsh18024533666/bin/sh
TIMEEXECwhich180246180245/usr/bin/which
TIMEEXITwhich180246180245[0](1ms)
TIMEEXITsh18024533666[0](3ms)
TIMEEXECsh18024733666/bin/sh
TIMEEXECps180248180247/usr/bin/ps
TIMEEXITps180248180247[0](23ms)
TIMEEXITsh18024733666[0](25ms)
TIMEEXECsh18024933666/bin/sh
TIMEEXECcpuUsage.sh180250180249/root/.vscode-server-insiders/bin/a7d49b0f35f50e460835a55d20a00a735d1665a3/out/vs/base/node/cpuUsage.sh

使用 OCI 鏡像發布和管理 eBPF 程序

開放容器協議 (OCI) 是一個輕量級,開放的治理結構,為容器技術定義了規范和標準。在 Linux 基金會的支持下成立,由各大軟件企業構成,致力于圍繞容器格式和運行時創建開放的行業標準。其中包括了使用 Container Registries 進行工作的 API,正式名稱為 OCI 分發規范 (又名“distribution-spec”)。

Docker 也宣布推出與 WebAssembly 集成 (Docker+Wasm) 的首個技術預覽版,并表示公司已加入字節碼聯盟 (Bytecode Alliance),成為投票成員。Docker+Wasm 讓開發者能夠更容易地快速構建面向 Wasm 運行時的應用程序。

借助于 Wasm 的相關生態,可以非常方便地發布、下載和管理 eBPF 程序,例如,使用 wasm-to-oci 工具,可以將 Wasm 程序打包為 OCI 鏡像,獲取類似 docker 的體驗:

wasm-to-ocipushtestdata/hello.wasm.azurecr.io/wasm-to-oci:v1
wasm-to-ocipull.azurecr.io/wasm-to-oci:v1--outtest.wasm

我們也將其集成到了 eunomia-bpf 的 ecli 工具中,可以一行命令從云端的 Github Packages 中下載并運行 eBPF 程序,或通過 Github Packages 發布:

#pushtoGithubPackages
eclipushhttps://ghcr.io/eunomia-bpf/sigsnoop:latest
#pullfromGithubPackages
eclipullhttps://ghcr.io/eunomia-bpf/sigsnoop:latest
#runeBPFprogram
eclirunhttps://ghcr.io/eunomia-bpf/sigsnoop:latest

我們已經在 LMP 項目的 eBPF Hub 中,有一些創建符合 OCI 標準的 Wasm-eBPF 應用程序,并利用 ORAS 簡化擴展 eBPF 應用開發,分發、加載、運行能力的嘗試[11],以及基于 Wasm 同時使用多種不同語言開發 eBPF 的用戶態數據處理插件的實踐。基于最新的 Wasm-bpf 框架,有更多的探索性工作可以繼續展開,我們希望嘗試構建一個完整的針對 eBPF 和 Wasm 程序的包管理系統,以及更多的可以探索的應用場景。

總結

本文以 Rust 語言為例,討論了使用 Rust 編寫 eBPF 程序并編譯為 Wasm 模塊以及使用 OCI 鏡像發布、部署、管理 eBPF 程序,獲得類似 Docker 的體驗。更完整的代碼,請參考我們的 Github 倉庫:https://github.com/eunomia-bpf/wasm-bpf.

接下來,我們會繼續完善在 Wasm 中使用多種語言開發和運行 eBPF 程序的體驗,提供更完善的示例和用戶態開發庫/工具鏈,以及更具體的應用場景。

審核編輯 :李倩


聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 模塊
    +關注

    關注

    7

    文章

    2672

    瀏覽量

    47342
  • C++
    C++
    +關注

    關注

    22

    文章

    2104

    瀏覽量

    73498
  • Rust
    +關注

    關注

    1

    文章

    228

    瀏覽量

    6572

原文標題:在 WebAssembly 中使用 Rust 編寫 eBPF 程序并發布 OCI 鏡像

文章出處:【微信號:Rust語言中文社區,微信公眾號:Rust語言中文社區】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    如何在Rust中使用Memcached

    Memcached是一種高性能、分布式的內存對象緩存系統,可用于加速動態Web應用程序Rust是一種系統級編程語言,具有內存安全、高性能和并發性等特點。Rust語言的Memcache
    的頭像 發表于 09-19 16:30 ?1200次閱讀

    如何編寫高性能的Rust代碼

    為了最大限度地提高Rust應用程序的性能,你需要了解支持代碼的底層硬件架構,如何優化算法和數據結構,以及如何對代碼進行配置和基準測試。本文中,我們將簡要介紹這些主題,希望能更好地理解如何編寫
    的頭像 發表于 11-03 14:28 ?803次閱讀
    如何<b class='flag-5'>編寫</b>高性能的<b class='flag-5'>Rust</b>代碼

    RUST嵌入式開發中的應用是什么

    的文檔、有用的錯誤消息、友好編譯器、一流的工具,只是Rust的幾個好處。它帶有一個集成的包管理器和構建工具,支持自動完成和類型檢查的智能多編輯器,一個自動格式化程序,等等。為什么嵌入式開發
    發表于 12-24 08:34

    openEuler 倡議建立 eBPF 軟件發布標準

    與推廣。如下圖所示,總結目前 eBPF 的開發、發布方式基本可以劃分成 2 種技術路線:開發態、運行態分離(典型代表 libbpf)優點:ELF 文件形式(或者鏈接進應用程序發布,運
    發表于 12-23 16:21

    Rust代碼中加載靜態庫時,出現錯誤 ` rust-lld: error: undefined symbol: malloc `怎么解決?

    “ [i]malloc ”、“ [i]exit ”。我驗證了使用 ` [i]nm ` 命令。 問題是我打算使用 ffi rust 中使用這個靜態庫。當我嘗試我的
    發表于 06-09 08:44

    關于Mozilla讓WebAssembly并行啟動

    Mozilla通過Firefox瀏覽器中使用并行提高了WebAssembly字節碼和asm.js的Java子集的性能。 Mozilla的工程師通過使用并行來減少瀏覽器中asm.js程序
    發表于 10-10 17:32 ?5次下載
    關于Mozilla讓<b class='flag-5'>WebAssembly</b>并行啟動

    .NET應用程序可以直接調用WebAssembly模塊了

    WebAssembly Runtime現已添加.NET Core API,開發者可直接在.NET應用程序中調用WebAssembly模塊。
    的頭像 發表于 12-10 11:35 ?2409次閱讀

    WebAssembly中的BL602/BL604模擬器使用

    讓我們使用WebAssembly Web 瀏覽器中模擬 BL602 / BL604 Rust 固件
    發表于 03-18 10:11 ?2次下載

    Chromium正式開始支持Rust

    ? Chromium 正式開始支持 Rust 目前的支持只是第一階段,C++代碼中使Rust寫的第三方庫(編譯成.so)。估計明年Chromium的二進制發行文件中會包含
    的頭像 發表于 01-14 10:04 ?944次閱讀

    Rust中使用內聯匯編

    與 GCC 內聯匯編語法一樣,Rust 希望即使需要手寫匯編,程序員也能將一部分工作交給編譯器來高效完成,這部分工作就是寄存器分配,畢竟只有編譯器了解內聯匯編前后的上下文,知道該怎么分配寄存器最合適。
    的頭像 發表于 05-04 09:54 ?806次閱讀

    Rust的內部工作原理

    : google發布的 libtracecmd Rust wrapper 這個庫是libtracecmd的Rust wrapper,它允許編寫程序來分析由trace-cmd 生成的Li
    的頭像 發表于 06-14 10:34 ?769次閱讀
    <b class='flag-5'>Rust</b>的內部工作原理

    使用C++編寫通用庫并在 Rust 中使用它 (WASI)

    使用 C++ 編寫通用庫并在 Rust 中使用它 (WASI) WebAssembly 簡介 WebAssembly 是一種二進制指令格式,
    的頭像 發表于 06-16 10:03 ?1033次閱讀
    使用C++<b class='flag-5'>編寫</b>通用庫并在 <b class='flag-5'>Rust</b> <b class='flag-5'>中使</b>用它 (WASI)

    Rust開源社區推出龍架構原生適配版本

    應用程序時具有優良的并發性能,其高性能特性使Rust適用于編寫高效的系統軟件,如操作系統內核、嵌入式設備驅動程序和網絡服務器。
    的頭像 發表于 07-17 16:54 ?477次閱讀
    <b class='flag-5'>Rust</b>開源社區推出龍架構原生適配版本

    如何在Rust項目中使用InfluxDB 2.x

    了更好的性能和更好的用戶體驗。Rust語言提供了InfluxDB 2.x的官方客戶端庫,可以方便地Rust項目中使用InfluxDB 2.x。 本教程將介紹如何在
    的頭像 發表于 09-19 16:33 ?636次閱讀

    FastTime-純Rust編寫的高并發快速時間庫

    FastTime, 純Rust編寫的快速時間庫, 并發: 2800萬+/秒. 一、組件
    的頭像 發表于 11-06 09:23 ?602次閱讀