提要

本期推送是對(duì)ICDE 2021 中發(fā)表的論文《TWINE：An Embedded Trusted Runtime for WebAssembly》的解讀。WebAssembly是一種越來(lái)越流行的輕量級(jí)二進(jìn)制指令格式。這篇論文描述了TWINE，這是一個(gè)WebAssembly trusted runtime，它能夠支持編譯為wasm的應(yīng)用運(yùn)行。TWINE提供了一個(gè)安全的軟件runtime（沙箱），它嵌入在TEE中；并且提供WASI interface，通過(guò)WASI來(lái)抽象底層環(huán)境。TWINE會(huì)動(dòng)態(tài)地將WASI操作翻譯為等價(jià)的OS calls和SGX中的安全的庫(kù)。特別地，作者使用TWINE實(shí)現(xiàn)了一個(gè)安全、可信的SQLite版本，這是一個(gè)眾所周知的成熟的可嵌入數(shù)據(jù)庫(kù)。作者認(rèn)為這樣一個(gè)受信任的數(shù)據(jù)庫(kù)將是構(gòu)建許多大型應(yīng)用程序服務(wù)的合理組件。評(píng)估表明，SQLite可以通過(guò)WebAssembly和現(xiàn)有的系統(tǒng)接口在SGX enclave內(nèi)完全執(zhí)行，平均性能開銷類似。額外的安全保證及其與標(biāo)準(zhǔn)WebAssembly的完全兼容性在很大程度上彌補(bǔ)了性能上的損失。

研究背景

可信代碼執(zhí)行目前是分布式系統(tǒng)的主要挑戰(zhàn)之一。無(wú)論是云中的大型數(shù)據(jù)中心，還是瘦客戶機(jī)和物聯(lián)網(wǎng)設(shè)備上的網(wǎng)絡(luò)邊緣，其中存儲(chǔ)了許多的數(shù)據(jù)資產(chǎn)。這些數(shù)據(jù)是許多公司的關(guān)鍵資產(chǎn)。例如像Intel SGX、ARM TrustZone等等這些TEE環(huán)境（Trusted execution environment，可信執(zhí)行環(huán)境）就可以通過(guò)特殊的硬件結(jié)構(gòu)為代碼安全執(zhí)行提供硬件支持，從而可以從外界環(huán)境中被保護(hù)出來(lái)，或者說(shuō)隔離出來(lái)，這些外界環(huán)境包括操作系統(tǒng)和特權(quán)用戶。

然而，盡管涌現(xiàn)出了許多framework和runtime environment，為TEE編寫應(yīng)用程序仍然是一項(xiàng)復(fù)雜的任務(wù)。開發(fā)人員通常必須使用定制的工具和api，而且僅支持少數(shù)的編程語(yǔ)言。所以，作者提出了支持對(duì)unmodified applications執(zhí)行的trusted runtime，這個(gè)runtime作為一個(gè)virtual machine運(yùn)行在TEE中，只需將application編譯為WebAssembly，因?yàn)閃asm是不限制語(yǔ)言的。因?yàn)閃asm自身的一些優(yōu)點(diǎn)，這個(gè)trusted runtime具有執(zhí)行速度快、通用性好（支持多種語(yǔ)言開發(fā)的application）、安全（沙箱環(huán)境）等優(yōu)勢(shì)。

圖1：研究背景示意圖

系統(tǒng)設(shè)計(jì)

作者設(shè)計(jì)的Trusted runtime是運(yùn)行在TEE中的。Intel SGX 是在現(xiàn)代英特爾處理器中的一組處理器指令，程序員可以通過(guò)使用 SGX 創(chuàng)建內(nèi)存的加密區(qū)域，稱為enclaves。通過(guò)enclave內(nèi)部的指令對(duì)其中內(nèi)存內(nèi)容進(jìn)行讀寫操作時(shí)會(huì)自動(dòng)加密和解密。Enclave加密密鑰保存在處理器內(nèi)部，沒(méi)有任何指令可以訪問(wèn)這些密鑰，即使當(dāng)運(yùn)行高級(jí)硬件特權(quán)級(jí)別時(shí)，操作系統(tǒng)、虛擬機(jī)管理員也無(wú)法獲取。Enclave內(nèi)的內(nèi)存受到保護(hù)，不接受任何未經(jīng)授權(quán)的訪問(wèn)，甚至不接受具有物理訪問(wèn)權(quán)限的機(jī)器管理員的訪問(wèn)。

圖2：SGX工作示意圖

對(duì)enclave中的內(nèi)存訪問(wèn)通過(guò)一個(gè)大塊的緩存來(lái)加速，這個(gè)cache memory被稱為enclave page cache（EPC）。EPC的大小是受限的，在最新的CPU中支持最大為256MB的EPC。處理器在 EPC 中保存所有 enclave page 的未加密副本，并且當(dāng) EPC 滿的時(shí)候采用分頁(yè)。并且硬件還為EPC中的所有enclave page維護(hù)加密hash表。enclave內(nèi)部的指令可以訪問(wèn)enclave外部的數(shù)據(jù)，但是調(diào)用enclave外部的指令需要一個(gè)特殊的out call指令（OCALL）。當(dāng)調(diào)用OCALL時(shí)，CPU退出受保護(hù)的enclave，在外部執(zhí)行代碼。相反，有一個(gè)enclave call（ECALL）指令來(lái)調(diào)用enclave內(nèi)的代碼。OCALL和ECALL指令會(huì)比較慢，因?yàn)樵趀nclave內(nèi)部和外部之間切換上下文的代價(jià)很高（在最新的服務(wù)器級(jí)處理器中，高達(dá)13’100個(gè)CPU周期）。已有的工作已經(jīng)證明，在enclave中的應(yīng)用程序應(yīng)該盡量避免這樣的調(diào)用，以減少性能損失。

作者提出了TWINE （Trusted Wasm in enclave），這是一個(gè)運(yùn)行在TEE中的輕量級(jí)可嵌入Wasm虛擬機(jī)。圖3中描述了TWINE的workflow。它充當(dāng)應(yīng)用程序與底層TEE、OS和硬件之間的適配層。TWINE提供了嵌套在TEE中的安全軟件運(yùn)行時(shí)（沙箱），支持WASI接口，并從應(yīng)用程序中抽象出底層環(huán)境。

圖3：TWINE workflow

TWINE是一個(gè)適用于在TEE中運(yùn)行Wasm應(yīng)用程序的執(zhí)行環(huán)境。它主要由兩個(gè)主要模塊構(gòu)成： Wasm runtime 和 WASI接口。Wasm runtime 完全運(yùn)行在TEE內(nèi)部，作者使用的TEE是Intel SGX。作者通過(guò)利用TEE的保護(hù)來(lái)為運(yùn)行Wasm application提供一個(gè)可信環(huán)境。WASI充當(dāng)受信任和不受信任環(huán)境之間的橋梁，抽象出專用于與底層操作系統(tǒng)通信的機(jī)制。因此，WASI相當(dāng)于由OCALLs組成的傳統(tǒng)SGX適配層。WASI能夠通過(guò)沙箱實(shí)現(xiàn)安全性。常規(guī)應(yīng)用程序通常通過(guò)標(biāo)準(zhǔn)接口（例如POSIX）調(diào)用操作系統(tǒng)。WASI在Wasm操作系統(tǒng)調(diào)用和實(shí)際的操作系統(tǒng)接口之間增加了一層（薄薄的）控制層。因此，runtime環(huán)境可以自己限制各個(gè)Wasm程序所能做的事情，從而阻止Wasm代碼使用運(yùn)行進(jìn)程的用戶的全部權(quán)限。（例如，WASI實(shí)現(xiàn)可以將應(yīng)用程序限制在文件系統(tǒng)的子樹中，這與chroot提供的功能類似。）在enclave中的代碼和數(shù)據(jù)被認(rèn)為是可信的，在此之外的進(jìn)程部分、操作系統(tǒng)和（任何hypervisor）都可能是敵對(duì)的、惡意的。enclave內(nèi)部的內(nèi)存只能從外部以加密的形式讀取。從外部寫入enclave會(huì)導(dǎo)致enclave終止。

圖4：TWINE 架構(gòu)

通過(guò)WASI，能夠?qū)崿F(xiàn)三重抽象：

（1）開發(fā)人員可以自由選擇編程語(yǔ)言，并通過(guò)compiler將它編譯為Wasm binaries。

這解除了SGX強(qiáng)加的限制，之前通常因?yàn)檫@個(gè)限制強(qiáng)制應(yīng)用程序必須用C/C++編寫。

（2）將TEE從應(yīng)用程序中抽象出來(lái)，只要TEE能夠解釋或執(zhí)行Wasm （帶有WASI支持），應(yīng)用程序就可以安全執(zhí)行。

這為其他TEE技術(shù)打開了大門。

（3）WASI是與系統(tǒng)無(wú)關(guān)的，只要操作系統(tǒng)能夠提供WASI所需的等效API。

由于WASI模擬POSIX系統(tǒng)的系統(tǒng)調(diào)用，許多Unix變體都可以實(shí)現(xiàn)它。

圖5：WASI的三層抽象

作者選擇了一個(gè)已有的Wasm runtime project-WAMR來(lái)作為runtime，并修改了它的WASI接口。WAMR支持解釋器、JIT、AoT三種方式的Wasm binaries執(zhí)行。但是考慮到速度的問(wèn)題，native code執(zhí)行起來(lái)比解釋器快。并且，解釋器環(huán)境相對(duì)runtime而言，占用內(nèi)存更大，這對(duì)于邊緣計(jì)算又是很重要的。因此，作者放棄了WAMR中interpreter的方式。又因?yàn)镴IT方式是運(yùn)行時(shí)即時(shí)編譯，需要在一個(gè)enclave中嵌進(jìn)來(lái)一個(gè)JIT compiler。所以就要在enclave中引入LLVM machinery，這需要移植代碼庫(kù)來(lái)編譯SGX的限制。所以最終作者采用了AOT的方式。

WAMR中原生的對(duì)WASI的實(shí)現(xiàn)，嚴(yán)重依賴于POSIX調(diào)用。POSIX在SGX enclave中不可用，因此WAMR作者編寫的WASI實(shí)現(xiàn)需要頻繁地跨越enclave的可信邊界，并使用OCALLs直接將大多數(shù)WASI函數(shù)路由到它們的POSIX等效函數(shù)。出于性能原因：大多數(shù)WASI調(diào)用將被簡(jiǎn)單地轉(zhuǎn)換為OCALLs。其次，作者希望能夠利用其可信實(shí)現(xiàn)，例如英特爾保護(hù)的文件系統(tǒng)（IPFS）。因此，作者重構(gòu)了WAMR的WASI實(shí)現(xiàn)，以保持其沙箱實(shí)施。

實(shí)驗(yàn)評(píng)估

如圖6所示，作者使用 PolyBench/C benchmarks 來(lái)作為實(shí)驗(yàn)的benchmark，展示了30個(gè)PolyBench/C （v4.2.1-beta）測(cè)試的結(jié)果。通過(guò)native執(zhí)行時(shí)間來(lái)進(jìn)行標(biāo)準(zhǔn)化，比較了WAMR for wasm和TWINE for wasm in TEE的執(zhí)行時(shí)間，結(jié)果如圖所示。Wasm應(yīng)用程序通常比本機(jī)應(yīng)用程序慢，由于

（1）寄存器壓力增加

（2）更多的分支語(yǔ)句

（3）代碼大小增加等等

但是WAMR和TWINE之間的差距較小。

圖6：PolyBench/C benchmark的性能測(cè)試，標(biāo)準(zhǔn)化到native speed

SQLite是一個(gè)被廣泛使用的成熟的嵌入式數(shù)據(jù)庫(kù)。由于其便攜性（portability）和緊湊的尺寸（compact size），它非常適合SGX。并且SQLite能夠體現(xiàn)出性能密集型的操作和文件系統(tǒng)交互，所以作者也對(duì)它進(jìn)行了評(píng)估。作者使用了SQLite自己的性能測(cè)試程序Speedtest1，運(yùn)行了32個(gè)可用測(cè)試中的29個(gè)，覆蓋了大量場(chǎng)景。每個(gè)Speedtest1實(shí)驗(yàn)都針對(duì)于數(shù)據(jù)庫(kù)的一個(gè)方面，（例如，使用多個(gè)關(guān)節(jié)進(jìn)行選擇，更新索引記錄，等等）。測(cè)試由任意數(shù)量的SQL查詢組成，根據(jù)生成的負(fù)載可能會(huì)執(zhí)行多次。圖7中顯示了測(cè)試的結(jié)果，以native execution為標(biāo)準(zhǔn)進(jìn)行了標(biāo)準(zhǔn)化。（其中包括內(nèi)存中配置的結(jié)果，以及使用WASI的持久化數(shù)據(jù)庫(kù)的結(jié)果。）作者在所有測(cè)試中觀察到，對(duì)于in-memory數(shù)據(jù)庫(kù)和in-file數(shù)據(jù)庫(kù)，WAMR相對(duì)于本地?cái)?shù)據(jù)庫(kù)平均慢4.1x和3.7×。

在in-memory和in-file數(shù)據(jù)庫(kù)中，TWINE相對(duì)于WAMR的速度慢了1.7x和1.9x。

圖7：在SQLite Speedtest1 benchmark上的相對(duì)性能

為了更好地理解所觀察到的性能損失的來(lái)源，作者為常見(jiàn)的數(shù)據(jù)庫(kù)查詢?cè)O(shè)計(jì)了一套測(cè)試，包括插入、順序讀取和隨機(jī)讀取。根據(jù)對(duì)這三類操作的執(zhí)行時(shí)間分析，得出以下結(jié)果：

（1）圖8a顯示了關(guān)于插入記錄的結(jié)果。

由于額外的文件加密，使用TWINE的持久數(shù)據(jù)庫(kù)的操作成本線性增加。

（SGX-LKL在插入順序元素方面有更優(yōu)的方法，并遵循了TWINE的內(nèi)存性能趨勢(shì)。）

（2）圖8b顯示了順序讀取所有記錄的執(zhí)行時(shí)間。

作者在SGX內(nèi)存訪問(wèn)中發(fā)現(xiàn)了造成這種性能損失的根本原因。

（3）圖8c描述了隨機(jī)讀取的執(zhí)行時(shí)間。

隨機(jī)讀取更加經(jīng)常地觸發(fā)enclave分頁(yè)機(jī)制，文件內(nèi)隨機(jī)讀取的例子突出了TWINE的優(yōu)點(diǎn)，它提供了比SGX-LKL更快的性能，EPC（enclave page cache）限制之前為1.031×，之后為1.074×。在EPC限制以上的內(nèi)存內(nèi)插入也會(huì)有類似的性能提升，增益為1.035×。

圖8：對(duì)SQLite的插入和讀取進(jìn)行性能評(píng)估

結(jié)論

這篇論文設(shè)計(jì)并實(shí)現(xiàn)了TWINE以支持編譯為wasm的應(yīng)用運(yùn)行。TWINE提供了一個(gè)安全的軟件runtime（沙箱），它嵌入在TEE中；并且提供WASI interface，通過(guò)WASI來(lái)抽象底層環(huán)境。評(píng)估表明，SQLite可以通過(guò)WebAssembly和現(xiàn)有的系統(tǒng)接口在SGX enclave內(nèi)完全執(zhí)行，并且平均性能開銷類似。

原文標(biāo)題：思辨｜WebAssembly的嵌入式可信運(yùn)行時(shí)

文章出處：【微信公眾號(hào)：Linux閱碼場(chǎng)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。