NAND Flash以其大容量、低價格等優勢迅速成為嵌入式系統存儲的新寵,因此其上的文件系統研究也日益廣泛。本文簡要介紹了常用的NAND Flash文件系統YAFFS,并針對YAFFS在均勻損耗和掉電恢復方面進行在線測試。在給出測試結果的同時,著重研究嵌入式軟件測試方案和方法;對測試結果進行分析,并提出改進方案和適用環境。
關鍵詞 ?NAND Flash? 均勻損耗? 軟件測試? YAFFS
引言
隨著嵌入式技術在各種電子產品中的廣泛應用,嵌入式系統中的數據存儲和管理已經成為一個重要的研究課題。Flash存儲器具有速度快、容量大、成本低等很多優點,因此在嵌入式系統中被廣泛用作外存儲器件。嵌入式系統中的Flash存儲器需要有自己的文件系統,而不能直接移植通用文件系統, 主要有兩個原因:? 第一,嵌入式系統的應用條件惡劣,電源電壓不穩定,突發性斷電以及非法插拔都容易造成災難性的影響,通用文件系統對于可靠性的設計考慮不足;第二,通用文件系統的記錄信息(如FAT表)需要被多次修改,而記錄信息放在Flash存儲器固定的區塊中,將導致該區塊的頻繁操作,從而縮短Flash器的使用壽命。這樣就對軟件技術提出了更高的要求。
為了管理復雜的存儲硬件,同時提供可靠高效的存儲環境,出現了基于NAND和NOR的文件系統。目前主流的FFS(Flash File System)有如下3種:TrueFFS、JFFSx以及YAFFS。YAFFS(Yet Another Flash File System)是專門為NAND Flash設計的嵌入式文件系統,適用于大容量的存儲設備。它是日志結構的文件系統,提供了損耗平衡和掉電保護等機制,可以有效地減小上述原因對文件系統一致性和完整性的影響。本文正是基于這樣的前提,介紹了關于嵌入式YAFFS文件系統測試方案,針對文件系統中損耗平衡和掉電保護兩個重要的系統性能指標進行實時在線的測試與分析,不同的應用環境使用該文件系統應進行相應的修改。
1? YAFFS文件系統概述
YAFFS文件系統類似于JFFS/JFFS2文件系統。不同的是,JFFS1/2文件系統最初是針對NOR Flash的應用場合設計的,而NOR Flash和NAND Flash本質上有較大的區別。盡管JFFS1/2文件系統也能應用于NAND Flash,但由于它在內存占用和啟動時間方面針對NOR的特性做了一些取舍,所以對NAND來說通常并不是最優的方案。
1.1? NOR和NAND的比較
基本上NOR比較適合存儲程序代碼,其容量一般較小(比如小于32 MB),且價格較高;而NAND容量可達1 GB以上,價格也相對便宜,適合存儲數據。一般來說,128 MB以下容量NAND Flash芯片的一頁大小為512字節,用來存放數據,每一頁還有16 字節的備用空間(Spare Data),充當OOB(Out Of Band)區域,用來存儲ECC(Error Correction Code)校驗/壞塊標志等信息;再由若干頁組成一個塊,通常一塊為32頁(16 KB)。與NOR相比,NAND不是完全可靠的。每塊芯片出廠時允許有一定比例的壞塊存在,對數據的存取不是使用線性地址映射,而是通過寄存器的操作串行存取數據。
1.2? YAFFS數據在NAND上的存儲方式
YAFFS根據NAND閃存以頁為單位存取的特點,將文件組織成固定大小的數據段。利用NAND閃存提供的每頁16字節的備用空間來存放ECC檢驗信息和文件系統的組織信息,不僅能夠實現錯誤檢測和壞塊處理,而且能夠提高文件系統的加載速度。
YAFFS將文件組織成固定大小(512字節)的數據段。每個文件都有一個頁面專門存放文件頭,文件頭保存了文件的模式、所有者id、組id、長度、文件名等信息。為了提高文件數據塊的查找速度,文件的數據段組織成樹形結構。YAFFS在文件進行改寫時,總是先寫入新的數據塊,然后將舊的數據塊從文件中刪除。YAFFS使用存放在頁面備用空間中的ECC進行錯誤檢測,出現錯誤后會進行一定次數的重試;多次重試失敗后,該頁面就被停止使用。以(512+16)字節為一頁的NAND Flash芯片為例,YAFFS文件系統數據的存儲布局如圖1所示。
2? YAFFS文件系統測試方案總體設計
2.1? 測試總體說明
YAFFS文件系統是開源的,測試基于白盒測試。在所關心的代碼段中,插入測試代碼。為保證測試代碼不對原代碼造成影響,測試后可立即恢復為原代碼,所有測試代碼(包括測試用變量和函數)均嵌入到#define FS_TEST宏定義中。
2.2? 模擬文件的生成
嵌入式環境下對文件系統進行大量、長時間的測試存在很多問題,不易實現,對測試代碼的插入和數據的監視也比較困難。這里采用PC模擬測試的形式,用文件的讀/寫模擬NAND器件,并在PC上對模擬文件監視,以達到測試的目的。代碼定義了各種NAND器件的類型,以適應不同的器件。模擬器件時,也用這些信息生成相應的模擬文件。
指明要模擬的NAND器件的大小(FILE_SIZE_IN_MEG)和結構(BLOCKS_PER_MEG,BLOCK_SIZE)后,按照相應的大小和結構生成文件g_filedisk。
3? 均勻損耗測試
3.1? 測試目的
NAND Flash器件每個Block區塊的擦寫次數有限。在需要實時記錄的應用環境中,為保證器件壽命,應盡量使每個區塊的擦寫次數相對平均,以最大程度地延長NAND Flash器件的使用壽命。此項測試記錄每個Block區塊的擦寫次數,以測試YAFFS文件系統在均勻損耗方面的性能。
3.2? 測試方法
測試代碼在器件模擬文件的每一頁的Spare區后,增加了字節,用于記錄該頁的擦寫次數。由于擦寫是以Block為單位進行的,因此每個Block各頁的擦寫記錄數是相同的。在以后的測試中,可以只使用第一頁的該Block空間記錄擦寫次數,其他空間作其他測試用。
測試代碼插入到CheckInit()和yaffs_FEEraseBlockInNAND()(yaffs_fileem.cpp)中,在初始化器件模擬文件時,生成(新模擬文件)或讀取(己有模擬文件)擦寫次數;并在程序執行擦寫函數時,對擦寫次數進行累加和保存。
測試程序用到的測試變量: 記錄擦寫次數的數組-g_ersNumArray[FILE_SIZE_IN_MEG*BLOCKS_PER_MEG]、指向擦寫的最大值-g_pErsMax和指向擦寫的最小值?g_pErsMin。
測試程序用WireOut0.log和WireOut1.log兩個文件記錄每個Block區塊的擦寫次數,查看這兩個文件,可以看到每個區塊的擦寫次數以及最大/最小值。兩個文件是等同的,因測試時間比較長,取兩個文件以避免系統在寫記錄文件時出錯,而丟失所有的記錄;兩個文件輪流寫,保證至少有一個文件的內容是系統出錯前最近的記錄。
3.3? 測試結果
YAFFS文件系統按“順序”使用未分配的空間用于新的寫入操作,并以同樣“順序”擦除廢棄的區塊。寫入和擦除操作,均按順序在未分配的空間或廢棄的空間中進行。當系統未用空間小于某一預設值后,系統將對存在廢棄頁的區塊進行回收。這種寫入和擦除策略在一定程度上保證了損耗的均勻性。
這種機制雖然在一定程度上滿足均勻損耗的要求,但還是存在問題,并不適用于所有的嵌入式應用環境。假設在一塊16 MB的NAND器件上,有10 MB空間用來存放相對固定、不經常修改的數據文件,則經常修改的文件只能在剩下的6 MB空間上重復擦寫,在這6 MB空間上做到“均勻損耗”。對整個器件來說,系統并沒有合適的搬移策略對固定文件進行搬移,整個器件做不到均勻損耗。在實時記錄信息量比較大的應用環境中,應編寫相應的搬移策略函數,對固定文件進行定期的搬移,以確保整個NAND器件的均勻損耗。
4? 掉電恢復性能測試
4.1? 測試目的
文件系統應能保證在系統突然斷電的情況下,最大限度地恢復(保護)有用數據。如果在修改一個文件時掉電,那么掉電后的文件保護方式根據實際情況可分為3種:
①? 用舊文件完全代替新寫文件,新寫文件(沒寫完)被忽略。這種保護方式應用比較多,比如在更新設置時掉電,使用掉電前的設置,用戶是可以接受的。
②? 用新文件完全代替舊文件(新文件寫了多少就保留多少)。這種保護方式適合應用于文本的情況,比如短信。新短信雖然不完整,但根據情況用戶可以得到部分信息,如果發送方信息完整或屬于可猜測的情況,則可以要求發送方重發。
③? 己寫部分用新文件,未寫部分用老文件,所謂“新加舊”的保護方式。這種保護方式可以應用在動態更新的文件上。但是,對于使用偏移量進行的文件讀寫操作,采用這種保護方式,會產生亂碼。
4.2? 測試方法
測試代碼隨機產生掉電消息,模擬一次掉電行為。測試代碼插入到yaffs_FEWriteChunkToNAND()(yaffs_fileem.cpp)中,在寫Data區和Spare區時分別產生隨機掉電位置,模擬掉電行為。掉電后,程序重新掛接文件系統,并讀取掉電時正在更新的文件,與原文件相比給出判定結果。
程序用到的測試變量: 掉電類別?g_tstPowerOff,1為Data區掉電,2為Spare區掉電。在完全模擬時,掉電類別隨機產生。程序用TestLog.log記錄掉電后判定的結果。TestLog.log為增加方式打開,新記錄寫在最后,不影響原有的記錄結果。
4.3? 測試手段
模擬一次“掉電”行為,需要進行特殊的處理。實際的掉電行為在電源重新供給后,整個系統會重新開始,包括重新啟動文件系統。掉電前系統的所有參數、系統堆棧以及現場均失效。在測試中模擬掉電行為有一定的難度,直接斷電既不安全,也不現實,可用exit()函數中止程序來模擬。在執行寫操作時,寫入隨機的字節數后,用exit()函數立即中止程序的運行;再重新啟動程序,讀取掉電時寫入的文件,分析文件以檢查文件系統新的掉電保護功能。
上述測試手段不適用于自動測試,也不可能手工進行大量的測試。筆者在該項測試中,巧妙地使用了try{}和catch{}結構,既模擬了實際的掉電行為,又保證了自動測試的順利進行。
模擬掉電行為的核心代碼如下:
#ifdef FS_TEST//測試代碼段
switch(rand() % 5) {//隨機產生20%的掉電率
case 0://無掉電情況
case 1:
case 2:
case 3:
write(g_filedisk,localData,512);
break;
case 4://模擬掉電行為,隨機產生掉電時己寫的字節數
write(g_filedisk,localData,rand() % 512);
close(g_filedisk);//己掉電,關閉磁盤模擬文件
initialised = 0;//為防止文件系統出差,置初始化標志為未初始化拋出異常,直接返回到文件系統加載處,跳過函數正常返回的過程
throw int(0x01);
//exit(0);
break;
}
#endif
主控程序代碼如下:
yaffs_StartUp();
yaffs_mount((signed char*)"/Root");
poCode = 0;
try {
//修改一個文件(在寫文件時,每頁會有20%的掉電率)
modify_in_a_file("/Root/File");
}
catch(int i_code) {
poCode = i_code;
}
//模擬掉電結束后重新掛接系統,并測試掉電文件的正確性
yaffs_StartUp();
yaffs_mount((signed char*)"/Root");
copy_out_a_file("File.poff", (signed char *)"/Boot/File");
yaffs_unmount((signed char*)"/Root");
//以下檢測File.poff的正確性
4.4? 測試結果
YAFFS-NAND文件系統,只提供上述的②和③兩種文件保護方式。在打開文件時,若以“截短為0”的方式打開已有文件,則保護方式為第②種,使用新文件完全代替舊文件。若以修改的方式打開己有文件,則保護方式為第③種,使用新加舊的保護方式。
需要注意的是: 在數據區掉電的情況下,以上兩種保護方式完好,測試通過。但在Spare區掉電的情況下,文件系統有很大的概率讀不出掉電時的文件,幾乎不能正常使用。在實際掉電情況中,按Data區和Spare區的比例關系(512∶16),寫操作掉電時發生在Spare區的概率為3.03%,不可接受。另外,文件系統不提供舊文件的保護方式,對于這類應用(還是比較多的)需要另外實現。
4.5? 對YaffsNAND在掉電保護方面的改進
4.5.1? 增加保護方式
Yaffs-NAND文件系統在原理上決定了只能有上述的②和③兩種文件保護方式。要提供第一種保護方式,需要對文件系統進行擴展,增加2個函數和2個結構體:
int yaffs_openEx(signed char *path, int oflag, int mode, SProInfo *i_proInfo=NULL)
int yaffs_closeEx(int fd, SProInfo *i_proInfo=NULL)
typedef enum EProMode {
EOnlyOld,
EOnlyNew,
ENewOld,
EDefault,
}EProMode;
typedef struct SProInfo {
EProMode proMode;
signed char *name;
int fd;
SProInfo() {
proMode=EDefault;
name=NULL;
fd=-1;
}
}SProInfo;
EOnlyOld、EOnlyNew、ENewOld和EDefault分別表示3種不同的保護方式和默認保護方式(由原文件系統提供)。SProInfo結構不僅記錄保護方式,還記錄了該文件名,供關閉文件時使用。
yaffs_openEx()根據傳入的保護方式,修改打開文件的標志,以顯式地設置原有的②、③兩種保護方式。當保護方式為EOnlyOld時,yaffs_openEx()將打開另一個新的臨時文件,并返回給用戶使用。傳入的SProInfo結構的指針,將帶回文件名和文件句柄,供關閉文件時用。yaffs_closeEx()函數在關閉文件時,檢查文件的保護方式。若為第②、③種情況,則直接關閉;若為第一種情況,則先刪除原文件,再把新文件重新命名,以達到文件保護的目的。
使用方法如下:
①? 使用默認方式,則與原文件系統使用方法相同。新參數默認為NULL,可以直接兼容己有代碼。
②? 使用擴展方式,則要先生成一個SProInfo的對象,但將其指針傳給yaffs_openEx()。關閉時同樣要將其指針傳給yaffs_closeEx()。例如:
SProInfo pif;
pif.proMode=EOnlyOld;//使用第一種保護方式
int h=yaffs_openEx(Name, O_CREAT | O_RDWR, S_IREAD | S_IWRITE, &pif);
//用文件句柄h對文件進行讀寫操作
yaffs_closeEx(h, &pif);
對進行上述改進后的擴展方法進行測試,結果同改進前;但增加了只保留舊文件的第一種保護方式,程序運行良好。
4.5.2? Spare區掉電不能恢復的修改
對源代碼進行深入研究,發現在Spare區掉電不能恢復的問題出在Spare區的Tag信息自檢驗部分。yaffs_GetTagsFromSpare()函數從Spare區讀取Tag信息的過程中,調用yaffs_CheckECCOnTags()檢驗Tag信息。但是,原代碼對ECC校驗錯誤的Spare區,只是將錯誤修正,并返回到上層函數;上層函數僅記錄Tag出錯次數,并不做處理。因此,在Spare區掉電時,會出現不可恢復的錯誤。
修改yaffs_GetTagsFromSpare()函數的返回類型為int,以返回Spare區的ECC校驗錯誤信息。當yaffs_CheckECCOnTags()返回Tag校驗錯誤時,yaffs_GetTagsFromSpare()函數將此錯誤返回。在調用此函數的地方,進行相應的修改: 當Spare區ECC出錯時,調用yaffs_DeleteChunk(),刪除該頁。因掉電引發的Spare錯誤不可恢復的問題,經修改后運行良好。
結語
YAFFS文件系統是專門為NAND閃存而設計的,它使得價格低廉的NAND閃存芯片具有了高效性和健壯性;但YAFFS文件系統在性能上還存在著問題,并不完全適用于對性能苛求的嵌入式系統。本文針對YAFFS文件系統中均勻損耗和掉電恢復兩個重要指標進行測試,給出了測試結果,并針對測試過程中存在的部分問題提出了改進方案。實際測試表明,改進后系統性能有明顯改善,能適應更多的應用環境。
評論
查看更多