free 命令是Linux系統上查看內存使用狀況最常用的工具，然而很少有人能說清楚 “buffers” 與 “cached” 之間的區別：

我們先拋出結論，如果你對研究過程感興趣可以繼續閱讀后面的段落：

buffers 表示塊設備(block device)所占用的緩存頁，包括：直接讀寫塊設備、以及文件系統元數據(metadata)，比如SuperBlock所使用的緩存頁；

cached 表示普通文件數據所占用的緩存頁。

下面是分析過程：

先用 strace 跟蹤 free 命令，看看它是如何計算 buffers 和 cached 的：

#stracefree
...
open("/proc/meminfo",O_RDONLY)=3
lseek(3,0,SEEK_SET)=0
read(3,"MemTotal:3848656kB
MemF"...,2047)=1170
...

顯然 free 命令是從 /proc/meminfo 中讀取信息的，跟我們直接讀到的結果一樣：

#cat/proc/meminfo
MemTotal:3848656kB
MemFree:865640kB
Buffers:324432kB
Cached:2024904kB
...
SwapTotal:2031612kB
SwapFree:2031612kB
...
Shmem:5312kB
...

那么 /proc/meminfo 中的 Buffers 和 Cached 又是如何得來的呢？這回沒法偷懶，只能去看源代碼了。源代碼文件是：fs/proc/meminfo.c ，我們感興趣的函數是：meminfo_proc_show()，閱讀得知：

Cached 來自于以下公式：

global_page_state(NR_FILE_PAGES)–total_swapcache_pages–i.bufferram

global_page_state(NR_FILE_PAGES) 表示所有的緩存頁(page cache)的總和，它包括：

Cached

Buffers 也就是上面公式中的 i.bufferram，來自于 nr_blockdev_pages() 函數的返回值。

交換區緩存(swap cache)

global_page_state(NR_FILE_PAGES) 來自 vmstat[NR_FILE_PAGES]，vmstat[NR_FILE_PAGES] 可以通過 /proc/vmstat 來查看，表示所有緩存頁的總數量：

#cat/proc/vmstat
...
nr_file_pages587334
...

注意以上nr_file_pages是以page為單位（一個page等于4KB），而free命令是以KB為單位的。

直接修改 nr_file_pages 的內核函數是：__inc_zone_page_state(page, NR_FILE_PAGES) 和__dec_zone_page_state(page, NR_FILE_PAGES)，一個用于增加，一個用于減少。

Swap Cache是什么？

用戶進程的內存頁分為兩種：file-backed pages（與文件對應的內存頁）和anonymous pages（匿名頁）。匿名頁(anonymous pages)是沒有關聯任何文件的，比如用戶進程通過malloc()申請的內存頁，如果發生swapping換頁，它們沒有關聯的文件進行回寫，所以只能寫入到交換區里。

交換區可以包括一個或多個交換區設備（裸盤、邏輯卷、文件都可以充當交換區設備），每一個交換區設備在內存里都有對應的swap cache，可以把swap cache理解為交換區設備的page cache：page cache對應的是一個個文件，swap cache對應的是一個個交換區設備，kernel管理swap cache與管理page cache一樣，用的都是radix-tree，唯一的區別是：page cache與文件的對應關系在打開文件時就確定了，而一個匿名頁只有在即將被swap-out的時候才決定它會被放到哪一個交換區設備，即匿名頁與swap cache的對應關系在即將被swap-out時才確立。

并不是每一個匿名頁都在swap cache中，只有以下情形之一的匿名頁才在：

匿名頁即將被swap-out時會先被放進swap cache，但通常只存在很短暫的時間，因為緊接著在pageout完成之后它就會從swap cache中刪除，畢竟swap-out的目的就是為了騰出空閑內存；【注：參見mm/vmscan.c: shrink_page_list()，它調用的add_to_swap()會把swap cache頁面標記成dirty，然后它調用try_to_unmap()將頁面對應的page table mapping都刪除，再調用pageout()回寫dirty page，最后try_to_free_swap()會把該頁從swap cache中刪除。】

曾經被swap-out現在又被swap-in的匿名頁會在swap cache中，直到頁面中的內容發生變化、或者原來用過的交換區空間被回收為止。【注：當匿名頁的內容發生變化時會刪除對應的swap cache，代碼參見mm/swapfile.c: reuse_swap_page()。】

cached：

Cached 表示除去 buffers 和 swap cache 之外，剩下的也就是普通文件的緩存頁的數量：

global_page_state(NR_FILE_PAGES)–total_swapcache_pages–i.bufferram

所以關鍵還是要理解 buffers 是什么含義。

buffers：

從源代碼中看到，buffers 來自于 nr_blockdev_pages() 函數的返回值：

longnr_blockdev_pages(void)
{
structblock_device*bdev;
longret=0;
spin_lock(&bdev_lock);
list_for_each_entry(bdev,&all_bdevs,bd_list){
ret+=bdev->bd_inode->i_mapping->nrpages;
}
spin_unlock(&bdev_lock);
returnret;
}

這段代碼的意思是遍歷所有的塊設備(block device)，累加每個塊設備的inode的i_mapping的頁數，統計得到的就是 buffers。顯然 buffers 是與塊設備直接相關的。

那么誰會更新塊設備的緩存頁數量(nrpages)呢？我們繼續向下看。

搜索kernel源代碼發現，最終點我更新mapping->nrpages字段的函數就是：

pagemap.h:add_to_page_cache
>filemap.c:add_to_page_cache_locked

C__add_to_page_cache_locked
>page_cache_tree_insert
和：
filemap.c:delete_from_page_cache
>__delete_from_page_cache
>page_cache_tree_delete

staticinlineintadd_to_page_cache(structpage*page,
structaddress_space*mapping,pgoff_toffset,gfp_tgfp_mask)
{
interror;

__set_page_locked(page);
error=add_to_page_cache_locked(page,mapping,offset,gfp_mask);
if(unlikely(error))
__clear_page_locked(page);
returnerror;
}

voiddelete_from_page_cache(structpage*page)
{
structaddress_space*mapping=page->mapping;
void(*freepage)(structpage*);

BUG_ON(!PageLocked(page));

freepage=mapping->a_ops->freepage;
spin_lock_irq(&mapping->tree_lock);
__delete_from_page_cache(page,NULL);
spin_unlock_irq(&mapping->tree_lock);
mem_cgroup_uncharge_cache_page(page);

if(freepage)
freepage(page);
page_cache_release(page);
}

這兩個函數是通用的，block device 和 文件inode 都可以調用，至于更新的是塊設備的(buffers)還是文件的(cached)，取決于參數變量mapping：如果mapping對應的是塊設備，那么相應的統計信息會反映在 buffers 中；如果mapping對應的是文件inode，影響的就是 cached。我們下面看看kernel中哪些地方會把塊設備的mapping傳遞進來。

首先是塊設備本身，打開時使用 bdev->bd_inode->i_mapping。

staticintblkdev_open(structinode*inode,structfile*filp)
{
structblock_device*bdev;

/*
*Preservebackwardscompatibilityandallowlargefileaccess
*evenifuserspacedoesn'taskforitexplicitly.Somemkfs
*binaryneedsit.Wemightwanttodropthisworkaround
*duringanunstablebranch.
*/
filp->f_flags|=O_LARGEFILE;

if(filp->f_flags&O_NDELAY)
filp->f_mode|=FMODE_NDELAY;
if(filp->f_flags&O_EXCL)
filp->f_mode|=FMODE_EXCL;
if((filp->f_flags&O_ACCMODE)==3)
filp->f_mode|=FMODE_WRITE_IOCTL;

bdev=bd_acquire(inode);
if(bdev==NULL)
return-ENOMEM;

filp->f_mapping=bdev->bd_inode->i_mapping;

returnblkdev_get(bdev,filp->f_mode,filp);
}

其次，文件系統的Superblock也是使用塊設備：

structsuper_block{
...
structblock_device*s_bdev;
...
}

intinode_init_always(structsuper_block*sb,structinode*inode)
{
...
if(sb->s_bdev){
structbacking_dev_info*bdi;

bdi=sb->s_bdev->bd_inode->i_mapping->backing_dev_info;
mapping->backing_dev_info=bdi;
}
...
}

sb表示SuperBlock，s_bdev就是塊設備。Superblock是文件系統的metadata（元數據），不屬于文件，沒有對應的inode，所以，對metadata操作所涉及的緩存頁都只能利用塊設備mapping，算入 buffers 的統計值內。

如果文件含有間接塊(indirect blocks)，因為間接塊也屬于metadata，所以走的也是塊設備的mapping。查看源代碼，果然如此：

ext4_get_blocks
->ext4_ind_get_blocks
->ext4_get_branch
->sb_getblk

staticinlinestructbuffer_head*
sb_getblk(structsuper_block*sb,sector_tblock)
{
return__getblk(sb->s_bdev,block,sb->s_blocksize);
}

這樣我們就知道了buffers 是塊設備(block device)占用的緩存頁，分為兩種情況：

直接對塊設備進行讀寫操作；

文件系統的metadata（元數據），比如 SuperBlock。

驗證：

現在我們來做個測試，驗證一下上述結論。既然文件系統的metadata會用到 buffers，我們用 find 命令掃描文件系統，觀察 buffers 增加的情況：

#free
totalusedfreesharedbufferscached
Mem:3848656288950895914853162638962023340
-/+buffers/cache:6022723246384
Swap:203161202031612

#find/-nameabc.def

#free
totalusedfreesharedbufferscached
Mem:3848656298405286460453203196122023348
-/+buffers/cache:6410923207564
Swap:203161202031612

再測試一下直接讀取block device，觀察buffers增加的現象：

#free
totalusedfreesharedbufferscached
Mem:3848656300694484171253163310202028648
-/+buffers/cache:6472763201380
Swap:203161202031612

#ddif=/dev/sda1of=/dev/nullcount=2000
2000+0recordsin
2000+0recordsout
1024000bytes(1.0MB)copied,0.026413s,38.8MB/s

#free
totalusedfreesharedbufferscached
Mem:3848656300770484095253163318722028692
-/+buffers/cache:6471403201516
Swap:203161202031612

結論：

free 命令所顯示的 buffers 表示塊設備(block device)所占用的緩存頁，包括直接讀寫塊設備、以及文件系統元數據(metadata)如SuperBlock所使用的緩存頁；而 cached 表示普通文件所占用的緩存頁。