memcache、redis原理對比

一、問題：

數(shù)據(jù)庫表數(shù)據(jù)量極大（千萬條），要求讓服務器更加快速地響應用戶的需求。

二、解決方案：

1.通過高速服務器Cache緩存數(shù)據(jù)庫數(shù)據(jù)

2.內(nèi)存數(shù)據(jù)庫

（這里僅從數(shù)據(jù)緩存方面考慮，當然，后期可以采用Hadoop+HBase+Hive等分布式存儲分析平臺）

三、主流解Cache和數(shù)據(jù)庫對比：

上述技術基本上代表了當今在數(shù)據(jù)存儲方面所有的實現(xiàn)方案，其中主要涉及到了普通關系型數(shù)據(jù)庫（MySQL/PostgreSQL），NoSQL數(shù)據(jù)庫（MongoDB），內(nèi)存數(shù)據(jù)庫（Redis），內(nèi)存Cache（Memcached），我們現(xiàn)在需要的是對大數(shù)據(jù)表仍保持高效的查詢速度，普通關系型數(shù)據(jù)庫是無法滿足的。而MongoDB其實只是一種非關系型數(shù)據(jù)庫，其優(yōu)勢在于可以存儲海量數(shù)據(jù)，具備強大的查詢功能，因此不宜用于緩存數(shù)據(jù)的場景。

從以上各數(shù)據(jù)可知，對于我們產(chǎn)品最可行的技術方案有兩種：

1.Memcached 內(nèi)存Key-Value Cache

2.Redis 內(nèi)存數(shù)據(jù)庫

四、下面重點分析Memcached和Redis兩種方案：

4.1 Memcached介紹

Memcached 是一個高性能的分布式內(nèi)存對象緩存系統(tǒng)，用于動態(tài)Web應用以減輕數(shù)據(jù)庫負載。它通過在內(nèi)存中緩存數(shù)據(jù)和對象來減少讀取數(shù)據(jù)庫的次數(shù)，從而提供動態(tài)、數(shù)據(jù)庫驅動網(wǎng)站的速度，現(xiàn)在已被LiveJournal、hatena、Facebook、Vox、LiveJournal等公司所使用。

4.2 Memcached工作方式分析

許多Web應用都將數(shù)據(jù)保存到 RDBMS中，應用服務器從中讀取數(shù)據(jù)并在瀏覽器中顯示。 但隨著數(shù)據(jù)量的增大、訪問的集中，就會出現(xiàn)RDBMS的負擔加重、數(shù)據(jù)庫響應惡化、 網(wǎng)站顯示延遲等重大影響。Memcached是高性能的分布式內(nèi)存緩存服務器，通過緩存數(shù)據(jù)庫查詢結果，減少數(shù)據(jù)庫訪問次數(shù)，以提高動態(tài)Web等應用的速度、 提高可擴展性。下圖展示了memcache與數(shù)據(jù)庫端協(xié)同工作情況：

其中的過程是這樣的：

1.檢查用戶請求的數(shù)據(jù)是緩存中是否有存在，如果有存在的話，只需要直接把請求的數(shù)據(jù)返回，無需查詢數(shù)據(jù)庫。

2.如果請求的數(shù)據(jù)在緩存中找不到，這時候再去查詢數(shù)據(jù)庫。返回請求數(shù)據(jù)的同時，把數(shù)據(jù)存儲到緩存中一份。

3.保持緩存的“新鮮性”，每當數(shù)據(jù)發(fā)生變化的時候（比如，數(shù)據(jù)有被修改，或被刪除的情況下），要同步的更新緩存信息，確保用戶不會在緩存取到舊的數(shù)據(jù)。

Memcached作為高速運行的分布式緩存服務器，具有以下的特點：

協(xié)議簡單

基于libevent的事件處理

內(nèi)置內(nèi)存存儲方式

memcached不互相通信的分布式

4.3 如何實現(xiàn)分布式可拓展性？

Memcached的分布式不是在服務器端實現(xiàn)的，而是在客戶端應用中實現(xiàn)的，即通過內(nèi)置算法制定目標數(shù)據(jù)的節(jié)點，如下圖所示：

4.4 Redis 介紹

Redis是一個key-value存儲系統(tǒng)。和Memcached類似，它支持存儲的value類型相對更多，包括string（字符串）、 list（鏈表）、set（集合）和zset（有序集合）。這些數(shù)據(jù)類型都支持push/pop、add/remove及取交集并集和差集及更豐富的操作，而且這些操作都是原子性的。在此基礎上，redis支持各種不同方式的排序。與memcached一樣，為了保證效率，數(shù)據(jù)都是緩存在內(nèi)存中。區(qū)別的是redis會周期性的把更新的數(shù)據(jù)寫入磁盤或者把修改操作寫入追加的記錄文件，并且在此基礎上實現(xiàn)了master-slave（主從）同步，當前 Redis的應用已經(jīng)非常廣泛，國內(nèi)像新浪、淘寶，國外像 Flickr、Github等均在使用Redis的緩存服務。

4.5 Redis 工作方式分析

Redis作為一個高性能的key-value數(shù)據(jù)庫具有以下特征：

多樣的數(shù)據(jù)模型

持久化

主從同步

Redis支持豐富的數(shù)據(jù)類型，最為常用的數(shù)據(jù)類型主要由五種：String、Hash、List、Set和Sorted Set。Redis通常將數(shù)據(jù)存儲于內(nèi)存中，或被配置為使用虛擬內(nèi)存。Redis有一個很重要的特點就是它可以實現(xiàn)持久化數(shù)據(jù)，通過兩種方式可以實現(xiàn)數(shù)據(jù)持久化：使用RDB快照的方式，將內(nèi)存中的數(shù)據(jù)不斷寫入磁盤；或使用類似MySQL的AOF日志方式，記錄每次更新的日志。前者性能較高，但是可能會引起一定程度的數(shù)據(jù)丟失；后者相反。 Redis支持將數(shù)據(jù)同步到多臺從數(shù)據(jù)庫上，這種特性對提高讀取性能非常有益。

4.6 Redis如何實現(xiàn)分布式可拓展性？

2.8以前的版本：與Memcached一致，可以在客戶端實現(xiàn)，也可以使用代理，twitter已開發(fā)出用于Redis和Memcached的代理Twemproxy 。

3.0 以后的版本：相較于Memcached只能采用客戶端實現(xiàn)分布式存儲，Redis則在服務器端構建分布式存儲。Redis Cluster是一個實現(xiàn)了分布式且允許單點故障的Redis高級版本，它沒有中心節(jié)點，各個節(jié)點地位一致，具有線性可伸縮的功能。如圖給出Redis Cluster的分布式存儲架構，其中節(jié)點與節(jié)點之間通過二進制協(xié)議進行通信，節(jié)點與客戶端之間通過ascii協(xié)議進行通信。在數(shù)據(jù)的放置策略上，Redis Cluster將整個 key的數(shù)值域分成16384個哈希槽，每個節(jié)點上可以存儲一個或多個哈希槽，也就是說當前Redis Cluster支持的最大節(jié)點數(shù)就是16384

五、綜合結論

應該說Memcached和Redis都能很好的滿足解決我們的問題，它們性能都很高，總的來說，可以把Redis理解為是對Memcached的拓展，是更加重量級的實現(xiàn)，提供了更多更強大的功能。具體來說：

1.性能上：

性能上都很出色，具體到細節(jié)，由于Redis只使用單核，而Memcached可以使用多核，所以平均每一個核上Redis在存儲小數(shù)據(jù)時比

Memcached性能更高。而在100k以上的數(shù)據(jù)中，Memcached性能要高于Redis，雖然Redis最近也在存儲大數(shù)據(jù)的性能上進行優(yōu)化，但是比起 Memcached，還是稍有遜色。

2.內(nèi)存空間和數(shù)據(jù)量大小：

MemCached可以修改最大內(nèi)存，采用LRU算法。Redis增加了VM的特性，突破了物理內(nèi)存的限制。

3.操作便利上：

MemCached數(shù)據(jù)結構單一，僅用來緩存數(shù)據(jù)，而Redis支持更加豐富的數(shù)據(jù)類型，也可以在服務器端直接對數(shù)據(jù)進行豐富的操作，這樣可以減少網(wǎng)絡IO次數(shù)和數(shù)據(jù)體積。

4.可靠性上：

MemCached不支持數(shù)據(jù)持久化，斷電或重啟后數(shù)據(jù)消失，但其穩(wěn)定性是有保證的。Redis支持數(shù)據(jù)持久化和數(shù)據(jù)恢復，允許單點故障，但是同時也會付出性能的代價。

5.應用場景：

Memcached：動態(tài)系統(tǒng)中減輕數(shù)據(jù)庫負載，提升性能；做緩存，適合多讀少寫，大數(shù)據(jù)量的情況（如人人網(wǎng)大量查詢用戶信息、好友信息、文章信息等）。

Redis：適用于對讀寫效率要求都很高，數(shù)據(jù)處理業(yè)務復雜和對安全性要求較高的系統(tǒng)（如新浪微博的計數(shù)和微博發(fā)布部分系統(tǒng)，對數(shù)據(jù)安全性、讀寫要求都很高）。

六、需要慎重考慮的部分

1.Memcached單個key-value大小有限，一個value最大只支持1MB，而Redis最大支持512MB

2.Memcached只是個內(nèi)存緩存，對可靠性無要求；而Redis更傾向于內(nèi)存數(shù)據(jù)庫，因此對對可靠性方面要求比較高

3.從本質上講，Memcached只是一個單一key-value內(nèi)存Cache；而Redis則是一個數(shù)據(jù)結構內(nèi)存數(shù)據(jù)庫，支持五種數(shù)據(jù)類型，因此Redis除單純緩存作用外，還可以處理一些簡單的邏輯運算，Redis不僅可以緩存，而且還可以作為數(shù)據(jù)庫用

4.新版本（3.0）的Redis是指集群分布式，也就是說集群本身均衡客戶端請求，各個節(jié)點可以交流，可拓展行、可維護性更強大。