1 直接緩存分頁列表結果
這是最簡單易懂的方案,我們按照不同的分頁條件查詢出結果后,直接緩存分頁結果 。
偽代碼如下:
publicListgetPageList(Stringparam,intpage,intsize){ Stringkey="productList"+page+"size:"+size+ "param:"+param; List dataList=cacheUtils.get(key); if(dataList!=null){ returndataList; } dataList=queryFromDataBase(param,page,size); if(dataList!=null){ cacheUtils.set(key,dataList,Constants.ExpireTime); } }
這種方案的優(yōu)點是工程簡單,性能也快,但是有一個明顯的缺陷基因:列表緩存的顆粒度非常大 。
假如列表中數據發(fā)生增刪,為了保證數據的一致性,需要修改分頁列表緩存。
有兩種方式 :
1、依靠緩存過期來惰性的實現 ,但業(yè)務場景必須包容;
2、使用 Redis 的 keys 找到該業(yè)務的分頁緩存,執(zhí)行刪除指令。但 keys 命令對性能影響很大,會導致 Redis 很大的延遲 。
生產環(huán)境使用 keys 命令比較危險,發(fā)生事故的幾率高,非常不推薦使用 。
2 查詢對象ID列表,再緩存每個對象條目
直接緩存分頁結果雖然好用,但緩存的顆粒度太大,保證數據一致性比較麻煩。
所以我們的目標是更細粒度的控制緩存 。
我們先查詢出商品分頁對象ID列表,然后為每一個商品對象創(chuàng)建緩存 , 通過商品ID和商品對象緩存聚合成列表返回給前端。
偽代碼如下:
核心流程:
1、從數據庫中查詢分頁 ID 列表
//從數據庫中查詢分頁商品ID列表 ListproductIdList=queryProductIdListFromDabaBase( param, page, size);
對應的 SQL 類似:
SELECTidFROMproducts ORDERBYidASC LIMIT(page-1)*size,size
2、批量從緩存中獲取商品對象
MapcachedProductMap=cacheUtils.mget(productIdList);
假如我們使用本地緩存,直接一條一條從本地緩存中聚合也極快。
假如我們使用分布式緩存,Redis 天然支持批量查詢的命令 ,比如 mget ,hmget 。
3、組裝沒有命中的商品ID
ListnoHitIdList=newArrayList<>(cachedProductMap.size()); for(LongproductId:productIdList){ if(!cachedProductMap.containsKey(productId)){ noHitIdList.add(productId); } }
因為緩存中可能因為過期或者其他原因導致緩存沒有命中的情況,所以我們需要找到哪些商品沒有在緩存里。
4、批量從數據庫查詢未命中的商品信息列表,重新加載到緩存
首先從數據庫里批量 查詢出未命中的商品信息列表 ,請注意是批量 。
ListnoHitProductList=batchQuery(noHitIdList);
參數是未命中緩存的商品ID列表,組裝成對應的 SQL,這樣性能更快 :
SELECT*FROMproductsWHEREidIN (1, 2, 3, 4);
然后這些未命中的商品信息存儲到緩存里 , 使用 Redis 的 mset 命令。
//將沒有命中的商品加入到緩存里 MapnoHitProductMap= noHitProductList.stream() .collect( Collectors.toMap(Product::getId,Function.identity()) ); cacheUtils.mset(noHitProductMap); //將沒有命中的商品加入到聚合map里 cachedProductMap.putAll(noHitProductMap);
5、 遍歷商品ID列表,組裝對象列表
for(LongproductId:productIdList){ Productproduct=cachedProductMap.get(productId); if(product!=null){ result.add(product); } }
當前方案里,緩存都有命中的情況下,經過兩次網絡 IO ,第一次數據庫查詢 IO ,第二次 Redis 查詢 IO , 性能都會比較好。
所有的操作都是批量操作,就算有緩存沒有命中的情況,整體速度也較快。
”查詢對象ID列表,再緩存每個對象條目 “ 這個方案比較靈活,當我們查詢對象ID列表 ,可以不限于數據庫,還可以是搜索引擎,Redis 等等。
下圖是開源中國的搜索流程:
精髓在于:搜索的分頁結果只包含業(yè)務對象 ID ,對象的詳細資料需要從緩存 + MySQL 中獲取。
3 緩存對象ID列表,同時緩存每個對象條目
筆者曾經重構過類似朋友圈的服務,進入班級頁面 ,瀑布流的形式展示班級成員的所有動態(tài)。
我們使用推模式將每一條動態(tài) ID 存儲在 Redis ZSet 數據結構中 。Redis ZSet 是一種類型為有序集合的數據結構,它由多個有序的唯一的字符串元素組成,每個元素都關聯(lián)著一個浮點數分值。
ZSet 使用的是 member -> score 結構 :
member : 成員,也是默認的第二排序維度( score 相同時,Redis 以 member 的字典序排列)
score : 分值,存儲類型是 double
如上圖所示:ZSet 存儲動態(tài) ID 列表 , member 的值是動態(tài)編號 , score 值是創(chuàng)建時間 。
通過 ZSet 的 ZREVRANGE 命令 就可以實現分頁的效果。
ZREVRANGE 是 Redis 中用于有序集合(sorted set)的命令之一,它用于按照成員的分數從大到小返回有序集合中的指定范圍的成員。
為了達到分頁的效果,傳遞如下的分頁參數 :
通過 ZREVRANGE 命令,我們可以查詢出動態(tài) ID 列表。
查詢出動態(tài) ID 列表后,還需要緩存每個動態(tài)對象條目,動態(tài)對象包含了詳情,評論,點贊,收藏這些功能數據 ,我們需要為這些數據提供單獨做緩存配置。
無論是查詢緩存,還是重新寫入緩存,為了提升系統(tǒng)性能,批量操作效率更高。
若緩存對象結構簡單,使用 mget 、hmget 命令;若結構復雜,可以考慮使用 pipleline,Lua 腳本模式 。 筆者選擇的批量方案是 Redis 的 pipleline 功能。
我們再來模擬獲取動態(tài)分頁列表的流程:
使用 ZSet 的 ZREVRANGE 命令 ,傳入分頁參數,查詢出動態(tài) ID 列表 ;
傳遞動態(tài) ID 列表參數,通過 Redis 的 pipleline 功能從緩存中批量獲取動態(tài)的詳情,評論,點贊,收藏這些功能數據 ,組裝成列表 。
4 總結
本文介紹了實現分頁列表緩存的三種方式:
直接緩存分頁列表結果
查詢對象ID列表,只緩存每個對象條目
緩存對象ID列表,同時緩存每個對象條目
這三種方式是一層一層遞進的,要訣是:細粒度的控制緩存 和批量加載對象 。
審核編輯:劉清
-
存儲器
+關注
關注
38文章
7453瀏覽量
163608 -
SQL
+關注
關注
1文章
760瀏覽量
44078 -
MYSQL數據庫
+關注
關注
0文章
95瀏覽量
9382 -
Redis
+關注
關注
0文章
371瀏覽量
10846
原文標題:分頁列表緩存就該這樣設計!
文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。
發(fā)布評論請先 登錄
相關推薦
評論