cachetools,這是一個可擴展的基于內存的 Collections、Decorators 的封裝實現。
因為是 Cache,那么就一定有它的頁面置換算法。根據操作系統學過的一些知識,置換算法就會有 LRU、LFU、FIFO 等等。比如說,當 Cache 已經滿了的情況下,如果這時候再插入一個新的數據,那么這時候就需要根據頁面置換算法對已有的數據進行置換,用新的數據替代舊的數據,保證 Cache 最大占用量不會超標。
廢話不多說了,這里我們來體驗下這個庫的具體用法吧。
首先是安裝,直接使用 pip3 安裝即可:
pip3 install cachetools
安裝好之后,我們再來看看它的具體用法。
基本 Cache 的使用
我們來看一個簡單的實例:
from cachetools import Cache
cache = Cache(maxsize=3)
cache['1'] = 'Hello'
cache['2'] = 'World'
print('current size', cache.currsize)
cache.pop('2')
print(cache.items)
print('length', len(cache))
cache['3'] = 'Hello'
cache['4'] = 'World'
print('current size', cache.currsize)
cache['5'] = 'Hello'
print('current size', cache.currsize)
print(cache.items)
運行結果如下:
current size 2
bound method Mapping.items of Cache([('1', 'Hello')], maxsize=3, currsize=1) >
length 1
current size 3
current size 3
bound method Mapping.items of Cache([('3', 'Hello'), ('4', 'World'), ('5', 'Hello')], maxsize=3, currsize=3) >
首先這里聲明了一個 Cache 對象,有一個必傳的參數是 maxsize,這里設置為 3,這里的 3 其實就是長度的意思,并不是實際內存占用大小。
接著我們賦值了 1 和 2 兩個鍵名,接著打印出來了當前 Cache 的大小,所以結果就是 2,這個 size 就是一個單純的數量值。
然后接著調用了 pop 方法移除了 2 對應的內容,然后打印 Cache 的所有內容和對應長度,理所應當,長度就是 2,然后就剩下一個值。
接著我們又賦值了 3 和 4 兩個鍵名,然后打印了當前 Cache 的大小,這會 Cache 達到了 maxsize,結果就是 3。
最后我們又賦值了 5 這個鍵名,然后打印了當前 Cache 的大小和 Cache 的所有內容,因為 Cache 已經達到了 maxsize 了,所以結果依然是 3,最前面的 1 這個鍵名對應的內容就被移除了。
所以,這個 Cache 對象可以維持一個最大恒定大小,并且保證長度不會超過 maxsize。
其他 Cache 的使用
當然除了 Cache,還有一些 Cache 的子類,比如說 FIFOCache、LFUCahce、LRUCache、MRUCache、RRCache,這里簡單說下:
- FIFO:First In、First Out,就是先進先出。
- LFU:Least Frequently Used,就是淘汰最不常用的。
- LRU:Least Recently Used,就是淘汰最久不用的。
- MRU:Most Recently Used,與 LRU 相反,淘汰最近用的。
- RR:Random Replacement,就是隨機替換。
具體的實例這里就不再講解了。
特殊 TTLCache 的使用
當然除了基本的 Cache,cachetools 還提供了一種特殊的 Cache 實現,叫做 TTLCache。
TTL 就是 time-to-live 的簡稱,也就是說,Cache 中的每個元素都是有過期時間的,如果超過了這個時間,那這個元素就會被自動銷毀。如果都沒過期并且 Cache 已經滿了的話,那就會采用 LRU 置換算法來替換掉最久不用的,以此來保證數量。
下面我們來看一個樣例:
from datetime import timedelta, datetime
from cachetools import TTLCache
from time import sleep
cache = TTLCache(maxsize=3, ttl=timedelta(seconds=5), timer=datetime.now)
cache['1'] = 'Hello'
sleep(1)
cache['2'] = 'World'
print(cache.items)
sleep(4.5)
print(cache.items)
sleep(1)
print(cache.items)
運行結果如下:
這里我們聲明了一個 TTLCache,maxsize 是 3,然后 ttl 設置為了 5 秒,也就是說,每個元素 5 秒之后都會過期。
首先我們賦值 1 這個鍵名為 Hello,然后 1 秒之后賦值 2 這個鍵名為 World,接著將現有 Cache 的結果輸出出來。
接著等待 4.5 秒,這時候 1 這個鍵名就已經超過 5 秒了,所以 1 這個鍵名理應就被銷毀了。
接著再等待 1 秒,這時候 2 這個鍵名也超過 5 秒了,所以 2 這個鍵名也理應就被銷毀了。
最后看運行結果也如我們期望的一樣。
大小計算
有的同學說,你這里 maxsize 用的這個數字指的是內容的長度,但實際上不同的內容占用的空間是完全不一樣的,有沒有根據實際內存占用來計算 size 的方法呢?
有的!
這里我們只需要替換掉 Cache 的 getsizeof 方法即可。
這里我們需要額外引入一個庫,叫做 pympler,它提供了一個 asizeof 方法可以計算實際 Object 的占用內存大小,單位是 bytes。
pympler 安裝:
pip3 install pympler
所以,如果我們要設置 Cache 占用的最大內存大小,比如 2MB,那就可以這么設置:
from cachetools import Cache
from pympler import asizeof
cache = Cache(maxsize=2 * 1024 * 1024, getsizeof=asizeof.asizeof)
cache['a'] = '123'
print(cache.currsize)
cache['b'] = '123'
print(cache.currsize)
cache['c'] = '456'
print(cache.currsize)
cache['d'] = {
'a': 'b',
'b': 'c',
'c': 'd'
}
print(cache.currsize)
這里 maxsize 我們就設置為了 2MB,同時 getsizeof 方法設置為了 pympler 的 asizeof 方法,這樣 Cache 在計算 size 的時候就會用 asizeof 方法了。
這里我們隨便插入一些數據,看看實際的 size 變化,運行結果如下:
56
112
168
640
其結果就是 Cache 占用的字節數。可以看到數據的復雜度高,占用的空間越大。
更多
好了,其實到現在為止,基本的 Cache 和 TTLCache 就夠我們使用了。
-
封裝
+關注
關注
126文章
7794瀏覽量
142741 -
內存
+關注
關注
8文章
3004瀏覽量
73900 -
操作系統
+關注
關注
37文章
6747瀏覽量
123203 -
Cache
+關注
關注
0文章
129瀏覽量
28304 -
python
+關注
關注
56文章
4783瀏覽量
84473
發布評論請先 登錄
相關推薦
評論