在我們寫程序的時候往往都沒有注意到一些系統資源的臨界值,然而這些臨界值在有的時候會把我們害的很慘。
前言
在我們寫程序的時候往往都沒有注意到一些系統資源的臨界值,然而這些臨界值在有的時候會把我們害的很慘,比如一個忘掉關閉的文件描述符,比如 malloc 竟然會返回錯誤,又或者是爆棧,我們該如何解決或者說預防這些問題呢?
以下實驗僅在本機的系統環境下生效:
用戶層面資源限制
ulimit 命令可以查看用戶層面的系統資源限制。這是在 /etc/security/limits.conf 的描述:
該文件為通過 PAM 登錄的用戶設置資源限制。
它不會影響系統服務的資源限制。
還要注意 /etc/security/limits.d 目錄中的配置文件,以字母順序閱讀的內容,請覆蓋此設置域相同或更具體的情況下使用文件。
例如,這意味著在此處設置通配符域的限制可以使用配置文件中的通配符設置覆蓋子目錄,但此處的用戶特定設置只能被覆蓋在子目錄中具有特定于用戶的設置。
所以 ulimit 的確是觀察用戶層面的資源限制。
我們可以通過 ulimit -a 查看我們所有的資源上限:
只說其中我們比較關注的那些:
-s 棧大小: 8MB
-u 進程上限: 30000 多
-n 文件描述符上限: 1024
同時你可以用 ulimit -Ha 或 ulimit -Sa 查看硬限制和軟限制,硬限制是指對資源節點和數據塊的絕對限制,由 root 用戶設置硬限制。雖然其他用戶可以降低硬限制,但只有 root 用戶可以增加硬限制。至于軟限制,網上資料也沒有說什么,大概就是非 root 用戶不能超過軟限制,但是非 root 用戶可以做的是將其軟限制增加到其硬限制。
我們的服務器程序可能有打開超過 1024 個文件描述符,有沒有辦法修改這些資源的上限呢?
E.g. ulimit -n 1024 可以修改系統對文件描述符的限制,不過是臨時當前的 shell 生效的, 如果你使用 which ulimit 你會發現 ulimit 是一個 shell built-in command 的腳本。
我們應該修改 /etc/security/limits.conf 去讓我們的修改永久生效。(需要重新啟動, 可能有直接加載配置的方法,暫時不知道)
實驗 1. 修改文件描述符上限
在 / etc/security/limits.conf 中添加以下片段:
重啟后,然后查看一下資源是否真的被修改了:
說明修改成功。那么現在我們測試下我們的程序能否打開這么多個文件描述符?做個小測試,下面就是打開 10240 個臨時文件,這里我們期待錯誤 EFILE:
接著我們看一下結果:
在修改之前是 ulimit 的默認值是 1024, 然后測試出的最大打開文件描述符的數量是 1001, 現在是修改為 10240 后可以打開 10217 個文件描述符,實驗成功。
然后我們能打開的總數為什么不是剛好 10240 呢?這個問題是因為程序自身打開了一些文件或是加載了一些動態庫, stdin/stdout/stderr, 以及 /etc/ld.so.cache,/usr/lib/libm.so.6,/usr/lib/libstdc++.so.6...
實驗 2. 修改棧空間上限
同樣還是在 / etc/security/limits.conf 添加這樣兩句:
然后在 c 程序中測試棧幀的上限:
程序正常。將棧調到臨界值:
程序發生段錯誤。
但這里也只能保守的說:調整以后的一個進程的棧空間大概在 8192000B 這附近。
系統層面資源限制
單個進程打開文件句柄數上限 最大文件描述符數 10 億。
系統分配的 pid 上限是 400 多萬。
file-max 是在內核級別強制執行的最大文件描述符(FD),上限 600 萬。
已分配的文件文件描述符數,已分配但未使用的文件描述符數以及最大文件描述符數 (不可調)。
系統全局的總線程數限制為 6 萬。
單個程序所能使用內存映射空間的數量為 6 萬。
可以創建的線程的總數和這些有關:
一個進程的資源限制
!
redis 中文件描述符上限的調整
你覺得資源限制和你沒有關系?在你打開 redis-server 的時候,難道就沒有注意到這樣的一段:
Increased maximum number of open files to 10032 (it was originally set to 1024).
其含義就是將文件描述符從默認的上限調整到 10032,為了適應更多的網絡連接。
其源碼中也不過是調用了 api:
setrlimit(RLIMIT_NOFILE,&limit)
去進行了資源上限的臨時調整,此處不細講。
prlimit
最后介紹另外一個類似 ulimit 的命令 prlimit:
結語
linux 的資源限制不能說很奇妙吧,但確實值得做 linux 服務端編程的程序員們需要注意,同時我們可以通過在 /etc/security/limits.conf 去修改資源的上限。忽然想到上次問學長:為什么 linux 下需要對這些資源進行限制?都調整為 ulimited 不是很好么?
可以說我們的 linux 機器之所以限制這些資源的上限,是希望我們能夠充分利用它,把它的性能發揮到極致,而不是讓 CPU 或者文件等資源在那里閑置著,浪費計算機的生命。
審核編輯:劉清
-
Linux系統
+關注
關注
4文章
591瀏覽量
27353 -
VIM
+關注
關注
0文章
134瀏覽量
15276
原文標題:在Linux系統中使用Vim讀寫遠程文件的命令詳解
文章出處:【微信號:良許Linux,微信公眾號:良許Linux】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論