精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

數據庫連接池的設置怎么確定大小

汽車玩家 ? 來源:今日頭條 ? 作者:Java的小本家 ? 2020-05-04 14:23 ? 次閱讀

數據庫連接池的配置是開發者們常常搞出坑的地方,在配置數據庫連接池時,有幾個可以說是和直覺背道而馳的原則需要明確。

1萬并發用戶訪問

想象你有一個網站,壓力雖然還沒到Facebook那個級別,但也有個1萬上下的并發訪問——也就是說差不多2萬左右的TPS。那么這個網站的數據庫連接池應該設置成多大呢?結果可能會讓你驚訝,因為這個問題的正確問法是:

“這個網站的數據庫連接池應該設置成多小呢?”

下面這個視頻Oracle Real World Performance Group發布的,請先看完:http://www.dailymotion.com/video/x2s8uec

因為這視頻是英文解說且沒有字幕,我替大家做一下簡單的概括:

視頻中對Oracle數據庫進行壓力測試,9600并發線程進行數據庫操作,每兩次訪問數據庫的操作之間sleep 550ms,一開始設置的中間件線程池大小為2048:

數據庫連接池的設置怎么確定大小

壓測跑起來之后是這個樣子的:

數據庫連接池的設置怎么確定大小

每個請求要在連接池隊列里等待33ms,獲得連接后執行SQL需要77ms

此時數據庫的等待事件是這個熊樣的:

數據庫連接池的設置怎么確定大小

各種buffer busy waits,數據庫CPU在95%左右(這張圖里沒截到CPU)

接下來,把中間件連接池減到1024(并發什么的都不變),性能數據變成了這樣:

數據庫連接池的設置怎么確定大小

獲取鏈接等待時長沒怎么變,但是執行SQL的耗時減少了。

下面這張圖,上半部分是wait,下半部分是吞吐量

數據庫連接池的設置怎么確定大小

能看到,中間件連接池從2048減半之后,吐吞量沒變,但wait事件減少了一半。

接下來,把數據庫連接池減到96,并發線程數仍然是9600不變。

數據庫連接池的設置怎么確定大小

隊列平均等待1ms,執行SQL平均耗時2ms。

數據庫連接池的設置怎么確定大小

wait事件幾乎沒了,吞吐量上升。

沒有調整任何其他東西,僅僅只是縮小了中間件層的數據庫連接池,就把請求響應時間從100ms左右縮短到了3ms。

But why?

為什么nginx只用4個線程發揮出的性能就大大超越了100個進程的Apache HTTPD?回想一下計算機科學的基礎知識,答案其實是很明顯的。

即使是單核CPU的計算機也能“同時”運行數百個線程。但我們都[應該]知道這只不過是操作系統用時間分片玩的一個小把戲。一顆CPU核心同一時刻只能執行一個線程,然后操作系統切換上下文,核心開始執行另一個線程的代碼,以此類推。給定一顆CPU核心,其順序執行A和B永遠比通過時間分片“同時”執行A和B要快,這是一條計算機科學的基本法則。一旦線程的數量超過了CPU核心的數量,再增加線程數系統就只會更慢,而不是更快。推薦:多線程內容聚合

這幾乎就是真理了……

有限的資源

上面的說法只能說是接近真理,但還并沒有這么簡單,有一些其他的因素需要加入。當我們尋找數據庫的性能瓶頸時,總是可以將其歸為三類:CPU、磁盤、網絡。把內存加進來也沒有錯,但比起磁盤和網絡,內存的帶寬要高出好幾個數量級,所以就先不加了。

如果我們無視磁盤和網絡,那么結論就非常簡單。在一個8核的服務器上,設定連接/線程數為8能夠提供最優的性能,再增加連接數就會因上下文切換的損耗導致性能下降。數據庫通常把數據存儲在磁盤上,磁盤又通常是由一些旋轉著的金屬碟片和一個裝在步進馬達上的讀寫頭組成的。

讀/寫頭同一時刻只能出現在一個地方,然后它必須“尋址”到另外一個位置來執行另一次讀寫操作。所以就有了尋址的耗時,此外還有旋回耗時,讀寫頭需要等待碟片上的目標數據“旋轉到位”才能進行操作。使用緩存當然是能夠提升性能的,但上述原理仍然成立。

在這一時間段(即"I/O等待")內,線程是在“阻塞”著等待磁盤,此時操作系統可以將那個空閑的CPU核心用于服務其他線程。所以,由于線程總是在I/O上阻塞,我們可以讓線程/連接數比CPU核心多一些,這樣能夠在同樣的時間內完成更多的工作。

那么應該多多少呢?這要取決于磁盤。較新型的SSD不需要尋址,也沒有旋轉的碟片。可別想當然地認為“SSD速度更快,所以我們應該增加線程數”,恰恰相反,無需尋址和沒有旋回耗時意味著更少的阻塞,所以更少的線程[更接近于CPU核心數]會發揮出更高的性能。只有當阻塞創造了更多的執行機會時,更多的線程數才能發揮出更好的性能。

網絡和磁盤類似。通過以太網接口讀寫數據時也會形成阻塞,10G帶寬會比1G帶寬的阻塞少一些,1G帶寬又會比100M帶寬的阻塞少一些。不過網絡通常是放在第三位考慮的,有些人會在性能計算中忽略它們。

數據庫連接池的設置怎么確定大小

上圖是PostgreSQL的benchmark數據,可以看到TPS增長率從50個連接數開始變緩。在上面Oracle的視頻中,他們把連接數從2048降到了96,實際上96都太高了,除非服務器有16或32顆核心。

計算公式

下面的公式是由PostgreSQL提供的,不過我們認為可以廣泛地應用于大多數數據庫產品。你應該模擬預期的訪問量,并從這一公式開始測試你的應用,尋找最合適的連接數值。

連接數 = ((核心數 * 2) + 有效磁盤數)

核心數不應包含超線程(hyper thread),即使打開了hyperthreading也是。如果活躍數據全部被緩存了,那么有效磁盤數是0,隨著緩存命中率的下降,有效磁盤數逐漸趨近于實際的磁盤數。這一公式作用于SSD時的效果如何尚未有分析。

按這個公式,你的4核i7數據庫服務器的連接池大小應該為((4 * 2) + 1) = 9。取個整就算是是10吧。是不是覺得太小了?跑個性能測試試一下,我們保證它能輕松搞定3000用戶以6000TPS的速率并發執行簡單查詢的場景。如果連接池大小超過10,你會看到響應時長開始增加,TPS開始下降。擴展:用了這么久的數據庫連接池,你知道原理嗎?

筆者注:這一公式其實不僅適用于數據庫連接池的計算,大部分涉及計算和I/O的程序,線程數的設置都可以參考這一公式。我之前在對一個使用Netty編寫的消息收發服務進行壓力測試時,最終測出的最佳線程數就剛好是CPU核心數的一倍。

公理:你需要一個小連接池,和一個充滿了等待連接的線程的隊列

如果你有10000個并發用戶,設置一個10000的連接池基本等于失了智。1000仍然很恐怖。即是100也太多了。你需要一個10來個連接的小連接池,然后讓剩下的業務線程都在隊列里等待。連接池中的連接數量應該等于你的數據庫能夠有效同時進行的查詢任務數(通常不會高于2*CPU核心數)。

我們經常見到一些小規模的web應用,應付著大約十來個的并發用戶,卻使用著一個100連接數的連接池。這會對你的數據庫造成極其不必要的負擔。

請注意

連接池的大小最終與系統特性相關。

比如一個混合了長事務和短事務的系統,通常是任何連接池都難以進行調優的。最好的辦法是創建兩個連接池,一個服務于長事務,一個服務于短事務。

再例如一個系統執行一個任務隊列,只允許一定數量的任務同時執行,此時并發任務數應該去適應連接池連接數,而不是反過來。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • SQL
    SQL
    +關注

    關注

    1

    文章

    760

    瀏覽量

    44076
  • 數據庫
    +關注

    關注

    7

    文章

    3765

    瀏覽量

    64276
收藏 人收藏

    評論

    相關推薦

    數據庫數據恢復—通過拼接數據庫碎片恢復SQLserver數據庫

    一個運行在存儲上的SQLServer數據庫,有1000多個文件,大小幾十TB。數據庫每10天生成一個NDF文件,每個NDF幾百GB大小數據庫
    的頭像 發表于 10-31 13:21 ?141次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—通過拼接<b class='flag-5'>數據庫</b>碎片恢復SQLserver<b class='flag-5'>數據庫</b>

    怎么在JAVA中確定線性大小

    在JAVA中確定線性大小,分別介紹CPU密集型任務和I/O密集型任務及其處理方法。
    的頭像 發表于 10-24 14:02 ?135次閱讀

    數據庫數據恢復—SQL Server數據庫出現823錯誤的數據恢復案例

    SQL Server數據庫故障: SQL Server附加數據庫出現錯誤823,附加數據庫失敗。數據庫沒有備份,無法通過備份恢復數據庫
    的頭像 發表于 09-20 11:46 ?288次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—SQL Server<b class='flag-5'>數據庫</b>出現823錯誤的<b class='flag-5'>數據</b>恢復案例

    恒訊科技分析:sql數據庫怎么用?

    。 2、安裝數據庫軟件: 在您的服務器或本地計算機上安裝所選的數據庫軟件。 3、配置數據庫服務器: 根據需要配置數據庫服務器設置,包括內存分
    的頭像 發表于 07-15 14:40 ?318次閱讀

    數據庫數據恢復—SQL Server數據庫所在分區空間不足報錯的數據恢復案例

    Server數據庫故障: 存放SQL Server數據庫的D盤分區容量不足,管理員在E盤中生成了一個.ndf的文件并且將數據庫路徑指向E盤繼續使用。數據庫繼續運行一段時間后出現故障
    的頭像 發表于 07-10 13:54 ?439次閱讀

    使用mybatis切片實現數據權限控制

    一、使用方式 數據權限控制需要對查詢出的數據進行篩選,對業務入侵最少的方式就是利用mybatis或者數據庫連接池的切片對已有業務的sql進行修改。切片邏輯完成后,僅需要在業務中加入少量
    的頭像 發表于 07-09 17:26 ?334次閱讀
    使用mybatis切片實現<b class='flag-5'>數據</b>權限控制

    數據庫數據恢復—raid5陣列上層Sql Server數據庫數據恢復案例

    數據庫故障: 數據庫文件丟失,主要涉及3個數據庫,數千張表。數據庫文件丟失原因未知,不能確定丟失的
    的頭像 發表于 05-08 11:43 ?477次閱讀
    <b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復—raid5陣列上層Sql Server<b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復案例

    數據庫數據恢復—ndf文件大小變為0KB的數據恢復案例

    存儲設備損壞導致存儲中SQL Server數據庫崩潰。對數據庫文件進行恢復后,用戶發現有4個ndf文件的大小變為0KB。該SQL Server數據庫每10天生成一個
    的頭像 發表于 05-07 11:19 ?397次閱讀

    PostgreSQL數據庫連接報錯故障分析

    數據庫的密碼設置錯誤或未設置,在連接到本地服務后,重新設置即可。本次錯誤就是大意將密碼錯打了一個字母。
    的頭像 發表于 03-15 10:00 ?1394次閱讀
    PostgreSQL<b class='flag-5'>數據庫</b><b class='flag-5'>連接</b>報錯故障分析

    數據庫數據恢復】Oracle數據庫ASM實例無法掛載的數據恢復案例

    oracle數據庫ASM磁盤組掉線,ASM實例不能掛載。數據庫管理員嘗試修復數據庫,但是沒有成功。
    的頭像 發表于 02-01 17:39 ?478次閱讀
    【<b class='flag-5'>數據庫</b><b class='flag-5'>數據</b>恢復】Oracle<b class='flag-5'>數據庫</b>ASM實例無法掛載的<b class='flag-5'>數據</b>恢復案例

    labview與sql數據庫連接5種方法

    連接LabVIEW和SQL數據庫是一種常見的需求,可以通過多種方法實現。本文將介紹五種連接LabVIEW和SQL數據庫的方法。 方法一:使用ADO.NET
    的頭像 發表于 01-07 16:01 ?4592次閱讀

    關于JSON數據庫

    如何理解JSON數據庫?作為NoSQL數據庫的一種類型,JSON數據庫有哪些優勢呢?JSON數據庫如何運作,它為應用程序開發者帶來了哪些價值呢?
    的頭像 發表于 12-06 13:46 ?839次閱讀
    關于JSON<b class='flag-5'>數據庫</b>

    eclipse怎么連接數據庫mysql

    連接Eclipse和MySQL數據庫可以通過JDBC(Java Database Connectivity)來實現。以下是詳細步驟: 下載并安裝MySQL數據庫:你首先需要下載并安裝MySQL
    的頭像 發表于 12-06 11:06 ?1221次閱讀

    oracle數據庫的基本操作

    Oracle數據庫是一種關系數據庫管理系統(RDBMS),廣泛應用于企業級應用中。它具有強大的功能和靈活的配置選項,可以滿足復雜的數據處理需求。本文將介紹Oracle數據庫的基本操作,
    的頭像 發表于 12-06 10:14 ?661次閱讀

    什么是JSON數據庫

    如何理解JSON數據庫?作為NoSQL數據庫的一種類型,JSON數據庫有哪些優勢呢?JSON數據庫如何運作,它為應用程序開發者帶來了哪些價值呢?文章速覽:什么是JSON什么是JSON
    的頭像 發表于 12-02 08:04 ?827次閱讀
    什么是JSON<b class='flag-5'>數據庫</b>