数据库连接配置策略和实践
一 前言
應用執行SQL請求完成的過程中,數據庫連接占很重要一部分。尤其是涉及到流量瞬間暴漲,需要創建大量連接,或者網絡異常導致重連時,從業務端來看,sql執行緩慢的問題,此時sql執行并非真的慢。 本文是基于我們自己的生產環境的Durid最佳實踐,僅供各位參考,當然不同公司的鏈路/業務壓力可能不一樣。具體到個別參數需要區別對待。
二 具體實踐
從整體系統的角度,我們要考慮幾個點 ,數據庫連接數配置多少合適,針對空閑連接,網絡異常的超時時間,如何高效復用連接,druid 版本選擇這幾個方面來介紹。
2.1 如何設置連接池大小
合適的連接池大小和業務請求的 QPS 和 單個請求的 RT(單位為毫秒)。
基本公式:
連接數 = QPS /(1000/RT) + N = QPS * RT /1000 + N
注意: 此處 QPS 和 RT 為單個應用端統計。假定隨連接數量增加,客戶端能處理的請求數線性增加。
舉個例子
比如 一個請求的耗時rt=2ms,每個連接能處理的請求數量 S = 1000/2 =500 ,業務層總請求量是 M=5000 ,那么合理的連接數為 M/S=5000/500=10 為了避免連接數被占滿,我們會在上面的連接數的基礎上再加上N ,最終的連接數為10+N .統計平時的最大 QPS 和此時的 RT,以此計算 minIdle,并設置 initialSize = minIdle。
統計峰值時的 QPS 和此時的 RT,以此計算 maxActive。
可以通過以下方法,通過 jmx 觀察 Druid 實際的連接池狀況,重點關注 ActiveCount:活動連接數,PoolingCount:池子中的連接數。并根據實際情況考慮調整。
java -XX:+UseConcMarkSweepGC -XX:+CMSClassUnloadingEnabled -XX:+TieredCompilation -XX:TieredStopAtLevel=1 -Xverify:none -client -jar /PATH/cmdline-jmxclient-0.10.3.jar - 127.0.0.1:7777 'com.alibaba.druid:type=DruidDataSourceStat' DataSourceList |& grep -E 'ActiveCount|PoolingCount'
2.2 如何設置超時時間
連接池中的超時時間主要有:
connectTimeout 建立 TCP 連接的超時時間
maxWait 從連接池獲取連接的最長等待時間
socketTimeout 發送請求后等待響應的超時時間
其中,
connectTimeout 建議不要小于 1200ms。TCP 在建立連接時,SYN 包的超時重傳時間為 1s。connectTimeout 設置過短,很可能造成應用發布時,初始化連接池過程中由于網絡抖動,或中間網絡設備需要初始化狀態發生丟包觸發超時,從而造成連接池初始化失敗而導致發布失敗。
socketTimeout 可以根據應用最長的查詢返回時間設置。過長會造成生網絡問題,或數據庫服務有問題時雪崩;過短也會造成頻繁請求超時。不要短于 300ms。TCP 的最小 RTO 為 200ms,并根據延遲動態調整。過短的超時時間會造成單個丟包就造成請求超時。生產環境數據庫都配置有 SQL Killer,會自動殺死執行時間過長的請求。因此,設置過長的 socketTimeout 也是沒有意義的。
maxWait 可以根據應用期待的等待時間設置。為避免在發生網絡問題,或數據庫服務有問題時雪崩,這個時間設置不要過大。下面的默認值 800ms 是個保守的設置。應用可以設置一個更短的時間,如 300ms。過短的時間也會造成在連接池中連接數不足,需要新建連接時造成大量超時。建議不要低于 100ms。
2.3 如何設置連接保持時間
設置連接保持活躍的時間需要考慮是直連還是通過數據庫中間件proxy連接。一般現在的生產環境大多為:
App -> LVS -> Proxy -> DB
其中應用到 RDS 的訪問路徑為 App -> LVS -> Proxy 。
其中,LVS 空閑連接保留時間為 90s。Proxy 為了避免訪問到已被關閉的連接,自身的空閑連接保留時間為 [70, 85) s。因此,應用程序為了避免從連接池獲取到已被關閉的連接,應當設置自身保留空閑連接時間不能超過70s。打開KeepAlive之后的效果
初始化連接池時會填充到minIdle數量。
連接池中的minIdle數量以內的連接,空閑時間超過
minEvictableIdleTimeMillis,則會執行keepAlive操作。
當網絡斷開等原因產生的由ExceptionSorter檢測出來的死連接被清除后,自動補充連接到minIdle數量。
timeBetweenEvictionRunsMillis=10000, minEvictableIdleTimeMillis=44000, maxEvictableIdleTimeMillis=55000。2.4 必選配置項
以下默認配置可以根據實際情況調整。
<bean id="cartDataSource" class="com.alibaba.druid.pool.DruidDataSource"init-method="init" destroy-method="close"><property name="url" value="${cluster.jdbc.url}"/><property name="username" value="${cluster.jdbc.username}"/><property name="password" value="${cluster.jdbc.password}"/><property name="connectionInitSqls" value="set names utf8mb4"/><!-- 連接池初始連接數 --><property name="initialSize" value="5" /><!-- 允許的最大同時使用中(在被業務線程持有,還沒有歸還給druid) 的連接數 --><property name="maxActive" value="20" /><!-- 允許的最小空閑連接數,空閑連接超時踢除過程會最少保留的連接數 --><property name="minIdle" value="5" /><!-- 從連接池獲取連接的最大等待時間 800毫秒;業務方根據可以自行調整--><property name="maxWait" value="800" /><!-- 一條物理連接的最大存活時間 120分鐘--><property name="phyTimeoutMillis" value="7200000"/><!-- 強行關閉從連接池獲取而長時間未歸還給druid的連接(認為異常連接)--><property name="removeAbandoned" value="true"/><!-- 異常連接判斷條件,超過180 秒 則認為是異常的,需要強行關閉 --><property name="removeAbandonedTimeout" value="180"/><!-- 從連接池獲取到連接后,如果超過被空閑剔除周期,是否做一次連接有效性檢查 --><property name="testWhileIdle" value="true"/><!-- 從連接池獲取連接后,是否馬上執行一次檢查 --><property name="testOnBorrow" value="false"/><!-- 歸還連接到連接池時是否馬上做一次檢查 --><property name="testOnReturn" value="false"/><!-- 連接有效性檢查的SQL --><property name="validationQuery" value="SELECT 1"/><!-- 連接有效性檢查的超時時間 1 秒 --><property name="validationQueryTimeout" value="1"/><!-- 周期性剔除長時間呆在池子里未被使用的空閑連接, 10秒一次--><property name="timeBetweenEvictionRunsMillis" value="10000"/><!-- 空閑多久可以認為是空閑太長而需要剔除 44 秒--><property name="minEvictableIdleTimeMillis" value="44000"/><!-- 如果空閑時間太長即使連接池所剩連接 < minIdle 也會被剔除 55 秒 --><property name="maxEvictableIdleTimeMillis" value="55000"/><!-- 是否設置自動提交,相當于每個語句一個事務 --><property name="defaultAutoCommit" value="true"/><!-- 記錄被判定為異常的連接 --><property name="logAbandoned" value="true"/><!-- 網絡讀取超時,網絡連接超時socketTimeout : 對于線上業務小于5s,對于BI等執行時間較長的業務的SQL,需要設置大一點--><property name="connectionProperties" value="socketTimeout=3000;connectTimeout=1200"/><property name="proxyFilters"><list><ref bean="log-filter"/></list></property> </bean>1.0.28版本之后,新加入keepAlive配置,缺省關閉。使用keepAlive功能,建議使用1.1.16或者更高版本。一般業務無需打開,除非分鐘請求量在個位數或者啟動時間超長導致初始連接都過期。
2.5 druid版本
建議使用最新版本,不要使用太老的版本,以免遇到 bug。
e.g. Maven 配置:
<dependency><groupId>com.alibaba</groupId><artifactId>druid</artifactId><version>1.0.27</version></dependency>三 小結
本文算是 的一個補充,希望對需要關注數據庫連接配置的朋友有所幫助。
本公眾號長期關注于數據庫技術以及性能優化,故障案例分析,數據庫運維技術知識分享,個人成長和自我管理等主題,歡迎掃碼關注。
轉載于:https://www.cnblogs.com/yangyi402/p/11607439.html
總結
以上是生活随笔為你收集整理的数据库连接配置策略和实践的全部內容,希望文章能夠幫你解決所遇到的問題。
- 上一篇: CentOS 8 正式发布
- 下一篇: linux cmake编译源码,linu