當(dāng)前位置：首頁(yè) > 运维知识 > 数据库 >内容正文

数据库

学会数据库读写分离、分表分库

發(fā)布時(shí)間：2025/4/5 数据库 26 豆豆

生活随笔收集整理的這篇文章主要介紹了学会数据库读写分离、分表分库小編覺得挺不錯(cuò)的,現(xiàn)在分享給大家,幫大家做個(gè)參考.

https://www.cnblogs.com/joylee/p/7513038.html

系統(tǒng)開發(fā)中，數(shù)據(jù)庫(kù)是非常重要的一個(gè)點(diǎn)。除了程序的本身的優(yōu)化，如：SQL語句優(yōu)化、代碼優(yōu)化，數(shù)據(jù)庫(kù)的處理本身優(yōu)化也是非常重要的。主從、熱備、分表分庫(kù)等都是系統(tǒng)發(fā)展遲早會(huì)遇到的技術(shù)問題問題。Mycat是一個(gè)廣受好評(píng)的數(shù)據(jù)庫(kù)中間件，已經(jīng)在很多產(chǎn)品上進(jìn)行使用了。希望通過這篇文章的介紹，能學(xué)會(huì)Mycat的使用。

安裝

Mycat官網(wǎng)：http://www.mycat.io/
可以了解下Mycat的背景和應(yīng)用情況，這樣使用起來比較有信心。

Mycat下載地址：http://dl.mycat.io/
官網(wǎng)有個(gè)文檔，屬于詳細(xì)的介紹，初次入門，看起來比較花時(shí)間。

下載：
建議大家選擇 1.6-RELEASE 版本，畢竟是比較穩(wěn)定的版本。

安裝：
根據(jù)不同的系統(tǒng)選擇不同的版本。包括linux、windows、mac,作者考慮還是非常周全的，當(dāng)然，也有源碼版的。（ps:源碼版的下載后，只要配置正確，就可以正常運(yùn)行調(diào)試，這個(gè)贊一下。）

Mycat的安裝其實(shí)只要解壓下載的目錄就可以了，非常簡(jiǎn)單。
安裝完成后，目錄如下：

目錄說明

bin	mycat命令，啟動(dòng)、重啟、停止等
catlet	catlet為Mycat的一個(gè)擴(kuò)展功能
conf	Mycat 配置信息,重點(diǎn)關(guān)注
lib	Mycat引用的jar包，Mycat是java開發(fā)的
logs	日志文件，包括Mycat啟動(dòng)的日志和運(yùn)行的日志。

配置

Mycat的配置文件都在conf目錄里面，這里介紹幾個(gè)常用的文件：

文件說明

server.xml	Mycat的配置文件，設(shè)置賬號(hào)、參數(shù)等
schema.xml	Mycat對(duì)應(yīng)的物理數(shù)據(jù)庫(kù)和數(shù)據(jù)庫(kù)表的配置
rule.xml	Mycat分片（分庫(kù)分表）規(guī)則

Mycat的架構(gòu)其實(shí)很好理解，Mycat是代理，Mycat后面就是物理數(shù)據(jù)庫(kù)。和Web服務(wù)器的Nginx類似。對(duì)于使用者來說，訪問的都是Mycat，不會(huì)接觸到后端的數(shù)據(jù)庫(kù)。
我們現(xiàn)在做一個(gè)主從、讀寫分離，簡(jiǎn)單分表的示例。結(jié)構(gòu)如下圖：

服務(wù)器IP說明

Mycat	192.168.0.2	mycat服務(wù)器，連接數(shù)據(jù)庫(kù)時(shí)，連接此服務(wù)器
database1	192.168.0.3	物理數(shù)據(jù)庫(kù)1，真正存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)
database2	192.168.0.4	物理數(shù)據(jù)庫(kù)2，真正存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)

Mycat作為主數(shù)據(jù)庫(kù)中間件，肯定是與代碼弱關(guān)聯(lián)的，所以代碼是不用修改的，使用Mycat后，連接數(shù)據(jù)庫(kù)是不變的，默認(rèn)端口是8066。連接方式和普通數(shù)據(jù)庫(kù)一樣，如：jdbc:mysql://192.168.0.2:8066/

server.xml

示例

Copy <user name="test"><property name="password">test</property> <property name="schemas">lunch</property> <property name="readOnly">false</property>   </user>

重點(diǎn)關(guān)注下面這段，其他默認(rèn)即可。

參數(shù)說明

user	用戶配置節(jié)點(diǎn)
--name	登錄的用戶名，也就是連接Mycat的用戶名
--password	登錄的密碼，也就是連接Mycat的密碼
--schemas	數(shù)據(jù)庫(kù)名，這里會(huì)和schema.xml中的配置關(guān)聯(lián)，多個(gè)用逗號(hào)分開，例如需要這個(gè)用戶需要管理兩個(gè)數(shù)據(jù)庫(kù)db1,db2，則配置db1,dbs
--privileges	配置用戶針對(duì)表的增刪改查的權(quán)限，具體見文檔吧

我這里配置了一個(gè)賬號(hào)test 密碼也是test,針對(duì)數(shù)據(jù)庫(kù)lunch,讀寫權(quán)限都有，沒有針對(duì)表做任何特殊的權(quán)限。

schema.xml
schema.xml是最主要的配置項(xiàng)，首先看我的配置文件。

Copy <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/">  <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1,dn2" rule="mod-long" /> </schema>  <dataNode name="dn1" dataHost="test1" database="lunch" /> <dataNode name="dn2" dataHost="test2" database="lunch" />  <dataHost name="test1" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> </writeHost> </dataHost> <dataHost name="test2" maxCon="1000" minCon="10" balance="0" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostS1" url="192.168.0.3:3306" user="root" password="123456"> </writeHost> </dataHost> </mycat:schema> 參數(shù)說明

schema	數(shù)據(jù)庫(kù)設(shè)置，此數(shù)據(jù)庫(kù)為邏輯數(shù)據(jù)庫(kù)，name與server.xml中schema對(duì)應(yīng)
dataNode	分片信息，也就是分庫(kù)相關(guān)配置
dataHost	物理數(shù)據(jù)庫(kù)，真正存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫(kù)

每個(gè)節(jié)點(diǎn)的屬性逐一說明：

schema:

屬性說明

name	邏輯數(shù)據(jù)庫(kù)名，與server.xml中的schema對(duì)應(yīng)
checkSQLschema	數(shù)據(jù)庫(kù)前綴相關(guān)設(shè)置，建議看文檔，這里暫時(shí)設(shè)為folse
sqlMaxLimit	select 時(shí)默認(rèn)的limit，避免查詢?nèi)?/td>

table:

屬性說明

name	表名，物理數(shù)據(jù)庫(kù)中表名
dataNode	表存儲(chǔ)到哪些節(jié)點(diǎn)，多個(gè)節(jié)點(diǎn)用逗號(hào)分隔。節(jié)點(diǎn)為下文dataNode設(shè)置的name
primaryKey	主鍵字段名，自動(dòng)生成主鍵時(shí)需要設(shè)置
autoIncrement	是否自增
rule	分片規(guī)則名，具體規(guī)則下文rule詳細(xì)介紹

dataNode

屬性說明

name	節(jié)點(diǎn)名，與table中dataNode對(duì)應(yīng)
datahost	物理數(shù)據(jù)庫(kù)名，與datahost中name對(duì)應(yīng)
database	物理數(shù)據(jù)庫(kù)中數(shù)據(jù)庫(kù)名

dataHost

屬性說明

name	物理數(shù)據(jù)庫(kù)名，與dataNode中dataHost對(duì)應(yīng)
balance	均衡負(fù)載的方式
writeType	寫入方式
dbType	數(shù)據(jù)庫(kù)類型
heartbeat	心跳檢測(cè)語句，注意語句結(jié)尾的分號(hào)要加。

應(yīng)用場(chǎng)景

數(shù)據(jù)庫(kù)分表分庫(kù)

配置如下：

我在192.168.0.2、192.168.0.3均有數(shù)據(jù)庫(kù)lunch。
lunchmenu、restaurant、userlunch、users這些表都只寫入節(jié)點(diǎn)dn1，也就是192.168.0.2這個(gè)服務(wù)，而dictionary寫入了dn1、dn2兩個(gè)節(jié)點(diǎn)，也就是192.168.0.2、192.168.0.3這兩臺(tái)服務(wù)器。分片的規(guī)則為：mod-long。
主要關(guān)注rule屬性，rule屬性的內(nèi)容來源于rule.xml這個(gè)文件，Mycat支持10種分表分庫(kù)的規(guī)則，基本能滿足你所需要的要求，這個(gè)必須贊一個(gè)，其他數(shù)據(jù)庫(kù)中間件好像都沒有這么多。
table中的rule屬性對(duì)應(yīng)的就是rule.xml文件中tableRule的name,具體有哪些分表和分庫(kù)的實(shí)現(xiàn)，建議還是看下文檔。我這里選擇的mod-long就是將數(shù)據(jù)平均拆分。因?yàn)槲液蠖耸莾膳_(tái)物理庫(kù)，所以rule.xml中mod-long對(duì)應(yīng)的function count為2，見下面部分代碼：

Copy <tableRule name="mod-long"><rule> <columns>id</columns> <algorithm>mod-long</algorithm> </rule> </tableRule> <function name="mod-long" class="io.mycat.route.function.PartitionByMod">  <property name="count">2</property> </function>

數(shù)據(jù)庫(kù)讀寫分離

配置如下：

Copy <?xml version="1.0"?> <!DOCTYPE mycat:schema SYSTEM "schema.dtd"> <mycat:schema xmlns:mycat="http://io.mycat/">  <schema name="lunch" checkSQLschema="false" sqlMaxLimit="100"> <table name="lunchmenu" dataNode="dn1" /> <table name="restaurant" dataNode="dn1" /> <table name="userlunch" dataNode="dn1" /> <table name="users" dataNode="dn1" /> <table name="dictionary" primaryKey="id" autoIncrement="true" dataNode="dn1" /> </schema>  <dataNode name="dn1" dataHost="test1" database="lunch" />  <dataHost name="test1" maxCon="1000" minCon="10" balance="1" writeType="0" dbType="mysql" dbDriver="native"> <heartbeat>select user();</heartbeat> <writeHost host="hostM1" url="192.168.0.2:3306" user="root" password="123456"> <readHost host="hostM1" url="192.168.0.3:3306" user="root" password="123456"> </readHost> </writeHost> </dataHost> </mycat:schema>

這樣的配置與前一個(gè)示例配置改動(dòng)如下：
刪除了table分配的規(guī)則,以及datanode只有一個(gè)
datahost也只有一臺(tái)，但是writehost總添加了readhost,balance改為1，表示讀寫分離。
以上配置達(dá)到的效果就是102.168.0.2為主庫(kù)，192.168.0.3為從庫(kù)。

注意：Mycat主從分離只是在讀的時(shí)候做了處理，寫入數(shù)據(jù)的時(shí)候，只會(huì)寫入到writehost，需要通過mycat的主從復(fù)制將數(shù)據(jù)復(fù)制到readhost，這個(gè)問題當(dāng)時(shí)候我糾結(jié)了好久，數(shù)據(jù)寫入writehost后，readhost一直沒有數(shù)據(jù)，以為是自己配置的問題，后面才發(fā)現(xiàn)Mycat就沒有實(shí)現(xiàn)主從復(fù)制的功能，畢竟數(shù)據(jù)庫(kù)本身自帶的這個(gè)功能才是最高效穩(wěn)定的。

至于其他的場(chǎng)景，如同時(shí)主從和分表分庫(kù)也是支持的了，只要了解這個(gè)實(shí)現(xiàn)以后再去修改配置，都是可以實(shí)現(xiàn)的。而熱備及故障專業(yè)官方推薦使用haproxy配合一起使用，大家可以試試。

使用

Mycat的啟動(dòng)也很簡(jiǎn)單，啟動(dòng)命令在Bin目錄：

Copy ##啟動(dòng) mycat start ##停止 mycat stop ##重啟 mycat restart

如果在啟動(dòng)時(shí)發(fā)現(xiàn)異常，在logs目錄中查看日志。

wrapper.log 為程序啟動(dòng)的日志，啟動(dòng)時(shí)的問題看這個(gè)
mycat.log 為腳本執(zhí)行時(shí)的日志，SQL腳本執(zhí)行報(bào)錯(cuò)后的具體錯(cuò)誤內(nèi)容,查看這個(gè)文件。mycat.log是最新的錯(cuò)誤日志，歷史日志會(huì)根據(jù)時(shí)間生成目錄保存。

mycat啟動(dòng)后，執(zhí)行命令不成功，可能實(shí)際上配置有錯(cuò)誤，導(dǎo)致后面的命令沒有很好的執(zhí)行。

Mycat帶來的最大好處就是使用是完全不用修改原有代碼的，在mycat通過命令啟動(dòng)后，你只需要將數(shù)據(jù)庫(kù)連接切換到Mycat的地址就可以了。如下面就可以進(jìn)行連接了：

Copy mysql -h192.168.0.1 -P8806 -uroot -p123456

連接成功后可以執(zhí)行sql腳本了。
所以，可以直接通過sql管理工具（如：navicat、datagrip）連接，執(zhí)行腳本。我一直用datagrip來進(jìn)行日常簡(jiǎn)單的管理，這個(gè)很方便。

Mycat還有一個(gè)管理的連接，端口號(hào)是9906.

Copy mysql -h192.168.0.1 -P9906 -uroot -p123456

連接后可以根據(jù)管理命令查看Mycat的運(yùn)行情況，當(dāng)然，喜歡UI管理方式的人，可以安裝一個(gè)Mycat-Web來進(jìn)行管理，有興趣自行搜索。

簡(jiǎn)而言之，開發(fā)中使用Mycat和直接使用Mysql機(jī)會(huì)沒有差別。

常見問題

使用Mycat后總會(huì)遇到一些坑，我將自己遇到的一些問題在這里列一下，希望能與大家有共鳴：

Mycat是不是配置以后，就能完全解決分表分庫(kù)和讀寫分離問題？
Mycat配合數(shù)據(jù)庫(kù)本身的復(fù)制功能，可以解決讀寫分離的問題，但是針對(duì)分表分庫(kù)的問題，不是完美的解決。或者說，至今為止，業(yè)界沒有完美的解決方案。
分表分庫(kù)寫入能完美解決，但是，不能完美解決主要是聯(lián)表查詢的問題，Mycat支持兩個(gè)表聯(lián)表的查詢，多余兩個(gè)表的查詢不支持。其實(shí)，很多數(shù)據(jù)庫(kù)中間件關(guān)于分表分庫(kù)后查詢的問題，都是需要自己實(shí)現(xiàn)的，而且節(jié)本都不支持聯(lián)表查詢，Mycat已經(jīng)算做地非常先進(jìn)了。
分表分庫(kù)的后聯(lián)表查詢問題，大家通過合理數(shù)據(jù)庫(kù)設(shè)計(jì)來避免。
Mycat支持哪些數(shù)據(jù)庫(kù)，其他平臺(tái)如 .net、PHP能用嗎？
官方說了，支持的數(shù)據(jù)庫(kù)包括MySQL、SQL Server、Oracle、DB2、PostgreSQL 等主流數(shù)據(jù)庫(kù)，很贊。
盡量用Mysql,我試過SQL Server，會(huì)有些小問題，因?yàn)椴糠终Z法有點(diǎn)差異。
Mycat 非JAVA平臺(tái)如 .net、PHP能用嗎？
可以用。這一點(diǎn)MyCat做的也很棒。

參考

《Mycat權(quán)威指南》：?http://www.mycat.io/document/Mycat_V1.6.0.pdf
官網(wǎng) ：http://www.mycat.io/

如果想熟練使用Mycat，建議要仔細(xì)看看官方推薦的文檔，可能需要花點(diǎn)時(shí)間。本文只是簡(jiǎn)單的介紹下Mycat的配置，希望能快速讓大家對(duì)Mycat有個(gè)認(rèn)識(shí)，官方的文檔理解起來也很容易，只是需要的時(shí)間更多，本文為說明的參數(shù)，請(qǐng)參考官方文檔。

轉(zhuǎn)載于:https://www.cnblogs.com/davidwang456/articles/10366244.html

總結(jié)

以上是生活随笔為你收集整理的学会数据库读写分离、分表分库的全部?jī)?nèi)容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網(wǎng)站內(nèi)容還不錯(cuò)，歡迎將生活随笔推薦給好友。

上一篇： spring-session用redis
下一篇： spring boot多数据源配置(my