常用rsync命令操作梳理
?
作為一個運維工程師，經常可能會面對幾十臺、幾百臺甚至上千臺服務器，除了批量操作外，環境同步、數據同步也是必不可少的技能。
說到“同步”，不得不提的利器就是rsync。rsync不但可以在本機進行文件同步，也可以作為遠程同步工具。
前面提到了rsync+inotify實時同步方案部署，下面結合本人近幾年運維工作中對這一工具使用的經驗，簡單在此梳理下：
rsync同步命令中常用的幾個參數說明：
-a, --archive 歸檔模式，表示以遞歸方式傳輸文件，并保持所有文件屬性，等于-rlptgoD -v, --verbose 詳細模式輸出 -p, --perms 保持文件權限 -g, --group 保持文件屬組信息 -o, --owner 保持文件屬主信息 -r, --recursive 對子目錄以遞歸模式處理。同步目錄的時候要加上這個參數 -l, --links 保留軟鏈結，加上這個參數，同步過來的文件會保持之前的軟鏈接屬性不變 -H, --hard-links 保留硬鏈結 -e, --rsh=COMMAND 指定使用rsh、ssh方式進行數據同步 -z, --compress 對備份的文件在傳輸時進行壓縮處理 --stats 給出某些文件的傳輸狀態 --progress 打印同步的過程 --timeout=TIME 同步過程中，IP超時時間，單位為秒 --delete 刪除那些目標目錄中有而源目錄中沒有的多余文件。這個是rsync做增量方式的全備份的最佳選擇方案！！！！！！ --delete-before 接受者在輸出之前進行刪除操作。即先將目標目錄中文件全部刪除，再將源目錄文件拷貝過去。這是rsync保持目標目錄跟源目錄一致的方案！！！ --delete-after 在同步操作之后做比較，刪除那些目標目錄中有而源目錄中沒有的多余文件 --delete-excluded 刪除目標目錄中那些被該選項指定排除的文件 --ignore-errors 即使出現IO錯誤也進行刪除，忽略錯誤 --exclude 指定同步時需要過濾掉的文件或子目錄(即不需要同步過去的)，后面直接跟不需要同步的單個文件名或子目錄(不需要跟路徑) ，過濾多個文件或子目錄，就使用多個--exclude --exclude-from 指定同步時需要過濾掉的文件或子目錄，后面跟文件(比如/root/exclue.txt)，然后將不需要同步的文件和子目錄放到/root/exclue.txt下。 --version 打印版本信息 --port=PORT 指定其他的rsync服務端口 --log-format=formAT 指定日志文件格式 --password-file=FILE 從FILE中得到密碼 --bwlimit=KBPS 限制I/O帶寬，KBytes per second
通常用到的rsync同步命令，如下：
25791是ssh端口
[root@bastion-IDC ~]# rsycn -e "ssh -p 25791" -avpgolr ?php5.5.1 192.168.1.22:/Data/app/
==========================rsync常規錯誤=======================
rsync: failed to set times on "." (in test_upload): Permission denied (13) rsync: opendir "." (in test_upload) failed: Permission denied (13)原因是由于selinux沒有關閉導致的，關閉它即可！ [root@test ~]# getenforce Enforcing [root@test ~]# setenforce 0 [root@test ~]# getenforce Permissive [root@test ~]# sed -i 's/SELINUX=enforcing/SELINUX=disabled/g' /etc/sysconfig/selinux
rsync如何實現同步目標路徑下的目錄，不同步路徑下的文件 ，只想同步目錄結構
[root@bastion-IDC ~]# rsync -av --delete -f '+ */' -f '- *' SRC/ DEST/
rsync在遠程同步的時候，要求目標目錄要和源目錄保持同步，目標目錄中多余的文件都要刪除
這就需要用到了參數--delete，如下：
[root@bastion-IDC ~]# /usr/bin/rsync -vlzrtogp --progress --delete root@192.168.1.120::test --password-file=/root/192.168.1.115 /root/2013/
但是這個--delete加上去就是一個危險的命令，因為它是在同步之前先將目標目錄中的文件刪除，然后再將源目錄中的文件同步過去。
如果目標目錄比較大，在刪除過程中出現宕機事故就不好了。所以最好還是用--delete-before或--delete-after比較溫柔點，靠譜點。
----------------------------------------------------------------------------------------------------------
rsync遠程拷貝的時候，過濾某些某個文件或多個文件就用“--exclude 文件名”
要是過濾多個文件或子目錄，就把過濾的文件或目錄名的關鍵字放在一個文件里，如下的exclude_file文件
然后使用--exclude-from exclude—-file文件進行過濾
[root@bastion-IDC ~]# cat /root/lxp/exclude_file ? ? ? ? //即rsync同步的時候，過濾掉含有下面字樣名的文件
.svn .git .DS_Store *.sql *.bak .project main.php environment.php main/upload //這個過濾的是rsync同步目錄下的main/upload目錄 main/temp/runtime fangff //過濾的目錄 hqtime //過濾的目錄 apiConfig.php consoleConfig.php tpl_c consoleConfig.php
[root@bastion-IDC ~]# cat rsync_code.sh ? ? ? ? //提前做本機與192.168.1.57的ssh無密碼登陸的信任關系
#!/bin/sh
EXCLUDE_FILE="/root/lxp/exclude_file"
/usr/bin/rsync -avpgolr -e "ssh -p 25791" --exclude-from ${EXCLUDE_FILE} /var/www/vhosts/www.wangshibo.com/httpdocs/ root@192.168.1.57:/var/www/vhosts/www.wangshibo.com/httpdocs/
/usr/bin/rsync -avpgolr -e "ssh -p 25791" --exclude-from ${EXCLUDE_FILE} /var/www/vhosts/fanghu.xqshijie.com/httpdocs/ root@192.168.1.57:/var/www/vhosts/fanghu.xqshijie.com/httpdocs/
/usr/bin/rsync -avpgolr -e "ssh -p 25791" --exclude-from ${EXCLUDE_FILE} /Data/fanghu_temp/ root@192.168.1.57:/Data/fanghu_temp/ 例如：同步本機目錄到遠程服務器上，過濾到同步目錄中的個別文件
下面腳本說明：同步過程中，同步目錄中凡是main-local.php和params-local.php文件都不覆蓋！
[root@huanqiu ~]# cat /Data/webroot_svncode/exclude
main-local.php
params-local.php[root@huanqiu ~]# vim rsync.sh
#!/bin/bash
EXCLUDE_FILE="/Data/webroot_svncode/exclude"
SOURCE_DIR=/srv/apache-tomcat-7.0.67/webapps/jenkins/jobs/apihuanqiu}/workspace/
DEST_DIR=/var/www/vhosts/apihuanqiu/
REMOTE_IP=192.168.19.19/usr/bin/rsync -e "ssh -p22" -avpgolr --exclude-from ${EXCLUDE_FILE} $SOURCE_DIR $REMOTE_IP:$DEST_DIR
/usr/bin/ssh -p22 $REMOTE_IP "chmod a+w -R /var/www/vhosts/apihuanqiu/frontend/web/assets/"
/usr/bin/ssh -p22 $REMOTE_IP "chmod a+w -R /var/www/vhosts/apihuanqiu/frontend/runtime/" 1）排除單獨的文件夾和文件
比如要排除sources文件夾，我們可以添加 '--exclude' 選項： --exclude 'sources' 命令是這樣的： [root@bastion-IDC ~]# rsync -e 'ssh -p 30000' -avl --delete --stats --progress --exclude 'sources' demo@192.168.1.120:/home/demo /backup/比如要排除 "public_html" 文件夾下的 "database.txt" 文件： --exclude 'public_html/database.txt' 命令是這樣的： [root@bastion-IDC ~]# rsync -e 'ssh -p 30000' -avl --delete --stats --progress --exclude 'sources' --exclude 'public_html/database.txt' demo@192.168.1.120:/home/demo /backup/比如排除掉同步目錄中的類似*-prod.properties文件（比如global-prod.properties等） 命令是這樣的： [root@bastion-IDC ~]# /usr/bin/rsync -av -e "/usr/bin/ssh -p25791" --rsync-path="/usr/bin/rsync" --exclude=*-prod.properties --progress /opt/tomcat/webapps/awaken_beta/ 192.168.1.20:/Data/app/apache-tomcat-8/awakenweb/ROOT/
2）使用 '--exclude-from' 排除多個文件夾和文件
建立文件： [root@bastion-IDC ~]# touch /home/backup/exclude.txt在里面定義要排除的文件夾和文件 [root@bastion-IDC ~]# vim /home/backup/exclude.txt sources public_html/database.* downloads/test/*使用指令： --exclude-from '/home/backup/exclude.txt'最后的命令如下： [root@bastion-IDC ~]# rsync -e 'ssh -p 30000' -avl --delete --stats --progress --exclude-from '/home/backup/exclude.txt' demo@192.168.1.120:/home/demo /backup/
-------------------------------------------------用rsync命令和scp命令實現本機帶進度條提示拷貝-----------------------------------
rsync和scp拷貝時顯示進度條提示
1）rsync命令
[root@dbtest bak]# rsync -e "ssh -p22222" -avpgolr --progress db170630.tar.gz 192.168.1.198:/data/upload/
root@192.168.1.198's password:
sending incremental file list
db170630.tar.gz
702087168 4% 5.60MB/s 0:41:47
--progress 可以實現本機帶進度條提示拷貝，可以實現不同機器帶進度條提示拷貝，可以拷貝多個文件
2）scp命令
[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz /usr/local/src/
[以上命令] 本機拷貝無法顯示進度
[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz root@192.168.1.1:/usr/local/src/
[以上命令] 不同機器拷貝可以顯示進度條，即使不帶"-v"參數也可以顯示進度條
[root@dbtest bak]# scp -v /mnt/full20100526.tar.gz root@127.0.0.1:/usr/local/src/
[以上命令] 變相實現本機帶進度條提示拷貝，可以不帶"-v"參數
3) cp命令
暫時沒有找到帶進度條提示拷貝
----------------------------------------------------- rsync同步時候的限流操作----------------------------------------------------
# rsync -auvz --progress --delete --bwlimit=1000 遠程文件 本地文件 //限制為1000kBytes/s
# rsync -auvz --progress --delete --bwlimit=2048 遠程文件 本地文件 //限制為2M/s
--------scp同步時的限流（-l參數）--------
# scp -l 1024 file root@192.168.1.100 //限制為1M Bytes/s
轉載于:https://www.cnblogs.com/kevingrace/p/5689491.html
總結
以上是生活随笔為你收集整理的常用rsync命令操作梳理的全部內容，希望文章能夠幫你解決所遇到的問題。
- 上一篇： 指针的各式定义
- 下一篇： hiho_1139_二分+bfs搜索