1:快速大量小文件復制

a. 本機不同磁盤之間復制:

• 復制目錄

  $ tar cvf – /home/src_dir | tar xvf – -C /opt

• 復制文件

  $ tar cf – access.log |tar xf – -C /opt

Tips:快速tar打包的一些小技巧以及常用的tar使用

• tar 快速打包(僅打包不壓縮傳輸,耗時比較短)

• step1:從文件中生成文件列表

  $ find . -name '*.jpg' -print > jpg.txt **** 匹配多個后綴格式 $ find . -regex '.*\.png\|.*\.jpeg\|.*\.jpg' -print >jpg.txt

• 若生成的文件列表比較大，可以借助split拆分成小文件進行并行打包. 若文件數較小，可忽略此步驟。

  #將 文件 jpg.txt 分成若干個小文件，每個文件500000行(-l 500000)，文件前綴為xiu_ ，系數不是字母而是 數字（-d），后綴系數為四位數（-a 4） $ split -l 500000 ../ jpg.txt -d -a 4 xiu_

• step2: tar怎么從文件中讀取文件列表呢？查了很久，用 -T

  -T, --files-from Fget names to extract or create from file F

  tips: 注意這里不要加 -v參數啦，對于大量文件，控制臺輸出是很浪費時間的...

  $ tar -czf jpg.tar.gz -T yourfile **** 不壓縮的話，可以直接打包, 比較快。 $ tar -cf jpg.tar.gz -T yourfile

• tar 常用的一些命令

  • 解包

    $ tar xvf FileName.tar ## 或者 不輸出文件，比較快$ tar xf FileName.tar

  • 不解包查看打包內容

    $ tar tvf FileName.tar

  • 不解包統計打包內容文件數以及文件夾

    ### 統計文件數 $ tar tvf FileName.tar |grep "^-"|wc -l ### 統計文件加 $ tar tvf FileName.tar |grep "^d"|wc -l

b. 跨網絡不同主機之間復制 tar+nc:

思路：在網絡環境中傳輸時，打包再結合nc命令，通過管道和tcp端口進行傳輸。
比如 A往B主機傳輸數據

i. 在機器B上，用nc來監聽一個端口，任意都行，只要不被占用；并且將收到的數據用tar展開。-l代表監聽模式。

$ nc -l 34183 |tar -C /data1datasets/norm/ -zxf -

ii. 接著，在A上通過nc和 tar發送data_01目錄。使用一致的34183的端口。

$ tar -zcvf - data_01 |nc 192.168.0.1 34183

2:快速刪除大量小文件 或者 大文件

2.1: 快速刪除大量小文件

rsync提供了一些跟刪除相關的參數 rsync --help | grep delete --del an alias for --delete-during --delete delete files that don't exist on the sending side --delete-before receiver deletes before transfer (default) --delete-during receiver deletes during transfer, not before --delete-after receiver deletes after transfer, not before --delete-excluded also delete excluded files on the receiving side --ignore-errors delete even if there are I/O errors --max-delete=NUM don't delete more than NUM files 其中--delete-before 接收者在傳輸之前進行刪除操作

可以用來清空目錄或文件，如下：

1. 建立一個空目錄mkdir -p /del_blank2. 確立需要清空的目標目錄/del_data3. 使用rsync同步刪除（注意目錄后面的“/”），整體效率會快一個數量級的樣子。rsync --delete-before -a -H -v --progress --stats /del_blank/ /del_data/選項說明：–delete-before 接收者在傳輸之前進行刪除操作–progress 在傳輸時顯示傳輸過程-a 歸檔模式，表示以遞歸方式傳輸文件，并保持所有文件屬性-H 保持硬連接的文件-v 詳細輸出模式-stats 給出某些文件的傳輸狀態 一般我們不需要顯示進度，使用以下命令即可rsync --delete-before -a -H /del_blank/ /del_data/這樣我們要刪除的 del_data目錄就會被清空了

2.2: 快速刪除大文件

如何刪除特別大的文件（數量級），比如nohup.out這樣的實時更新的文件，動輒都是幾十個G上百G的，也可
以用rsync來清空大文件，而且效率比較高 。

1、創建空文件 touch /data/blank.txt 2、用rsync清空文件 rsync -a --delete-before --progress --stats /data/blank.txt ./nohup.out building file list ... 1 file to consider blank.txt 0 100% 0.00kB/s 0:00:00 (xfer#1, to-check=0/1) Number of files: 1 Number of files transferred: 1 Total file size: 0 bytes Total transferred file size: 0 bytes Literal data: 0 bytes Matched data: 0 bytes File list size: 27 File list generation time: 0.006 seconds File list transfer time: 0.000 seconds Total bytes sent: 73 Total bytes received: 31 sent 73 bytes received 31 bytes 208.00 bytes/sec total size is 0 speedup is 0.00

** tips：

當SRC和DEST文件性質不一致時將會報錯 當SRC和DEST性質都為文件【f】時，意思是清空文件內容而不是刪除文件 當SRC和DEST性質都為目錄【d】時，意思是刪除該目錄下的所有文件，使其變為空目錄 最重要的是，它的處理速度相當快，處理幾個G的文件也就是秒級的事 最核心的內容是：rsync實際上用的就是替換原理

總結

以上是生活随笔為你收集整理的Linux快速复制T级数据或删除大量小文件的全部內容，希望文章能夠幫你解決所遇到的問題。

如果覺得生活随笔網站內容還不錯，歡迎將生活随笔推薦給好友。