rsync 数据同步、断点续传工具

[Valdanitooooo]

从服务器断点续传大文件目录

rsync -avzP -e "ssh -i ~/workspace/server/keys/aliyun.pem" root@*.***.**.***:/root/workspace/llmops/models/hf_hub/models--Qwen--Qwen1.5-7B-Chat  ./Qwen1.5-7B-Chat

通义千问：

RSYNC 使用手册

一、简介

rsync 是一款强大的文件同步工具，适用于本地或远程的高效数据备份、迁移和镜像。它采用了增量同步算法，仅传输源文件与目标文件之间的差异部分，大大减少了数据传输量，提高了同步效率。本手册将详细介绍rsync的安装、基本用法、高级选项以及常见应用场景。

二、安装 rsync

在基于Debian/Ubuntu的系统中：

bash

sudo apt update
sudo apt install rsync

在基于RPM的系统（如CentOS/RHEL/Fedora）中：

bash

sudo yum install rsync

或者使用dnf替代yum（对于较新版本的Fedora/RHEL/CentOS）：

bash

sudo dnf install rsync

在macOS (using Homebrew):

bash

brew install rsync

三、基本使用

1. 本地文件同步

同步本地目录source_dir到另一个本地目录target_dir，保留原有文件属性，并递归处理子目录：

bash

rsync -av source_dir/ target_dir/

参数解释：

• -a：归档模式，保留文件元数据（如权限、时间戳、符号链接等）。
• -v：详细输出模式，显示同步过程中的详细信息。

2. 远程同步（推送模式）

将本地文件推送到远程主机上的指定目录。假设远程主机IP为remote_host，用户名为user：

bash

rsync -avzP -e ssh source_dir/ user@remote_host:/path/to/target_dir/

参数解释：

• -z：启用压缩传输，减少网络带宽消耗。
• -e ssh：指定使用SSH作为传输协议。

3. 远程同步（拉取模式）

从远程主机拉取文件到本地：

bash

rsync -avzP -e ssh user@remote_host:/path/to/source_dir/ target_dir/

四、高级选项

1. 干净同步（删除额外文件）

添加--delete选项，同步完成后删除目标目录中源目录不存在的文件：

bash

rsync -avzP --delete source_dir/ target_dir/

2. 排除特定文件/目录

使用--exclude指定需要排除的文件或目录模式：

bash

rsync -avzP --exclude='*.log' --exclude='temp/' source_dir/ target_dir/

3. 干预同步过程

• --dry-run：模拟同步操作，不实际执行任何文件传输，用于检查同步命令是否正确。
• --progress：显示文件传输进度。
• --bwlimit=KBPS：限制同步速度，单位为千字节每秒（KB/s）。

4. 只同步更改过的文件

结合--update（或-u）选项，仅更新比目标文件更新的源文件：

bash

rsync -avzPu --update source_dir/ user@remote_host:/path/to/target_dir/

五、常见应用场景

1. 定时备份

结合cron作业，定期执行rsync命令备份重要数据：

bash

crontab -e

然后添加类似以下定时任务（每日凌晨1点执行备份）：

bash

0 1 * * * rsync -avzP --delete /path/to/local_data/ user@backup_server:/backup/daily/

2. 网站文件同步

快速同步开发环境与生产环境的网站文件：

bash

rsync -avzP --exclude='.git' --exclude='logs/*' local_web_root/ user@production_server:/var/www/html/

3. 大文件分段传输

利用--partial和--partial-dir选项，中断的同步可以从中断处继续，适用于大文件或不稳定网络环境：

bash

rsync -avzP --partial --partial-dir=.rsync-partial large_file user@remote:/path/

总结

rsync凭借其高效、灵活的特性，成为日常系统管理、数据备份与迁移的重要工具。通过合理组合各种选项，您可以根据实际需求定制同步策略，确保数据的安全性和完整性。在使用过程中，请确保有足够的权限访问源和目标位置，并在执行删除或覆盖操作前做好数据备份。