简介
rsync 是 Linux 下的数据同步工具, 其支持本地同步和远程同步, 远程同步分为 daemon 和 ssh 同步方式
rsync 可以代替 cp, scp 等命令, 且具有更高的可靠性
优点:
1、同步时能够完整的保留数据目录结构、权限、时间、软硬链接等
2、能够实现增量同步, 每一次同步只会同步发生过改变的数据
3、文件传输效率高
4、支持匿名传输
5、无须特殊权限即可安装
6、支持流控制, 可以精确同步速度和使用的带宽大小
rsync 常用命令
-v, --verbose 输出详细的数据同步过程
--version 查看版本信息
-q, --quiet 静默模式
-c, --checksum 对传输的数据进行校验和检查, 默认情况下 rsync 进行快速检查, 使用基于校验和的检查意味着会大量的消耗磁盘 IO 降低传输速度
-a, --archive 归档模式, 等于 -rlptgoD
-d --dirs 以不递归的方式拷贝目录本身。递归时, 如果源为 "dir1/file1", 则不会拷贝 dir1 目录, 使用该选项将拷贝 dir1 但不拷贝 file1
-P, --partial 保留那些因故没有完全传输的文件, 以加快随后的再次传输
-r, --recursive 递归复制目录
-R --relative 使用相对路径, 这意味着将命令行中指定的全路径而非路径最尾部的文件名发送给服务端
-b, --backup 创建备份, rsync 将在每个文件被传输或删除时重命名(filename~) 先前存在的目标文件
--backup-dir=DIR 使用 -b 创建备份时, 可以使用 --backup-dir 将文件备份到指定的目录中
--suffix=SUFFIX 使用 -b 创建备份时, 可以使用 --suffix 指定备份文件的后缀(默认为 filename~)
-u, --update 仅在源 mtime 比目标已存在文件的mtime新时才拷贝, 注意: 该选项是接收端判断的, 不会影响删除行为
-l, --links 遇到符号链接时, 在目标上重新创建符号链接
-L, --copy-links 遇到符号链接时, 拷贝符号链接指向的原文件
--safe-links 忽略指向复制树之外的所有符号链接
-k, --copy-dirlinks 如果符号链接为一个目录, 则进行 --copy-links 操作, 如果您不希望非目录的符号链接受到影响, 这是非常有用的
-H, --hard-links 保持硬链接
-p, --perms 保持文件权限
-A, --acls 保持文件的 acl, 原系统和目标系统的 ACL 兼容才能工作
-o, --owner 保持文件的属主, 仅当接收到的 rsync 作为超级用户运行时才能工作, 默认权限为接受端用户的权限
-g, --group 保持文件的属组, 仅当接收到的 rsync 作为超级用户运行时才能工作
-D, --devices 保持设备文件信息, 仅当接收到的 rsync 作为超级用户运行时才能工作
-t, --times 保持文件修改时间
-O, --omit-dir-times 保持文件修改时间时忽略目录, 如果在接收端使用 NFS 共享目录, 则最好使用 -O 选项
-J, --omit-link-times 保持文件修改时间时忽略符号链接
--super 告诉接受方尝试以超级用户运行 rsync, 如果是超级用户可以使用 --no-super 关闭以超级用户身份运行
--fake-super 通过尝试添加特殊权限来模拟超级用户运行
-S, --sparse 对稀疏文件进行特殊处理以节省 DST 的空间
-n, --dry-run 测试运行, 查看将有哪些数据被传输
-W, --whole-file 禁用增量检测, rsync 将使用全量传输, 在网络带宽高于磁盘带宽时, 该选项比增量传输更高效
-x, --one-file-system 禁止跨越文件系统(当遇到符号链接时, 如果符号链接为一个目录, 则 rsync 将其当成一个挂载点忽略; 如果符号链接为文件则不受此选项影响)
--existing 仅更新目标端已存在的文件, 跳过 DST 上不存在的文件或目录, 该选项和 --ignore-existing 一起使用时将不会更新任何的文件(在使用 --delete 时肯会有用, 这将删除 DST 上多余的文件)
--ignore-non-existing 和 --existing 相同
--ignore-existing 仅更新目标端不存在的文件, 跳过 DST 上已存在的文件或目录 delete 操作:
--delete 删除 DST 上 SRC 不存在的数据 # 下面 4 个选项都隐含了 delete 操作
--delete-before 在传输文件之前先执行 delete 操作(这在 DST 磁盘空间比较紧缺时是比较有效的), 如果指定了传输超时时间该选项可能会造成传输超时
该选项强制 rsync 使用旧的非增量的递归算法, 该算法要求 rsync 扫描传输中的所有文件
--delete-during, --del --delete 在大多数情况下采用的算法 ,请求在传输发生时增量地删除接收端上的文件, 每个目录的删除扫描是在每个目录检查更新之前完成的, 相对于 --delete-before 更高效
--delete-after 请求在传输完成后删除接收端上的文件, 该选项强制 rsync 使用旧的非增量的递归算法, 该算法要求 rsync 扫描传输中的所有文件
--delete-delay 请求在传输过程中计算接收端上的文件删除, 然后在传输完成后删除 这在与 --delay-updates and/or --fuzzy 使用时非常用于, 比 --delete-after 更有效 --ignore-errors 及时出现 IO 错误也进行 delete 操作
--remove-source-files 删除源端文件, 当 rsync 将源端的文件拷贝到 DST 时, rsync 将会删除源端的文件, 没有拷贝或者拷贝失败的文件不会被删除
--size-only rsync 仅检查文件大小, 默认情况下 rsync 会检查文件大小和 mtime
--force 当要使用非目录替换一个非空目录时, 删除非空目录(删除目录, 即使目录不为空)
--max-delete=NUM 指定删除文件或目录的最大数量
--max-size=SIZE 指定传输文件的最大大小, 单位K, M, G
--min-size=SIZE 指定传输文件的最小大小, 单位K, M, G
-f, --filter=RULE 使用指定规则筛选不需要传输的数据, 示例: rsync -r --filter='exclude *.log' /var/log/ /mnt/
RULE:
1、exclude 规则: 即排除规则, 只作用于发送端, 被排除的文件不会进入文件列表
2、include 规则: 即包含规则, 只作用于发送端, 被包含的文件将明确记录到文件列表中
3、hide 规则: 即隐藏规则, 只作用于发送端, 隐藏后的文件对于接收端来说是看不见的, 也就是说接收端会认为它不存在于源端
4、show 规则: 即显示规则, 只作用于发送端, 是隐藏规则的反向规则
5、protect 规则: 即保护规则, 该规则只作用于接收端, 被保护的文件不会被删除掉
6、risk 规则: 即取消保护规则, 是protect的反向规则
7、clear 规则: 删除i nclude/exclude 规则列表 --exclude=PATTERN --filter 的简写模式, 指定排除不需要传输的文件模式
--include=PATTERN --filter 的简写模式, 指定不排除而需要传输的文件模式
-z, --compress 传输数据时启用压缩, 这个操作会用到大量的cpu资源, 但是可以节约带宽
--compress-level=NUM 压缩级别
--skip-compress=LIST 不压缩的文件列表(已经压缩过的文件通常不需要再压缩), 示例: --skip-compress=gz/jpg/7z/bz2 (不压缩 gz, jpg, 7z, bz2) 等类型的文件
--bwlimit=RATE 指定传输速率, 单位秒(s), 示例: --bwlimit=10m
--timeout=TIMEOUT 设置 I/O 超时时间, 如果在这段时间之内没有传输数据则 rsync 退出, 单位秒(s), 默认值为 0, 表示永不超时
--contimeout 设置与 rsync daemon 连接超时的时间
--log-file 指定日志文件
--log-file-format 设置日志格式
--stats 输出传输过程中的详细信息
--iconv=CONVERT_SPEC 指定传输编码, 默认 utf8
--no-OPTION 在选项见面加一个 --no 表示关闭这个选项(rsync 有一些默认选项, 可以使用这个参数来关闭它), 注意: 不是所有选项都可以关闭 # 作为 daemon 运行的参数
--daemon 将 rsync 作为守护进程运行
--address rsync daemon 监听的地址
--port rsync daemon 监听的端口
--sockopts 监听的 unix 套接字地址
--password-file=FILE 从指定文件获取 rsync daemon 的用户名和密码
-4, --ipv4 监听 ipv4 地址
-6, --ipv6 监听 ipv6 地址
--config 指定配置文件
--bwlimit=RATE 设置传输速率
本地文件系统之间的同步
# 将 /etc 同步到 /mnt/, 注意: 如果 etc 结尾加上 / 将同步 etc 目录下的所有文件单不会同步 etc 这个目录
rsync -a /etc /mnt/ # 将 /etc/yum.repos.d 拷贝到 /mnt, 目录结构为 /mnt/yum.repos.d/
rsync -r /etc/yum.repos.d /mnt # 将 /etc/yum.repos.d 拷贝到 /mnt, 但是在 yum.repos.d 上面生成 etc 目录, 目录结构为 /mnt/etc/yum.repos.d/
rsync -Rr /etc/yum.repos.d /mnt # 对长目录进行划分, 以 . 表示相对目录的起点, 目录结构为 /mnt/system/reboot.target.wants/
rsync -Rr /usr/lib/systemd/./system/reboot.target.wants/ /mnt/ # 将 /var/log 目录下除以 .log 结尾的文件和目录结尾的数据同步到 /mnt
rsync -a --exclude='*.log' /var/log /mnt/ # 删除 /var/log/ 所有以 .log 结尾的文件
rsync -a --delete /mnt/log/ /var/log/ # 以每秒 1k 的速度同步
rsync -av --bwlimit=1k /etc/yum.repos.d/ /mnt/ # 文件大小在 10M 以下的文件不进行同步
rsync -av --min-size=10M /var /mnt/ # 复制符号链接的原始文件
rsync -avL /bin /mnt # 对旧的文件进行备份, 当文件同步时接收端会重命名已存在的文件, 在和源文件同一个目录中生成 filename~ 的备份文件
rsync -aP --backup /etc /mnt/ # 将备份的文件放入 /opt/ 中, 指定了 --backup-dir 选项之后, 在备份目录将不会对文件生成后缀
rsync -aP --backup --backup-dir=/opt/ /etc /mnt/ # 对备份文件生成自定义后缀
rsync -aP --backup --backup-dir=/opt/ --suffix=".$(date +'%Y-%m-%d_%H:%M:%S')" /etc /mnt/
远程同步环境配置
# 安装 rsync 命令(客户端和服务器端都需要安装)
yum -y install rsync # 关闭 firewalld 和 selinux
systemctl disbale firewalld
systemctl stop firewalld
setenforce 0
基于 SSH 的远程同步
# 使用 ssh 方式同步, 如果配置了秘钥登录则 rsync 直接将数据拷贝到目标主机, 如果没有设置秘钥登录, rsync 会询问用户密码
rsync /etc [email protected]:/tmp/ # 指定 ssh 的参数
rsync -aP /etc -e 'ssh -p 22' [email protected]:/tmp/ # 第一次 ssh 连接时, 直接将主机信息加入到 known_hosts 文件
rsync -aP /etc -e 'ssh -o StrictHostKeyChecking=no' [email protected]:/tmp/
基于 daemon 的远程同步
rsync daemon 能够接收客户端的推送和下载请求
客户端可以将修改过的内容推送到 rsync daemon 以供其他的客户端进行更新
使用 rsync --daemon 启动 rsync 的 daemon 模式, rsync daemon 默认会读取 /etc/rsyncd.conf 作为其配置文件
centos 7 rsync 的默认配置
cat /etc/rsyncd.conf
# /etc/rsyncd: configuration file for rsync daemon mode # See rsyncd.conf man page for more options. # configuration example: # uid = nobody
# gid = nobody
# use chroot = yes
# max connections = 4
# pid file = /var/run/rsyncd.pid
# exclude = lost+found/
# transfer logging = yes
# timeout = 900
# ignore nonreadable = yes
# dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2 # [ftp]
# path = /home/ftp
# comment = ftp export area
编写 /etc/rsyncd.conf
################################## 定义全局配置 ##################################
# 监听 socket 地址
port = 873
address = 0.0.0.0 # 运行 rsync daemon 的用户和用户组
uid = nobody
gid = nobody # 是否限制在指定目录
use chroot = yes # 客户端是否只读
# 在 centos 6 中该参数的值为 yes 或者 no
# read only = false # 拒绝和运行访问的主机
hosts deny = *
hosts allow = 192.168.1.0/24 # 最大连接数
max connections = 50 # 连接超时时间
timeout = 300 # 是否列出所有模块
list = true # 认证用户
auth users = nobody # 认证文件, 格式为: username:password , 认证文件的权限必须为 600
secrets file = /etc/rsyncd/rsyncd.secrets # 客户端连接过来显示的消息
motd file = /etc/rsyncd/rsyncd.motd # 锁文件
lock file = /var/run/rsync.lock # 日志文件和 pid 文件
log file = /var/log/rsyncd.log
pid file = /var/run/rsyncd.pid # 对以下文件类型不进行压缩
dont compress = *.7z *.ace *.avi *.bz2 *.deb *.gpg *.gz *.iso *.jpeg *.jpg *.lz *.lzma *.lzo *.mov *.ogg *.png *.rar *.rpm *.rzip *.tbz *.tgz *.tlz *.txz *.xz *.zip ################################## 定义模块配置, 模块配置可以存在多个, 模块配置可以覆盖全局配置(有的全局配置不能被覆盖, 比如: address 和 port) ##################################
# 模块 ID, 全局唯一
[htdocs]
# 模块路径, 该参数必须指定
path = /usr/local/httpd/htdocs
# 忽略一些 IO 错误信息
ignore errors # 是否只读(不能上传)
read only = false # 是否只写(不能下载)
write only = false # 排除 test 目录
exclude = test # 描述信息, 客户端使用 --list-only 查看
comment = 'web page file'
测试和启动:
mkdir -p /usr/local/httpd/htdocs # 创建几个测试目录
mkdir /usr/local/httpd/htdocs/{html,php,jpg,test} # 创建测试文件
echo '<h1>Hello Rsync</h1>' > /usr/local/httpd/htdocs/html/index.html
echo '<?php echo "Hello Rsync"?>' > /usr/local/httpd/htdocs/php/index.php
echo 'test' > /usr/local/httpd/htdocs/test/test.txt # 更改 rsync 模块目录权限
chown -R nobody:nobody /usr/local/httpd/htdocs # 创建用户认证文件
mkdir /etc/rsyncd/
echo "nobody:123" >> /etc/rsyncd/rsyncd.secrets
chmod 600 /etc/rsyncd/rsyncd.secrets # 设置客户端连接过来显示的消息
echo "Hello Rsync" > /etc/rsyncd/rsyncd.motd # 启动 rsync daemon (centos 7 使用 systemd 启动, centos 6 使用 rsync --daemon 启动)
systemctl start rsyncd
客户端操作
# rsync daemon 和客户端之间的通信和传输使用的是 ssh 协议 # 请求列出服务器端的所有模块信息(服务器端会要求输入密码), 端口默认为 873, 所有可以省略
rsync --list-only --port 873 [email protected]:: # 创建客户端认证文件
echo "123" > /tmp/rsync_secrets
chmod 600 /tmp/rsync_secrets # 查看 htdocs 模块的详细信息, 使用 --password-file 指定认证文件, rsync 认证是会自动读取该文件的内容作为认证密码
rsync --list-only [email protected]::htdocs --password-file=/tmp/rsync_secrets # 将服务器端的 htdocs 模块的内容下载到 /mnt/ 目录, test 目录不会被下载
rsync -aP [email protected]::htdocs --password-file=/tmp/rsync_secrets /mnt/ # 客户端推送数据到服务器端(使用方法和 scp 类似)
rsync -aP /tmp/ [email protected]::htdocs --password-file=/tmp/rsync_secrets
rsync + sersync 实现实时同步
rsync daemon 实现了一个客户端的更新, 其他的客户端也能获取的功能, 但是其他客户端什么时候去向服务器获取最新的内容那 ?
写一个计划任务每一分钟询问一次, 在文件数量少的情况下还可行, 但是如果文件数量比较多那么 rsync 每一次去扫描都需要大量的时间和系统资源, 在文件数量大的情况下得不偿失。
这时我们可以通过监听目录的文件状态来获取那些文件发送了改变, 将这些发生了改变的文件推送到所有的客户端。在 Linux 中实现这个功能的是 Linux kernel 的一个特性叫做 Inotify
sersync:
Inotify 是 Linux kernel 2.6.13 以上提供的特性, 它监控文件系统操作, 比如读取、写入和创建
sersync 是基于 inotify 开发的, 可以记录下被监听目录中发生变化的(包括增加、删除、修改)具体某一个文件或者某一个目录的名字
使用 rsync 同步的时, 只同步发生变化的文件或者目录, 因此效率更高。类似功能的还有 inotify-tools
sersync 的优点:
1、sersync 采用多线程进行同步(默认开启 10 个线程), 能够同时处理多个 Inotify 事件
2、sersync 异常处理机制, 通过失败队列自动对之前发生异常的文件进行重新同步操作, 如果依旧失败, 每 10 个小时会对同步失败的文件再次进行同步操作, 直到文件同步为止
3、sersync 自带 crond 功能, 无需借助系统的 crond
实验环境:
实验需求: 一台机器的文件发生变化将发生变化的文件推送到所有的 rsync daemon 上 IP 地址 角色
192.168.1.99 rsync daemon
192.168.1.100 rsync daemon
192.168.1.101 rsync client, sersync 所有的 rsync daemon 配置如上
安装 sersync(192.168.1.101):
# sersync 托管在 google code 上, 在国内需要科学上网才能下载, 但是国内有人将 sersync 放在 GitHub 上了(可能不是最新的), 测试时可以从 GitHub 下载
# sersync 最新的下载地址 https://code.google.com/archive/p/sersync/downloads
wget https://raw.githubusercontent.com/wsgzao/sersync/master/sersync2.5.4_64bit_binary_stable_final.tar.gz
tar xvf sersync2.5.4_64bit_binary_stable_final.tar.gz
cd /root/GNU-Linux-x86
编写 sersync 配置文件:
<?xml version="1.0" encoding="ISO-8859-1"?>
<head version="2.5">
<!--本地socket-->
<host hostip="localhost" port="8008"></host> <!--是否启用 debug 模式-->
<debug start="false"/> <!--是否启用xfs文件系统-->
<fileSystem xfs="false"/> <!--同步时忽略推送的文件(正则表达式), 默认关闭 -->
<filter start="false">
<exclude expression="(.*)\.svn"></exclude>
<exclude expression="(.*)\.gz"></exclude>
<exclude expression="^info/*"></exclude>
<exclude expression="^static/*"></exclude>
</filter> <!--设置 Inotify 监听的事件类型-->
<inotify>
<delete start="true"/>
<createFolder start="true"/>
<createFile start="false"/>
<closeWrite start="true"/>
<moveFrom start="true"/>
<moveTo start="true"/>
<attrib start="false"/>
<modify start="false"/>
</inotify> <sersync>
<!-- watch: Inotify 事件监听的目录 -->
<localpath watch="/backup">
<!-- ip: rsync daemon 地址, name: 客户端需要同步的 rsync 模块-->
<remote ip="192.168.1.99" name="htdocs"/>
<remote ip="192.168.1.100" name="htdocs"/>
</localpath> <rsync>
<!--rsync 命令参数-->
<commonParams params="-artuz"/> <!--start: true 启用密码文件认证 users: rsync 认证用户 passwordfile: 密码认证文件-->
<auth start="true" users="nobody" passwordfile="/etc/rsyncd_auth.pass"/> <!--port: rsync 监听的端口-->
<userDefinedPort start="false" port="874"/> <!-- 连接超时时间 -->
<timeout start="false" time="300"/> <ssh start="false"/>
</rsync> <!-- sersync 传输失败日志脚本路径, 每隔 60m 会重新执行该脚本, 执行完毕会自动清空 -->
<failLog path="/tmp/rsync_fail_log.sh" timeToExecute="60"/> <!--sersync 计划任务, 默认关闭-->
<crontab start="false" schedule="600">
<crontabfilter start="false">
<exclude expression="*.php"></exclude>
<exclude expression="info/*"></exclude>
</crontabfilter>
</crontab> <!--sersync 传输后调用 name 指定的插件脚本, 默认关闭-->
<plugin start="false" name="command"/>
</sersync> <!-- 插件示例
<plugin name="command">
<param prefix="/bin/sh" suffix="" ignoreError="true"/>
<filter start="false">
<include expression="(.*)\.php"/>
<include expression="(.*)\.sh"/>
</filter>
</plugin> <plugin name="socket">
<localpath watch="/opt/tongbu">
<deshost ip="192.168.138.20" port="8009"/>
</localpath>
</plugin> <plugin name="refreshCDN">
<localpath watch="/data0/htdocs/cms.xoyo.com/site/">
<cdninfo domainname="ccms.chinacache.com" port="80" username="xxxx" passwd="xxxx"/>
<sendurl base="http://pic.xoyo.com/cms"/>
<regexurl regex="false" match="cms.xoyo.com/site([/a-zA-Z0-9]*).xoyo.com/images"/>
</localpath>
</plugin>
-->
</head>
启动:
# 设置配置文件权限
chmod 644 confxml.xml # 创建认证文件
echo "123" > /etc/rsyncd_auth.pass
chmod 600 /etc/rsyncd_auth.pass # 创建监听目录
mkdir /backup # 启动
./sersync2 -r -d -o confxml.xml
测试:
192.168.1.101:
echo "123" > /backup/123.txt 192.168.1.99 和 192.168.1.100
ls /usr/local/httpd/htdocs/