Rsync备份服务

时间 2019-11-29 标签 rsync 备份服务

1、Rsync 原理图

2、Rsync 原理描述

　　2.1：什么是Rsynchtml

　　　　Rsync是备份的一款软件，它能够实现全量备份、增量备份，也能够在不改变内容、属性的状况下进行同步备份，端口默认是873linux

　　2.2：Rsync的三种工做模式shell

　　　　Rsync支持本地备份(至关于本地的CP命令)、远程备份(经过SSH)、经过daemon模式(服务端、客户端)能够进行Pull拉取数据和Push推送数据安全

　　2.3：Rsync原理阐述(针对经常使用的daemon模式)bash

　　　　① Rsync客户端执行Rsync命令，去向服务端认证服务器

　　　　② 首先服务端会认证发送访问的虚拟用户(在服务端配置的auth users参数)ssh

　　　　③ Rsync客户端告诉服务端虚拟用户，认证成功或者失败socket

　　　　④ 认证客户端发送的密码文件(客户端发送时--password-file = /etc/rsyncd.pas)
工具

　　　　⑤ 认证成功同步数据测试

3、Rsync 优缺点

　　3.1：优势(使用它的理由)

　　　　① 增量备份，支持socket(daemon)集中备份(支持推拉，都是以客户端为参照物)

　　　　② 支持远程shell通道模式还能够密码ssh传输

　　　　③ 支持断点续传

　　　　④ 能够排除指定的文档或者目录，至关于tar的排除功能

　　　　⑤ 支持匿名认证远程模式传输，实现方便安全的数据传输

　　3.2：缺点(何时要用其余的方法)

　　　　① 大量小文件同步时间长，有时候会出现进程忽然的中止

　　　　② 同步大文件的时候会中断，没有完成同步前是隐藏文件(点开头的文件),可是能够经过它的断点续传来实现传输

4、Rsync 什么环境使用

　　① 利用定时任务(crontab)+rsync实现定时同步数据，主要同步的信息通常是内部人员使用的文件

　　② 利用实时同步软件(inotify)+rsync实现实时的同步数据，主要同步的信息是用户或者客户上传到服务器的文件

5、Rsync 搭建部署

　　5.1：语法及经常使用参数

经常使用参数：
-avz：保持属性，输出详细信息
-e:    隧道模式传输(SSH)
--delete：删除(无差别同步,两个文件保持一致)
--exclude=*.log: 要排除的文件
--bwlimit=10: 限速同步
--progress：在传输时显示传输的过程
--partial：断点续传

基于rsync daemon客户端同步语法:
拉取: rsync [OPTION...] [USER@]HOST::SRC... [DEST]
        rsync [OPTION...] rsync://[USER@]HOST[:PORT]/SRC... [DEST]
推送: rsync [OPTION...] SRC... [USER@]HOST::DEST
        rsync [OPTION...] SRC... rsync://[USER@]HOST[:PORT]/DEST

　　5.2：在服务端安装rsync软件

安装：
yum -y install rsync (Centos7 已经默认安装了)
检查：
rpm -qa rsync
结果出现表示已安装
rsync-3.0.9-18.el7.x86_64

　　5.3：在服务端修改rsync的主配置文件(/etc/rsyncd.conf)

在etc下面有rsyncd.conf这个文件，这个文件中有一些注释信息，就是配置文件中的规则
咱们要进行自定义配置文件：
cat >/etc/rsyncd.conf<<EOF
uid = root                      # 用户，远端的命令使用rsync访问共享目录
gid = root                      # 用户组
port = 873                      # 服务端口
address = 192.168.163.129       # 服务地址 通常使用内网地址

pid file = /var/run/rsyncd.pid  # 进程号文件
lock file = /var/run/rsyncd.lock# 锁文件
log file = /var/log/rsync.log   # 日志文件

auth users = rsyncadmin         # 虚拟用户
secrets file = /etc/rsyncd.pas  # 密码文件
motd file = /etc/rsyncd.motd    # 描述文件(这个配置能够写到每一个模块中,每一个不一样的同步就会显示不一样的描述信息了)

transfer logging = yes          # 使 rsync 服务器将传输操做记录到传输日志文件。默认值为false
log format = "%o [ %a ] %m (%u) %f %b %l %b"    # 日志格式
syslog facility = daemon        # 指定 rsync 发送日志消息给 syslog 时的消息级别
use chroot = no                 # 默认为 true，在传输文件以前首先 chroot 到 path 参数所指定的目录下；优势，安全；缺点，须要 root 权限，不能备份指向 path 外部的符号链接所指向的目录文件
timeout = 900                   # 超时时间
ignore nonreadable = yes        # 是否忽略错误
dont compress = *.gz *.tgz *.zip *.z *.Z *.rpm *.deb *.bz2  # 用来指定那些在传输以前不进行压缩处理的文件
max connections = 20            # 最大链接数

read only = false               # 手动推送 可写
write only = true               # 可读
list = false

hosts allow = 192.168.163.0/24  # 容许访问地址
hosts deny = *                  # 拒绝访问地址(这个最好是不用;allow 和 deny同时存在的时候会出现不生效的状况)


# 模块配置
[date_backup]                   # 模块名
path = /opt/data_backup         # 备份目录绝对路径
EOF

　　5.4：在服务端建立身份认证文件

生成身份认证文件(rsyncadmin虚拟用户123456密码)
ehco "rsyncadmin:123456" >> /etc/rsyncd.pas
特别重要的一点
必定给这个文件600权限否则你会很惨的
chmod 600 /etc/rsyncd.pas

　　5.5：在服务端建立备份的目录(配置文件中模块path的目录)

建立备份目录(同配置文件中模块的path路径)
mkdir -p /opt/backup

　　5.6：在服务端建立描述信息文件

建立欢迎描述信息主要是在执行客户端推送的时候有个显示
echo "welcome rsync server" >> /etc/rsyncd.motd

　　5.7：在服务端启动rsync服务

启动两种方式
rsync --daemon
systemctl start rsyncd
检查
ps -ef | grep rsync | grep -v grep
netstat -lntup | grep rsync

　　5.8：在客户端建立备份目录

建立备份目录的主要缘由是为了对客户端要备份的文件进行统一打包推送
mkdir -p /opt/backup

　　5.9：在客户端建立身份认证密码文件(只包含密码)

和服务端的密码保持一致，由于传输数据须要进行密码的认证
echo "123456" >> /etc/rsyncd.pas
一样必定要给600权限
chmod 600 /etc/rsyncd.pas

　　5.10：在客户端测试往服务端推送拉取文件

使用推送的方式，把数据推到服务端
        # 第一种方式(须要修改read only = false)
        rsync -avz --progress --delete /opt/backup/ rsyncadmin@192.168.163.129::date_backup/ --password-file=/etc/rsyncd.pas
 
        # 第二种方式(须要修改write only = false)
        rsync -avz --progress --delete /opt/backup/ rsync://rsyncadmin@192.168.163.129/date_backup/ --password-file=/etc/rsyncd.pas
 
        # 过滤全部得log文件
        rsync -avz --progress --exclude=*.log --delete /opt/backup/ rsyncadmin@192.168.163.129::date_backup/ --password-file=/etc/rsyncd.pas
        rsync -avz --progress --exclude={a,b} --delete /opt/backup/ rsyncadmin@192.168.163.129::date_backup/ --password-file=/etc/rsyncd.pas  # 排除多个文件
使用拉取的方式
        # 方法一
        rsync -avz /opt/backup/ --progress --delete rsyncadmin@192.168.163.129::date_backup --password-file=/etc/rsyncd.pas
 
        # 方法二
         rsync -avz --progress /opt/backup/ rsync://rsyncadmin@192.168.163.129/date_backup/ --password-file=/etc/rsyncd.pas
 
PS：接下来就能够设置计划任务crontab来定时的执行备份任务了(--delete 参数最好不要加 会出现血的惨案)
其余参数：
    限速：
        rsync -avz --progress --exclude=*.log --bwlimit=10 --delete /opt/backup/ rsyncadmin@192.168.163.129::date_backup/ --password-file=/etc/rsyncd.pas

　　5.11：其余的两种方式的使用

本地方式：
rsync -avz /etc/hosts /mut/

远程ssh方式：
rsync -avz /etc/hosts -e 'ssh -p 22' root@192.168.163.132:/mnt/
若是慢能够在ssh配置中设置两个参数(ssh_config文件)
GSSAPIAuthentication yes 改成 no
UseDNS  yes 改成 no

6、Rsync 扩展(实时同步)

　　6.1：inotify+rsync

　　6.2：sersync

　　6.3：lsyncd

7、Rsync 总结

　　Rsync这个工具其实仍是挺好用的在工做中用的也不少，它的优势彻底大于缺点，全部事实上在工做中它的有点会获得充分的利用的，缺点也是可使用其余的方式解决的，这个工具挺重要的在linux属于5星软件的，还有就是想要快速的定位错误真的须要你对整个流程、原理要了解的，掌握它至关于掌握了linux的一款初级神器呦

8、Rsync 错误总结

一、密码输入错误，虚拟用户名错误

二、secrets file = /etc/rsyncd.pad指定的密码文档和实际密码文档名称不一致

三、/etc/rsyncd.pad文档权限不是600

四、rsyncadmin:123456密码配置文档后面注意不要有空格

五、rsync客户端密码文档中只输入密码信息便可，不要输入虚拟认证用户名称

六、推送时双冒号后面为模块名date_backup，而不是路径/date_backup

七、telnet链接rsync服务ip地址873端口，查看服务是否启动 telnet 192.168.163.129 873