集群与存储
存储：共享（iscsi 、nfs 多路经）
分布式存储（fastdfs / ceph）
集群：LB负载均衡集群 LVS haproxy
HA高可用集群 keepalived RHCS（红帽集群套件） 银行
iptables（RHEL6）、firewalld（RHEL7）
——————————————————————————————————————————————————————html
1、存储
存储介质：内存、硬盘
存储位置：本地、网络、云存储
存储技术分类：
SCSI：小型计算机系统接口
DAS：直连式存储
NAS：网络技术存储
SAN：存储区域网络
FC：光纤通道 FC-SAN IP-SAN前端
配置iscsinode
存储服务器64（加2块3G的磁盘）
配置存储服务器64
把本机的2块磁盘共享给网络中的全部主机
client61
|
web63 web62
| |
存储服务器64 storage64
配置步骤：
一 后端存储
装包 scsi-target-utils
修改配置文件
启动服务 并查看端口和进程web
二 前端应用
装包
发现设备
登入设备
查看设备
分区
格式
挂载
存储数据vim
后端存储
装包
[root@stu ~]# yum -y install scsi-target-utils后端
修改配置文件
[root@st64 ~]# vim /etc/tgt/targets.conf
62 <target iqn.2018-04.cn.tedu:st64.diskb>
63 backing-store/dev/vdb
64 write-cache off
65 #initiator address 192.168.4.62
66 #initiator address 192.168.4.63
67 vendor_id tarena
68 product_id disketwo
69 </target>
70
71 <target iqn.2018-04.cn.tedu:st64.diskc>
72 backing-store/dev/vdc
73 write-cache off
74 #initiator address 192.168.4.62
75 #initiator address 192.168.4.63
76 vendor_id tarena
77 product_id diskthr
78 </target>服务器
[root@st64 ~]# /etc/init.d/tgtd start网络
62\63
装包
yum -y install httpd
[root@stu ~]# /etc/init.d/httpd startapp
yum -y install iscsi-initiator-utils
[root@stu ~]# /etc/init.d/iscsid start
发现设备
iscsiadm -m discovery -t sendtargets -p tgtd 服务器ip地址：3260
登入设备
[root@stu63 ~]# iscsiadm -m discovery -t st -p 192.168.4.64:3260
192.168.4.64:3260,1 iqn.2018-04.cn.tedu:st64.diskb
192.168.4.64:3260,1 iqn.2018-04.cn.tedu:st64.diskc负载均衡
iscsiadm -m node -T iqn名称 -p tgtd ip:3260 -l
root@stu63 ~]# iscsiadm -m node -T iqn.2018-04.cn.tedu:st64.diskc -p 192.168.4.64:3260 -l
登出设备
iscsiadm -m node -T iqn名称 -p tgtd ip:3260 -u
[root@stu63 ~]# iscsiadm -m node -T iqn.2018-04.cn.tedu:st64.diskc -p 192.168.4.64:3260 -u
查看设备ls /dev/*
ls /dev/sd*
###########################################################################
默认状况下，硬件设备的命名，是由内核决定的，内核会根据设备的类型和发现的前后顺序给硬件设备定义名称
IDE接口 /dev/vda、b
SCSI接口 /dev/sda sdb sdc
UDV程序能够给内核识别的设备定义名称：
获取系统已经识别的设备硬件参数，根据参数定义，设备名称。
udevadm info --query=path --name=内核设备的设备名称(/dev/sda)
udevadm info --path=内核设备的路径 --attribute-walk
配置UDV
cd /etc/udev/rules.d/
vim 数字-名.rules
vim /etc/udev/rules.d
[root@stu ~]# vim /etc/udev/rules.d/90-iscsidisk.rules
SUBSYSTEM=="block", ATTR{size}=="10485760", ATTRS{vendor}=="tarena ",
ATTRS{model}=="diskthr ", SYMLINK+="iscsi/vdc"
SUBSYSTEM=="block", ATTR{size}=="10485760", ATTRS{vendor}=="tarena ", ATTRS{model}=="diskthr ", SYMLINK+="iscsi/vdb"
start_udev
ls -l /dev/iscsi/vd*
分区：fdisk 分区名
查看分区是否被格式化：blkid 分区名
格式：mkfs.ext4 /dev/iscsi/vdb
挂载 mount -t ext4 /dev/iscsi/vdb /var/www/html/
存储数据 echo "12346" > /var/www/html/test.html
另外一台网站服务器上 直接挂载格式化
blkid /dev/iscsi/vdb
mount -t ext4 /dev/iscsi/vdb /var/www/html
ls /var/www/html
客户端访问2台网站服务器
elinks --dump http://192.168.4.62/test.html
elinks --dump http://192.168.4.63/test.html
____________________________________________________________________________________________
2、搭建NFS存储服务器
配置 运行nfs服务或samba服务
1.把一个3G的磁盘分区vdb1
fdisk /dev/vdb
fdisk -l /dev/vdb
mkfs.ext4 /dev/vdb1
blkid /dev/vdb1
2.把分区挂载到本机
[root@te65 ~]# mkdir /shardata
[root@te65 ~]# mount /dev/vdb1 /shardata
[root@te65 ~]# cp /etc/passwd /shardata
[root@te65 ~]# chmod +w /shardata
装包、启服务
[root@te65 ~]# yum -y install rpcbind
[root@te65 ~]# /etc/init.d/rpcbind start
[root@te65 ~]# yum -y install nfs-utils
配置文件
[root@te65 ~]# vim /etc/exports
/shardata *(rw) //挂载目录，权限
[root@te65 ~]# /etc/init.d/nfs start
[root@te65 ~]# netstat -utnalp | grep :2049
[root@te65 ~]# chkconfig nfs on /开机自启
6二、63
[root@te62 ~]# yum -y install nfs-utils
挂载共享目录：
mount -t nfs 192.168.4.65:/shardata /var/www/html
[root@te62 ~]# echo "i love you" > /var/www/html/test.html
客户端访问
[root@st61 ~]# elinks --dump http://192.168.4.62/test.html
[root@st61 ~]# elinks --dump http://192.168.4.63/a.html
[root@st61 ~]# elinks --dump http://192.168.4.63/test.html
3、配置iscsi共享的多路径
[root@te65 ~]# yum -y install scsi-target-utils
vim /etc/tgt/targets.conf
62 <target iqn.2018-04.cn.tedu:st65.diskb>
63 write-cache off
64 #initiator address 192.168.4.62
65 #initiator address 192.168.4.63
66 vendor_id tarena
67 product_id disketwo
68 </target>
[root@te62 ~]# iscsiadm -m discovery -t sendtargets -p 192.168.4.65:3260
iscsiadm -m node -T iqn.2018-04.cn.tedu:st65.diskb -p 192.168.4.65:3260 -l
[root@te62 ~]# ls /dev/sd*
/dev/sda /dev/sdb
配置多路径
1.装多路径包
[root@te62 ~]# yum -y install device-mapper-multipath
2.获取已登陆iscsi设备的wwid（全球识别符）
scsi_id --whitelisted --device=/dev/sda(磁盘名）
1IET 00010001
scsi_id --whitelisted --device=/dev/sdb
3.建立多路径配置文件，并修改配置文件使用的wwid
[root@te62 ~]# mpathconf --user_friendly_names n
[root@te62 ~]# vim /etc/multipath.conf
27 getuid_callout "/lib/udev/scsi_id --whitelisted --device=/dev/%n"
101 multipaths {
102 multipath {
103 wwid "1IET 00010001" //获取wwid
104 alias mpatha //给对应wwid设备定义名称
启服务：[root@te62 ~]# /etc/init.d/multipathd start
[root@te62 ~]# chkconfig multipathd on
[root@te62 ~]# ls /dev/mapper/mpatha
/dev/mapper/mpatha
、
3.查看多路径信息: multipath -ll
从新加载多路径信息 ifdown eth1
格式化: mkfs.ext4 /dev/mapper