glusterfs是一款开源的分布式文件系统。
它具备高扩展、高可用及高性能等特性，由于其无元数据服务器的设计，使其真正实现了线性的扩展能力，使存储总容量可轻松达到PB级别，支持数千客户端并发访问。
主要应用在跨集群系统中，具有很好的可扩展性。
glusterfs常用的命令
安装
# yum install centos-release-gluster -y
服务器端：
# yum install glusterfs-server -y
客户端：
# yum install glusterfs-client -y
# yum install glusterfs-fuse -y
1 服务器节点
# gluster peer status //查看所有节点信息，显示时不包括本节点
# gluster peer probe NODE-NAME //添加节点
# gluster peer detach NODE-NAME //移除节点
2 glusterd服务
/etc/init.d/glusterd start |stop |status
3.卷管理
创建卷（在任一节点执行）
卷有6种类型：
<1>复制卷
gluster volume create VOLNAME [replica COUNT] [transport tcp | rdma | tcp, rdma] BRICK...
示例1：gluster volume create testvol replica 2 server1:/exp1/brick server2:/exp2/brick
<2>条带卷
gluster volume create VOLNAME [stripe COUNT] [transport tcp | rdma | tcp, rdma] BRICK...
示例：gluster volume create testvol stripe 2 server1:/exp1/brick server2:/exp2/brick
<3>分布式卷
gluster volume create VOLNAME [transport tcp | rdma | tcp, rdma] BRICK
示例：gluster volume create testvol server1:/exp1/brick server2:/exp2/brick
<4>分布式复制卷
gluster volume create VOLNAME [replica COUNT] [transport tcp | rdma | tcp, rdma] BRICK...
示例： gluster volume create testvol replica 2 server1:/exp1/brick server2:/exp2/brick server3:/exp3/brick server4:/exp4/brick
<5>分布式条带卷
gluster volume create VOLNAME [stripe COUNT] [transport tcp | rdma | tcp, rdma] BRICK...
示例：gluster volume create testvol stripe 2 server1:/exp1/brick server2:/exp2/brick server3:/exp3/brick server4:/exp4/brick
<6>条带复制卷
gluster volume create VOLNAME [stripe COUNT] [replica COUNT] [transport tcp | rdma | tcp, rdma] BRICK...
示例：gluster volume create testvol stripe 2 replica 2 transport tcp server1:/exp1/brick server2:/exp2/brickserver3:/exp3/brick server4:/exp4/brick
启动|停止卷
#gluster volume start|stop test-volume
删除卷
#gluster volume delete test-volume //先停止卷后才能删除
查看卷
# gluster volume list /*列出集群中的所有卷*/
# gluster volume info [all] /*查看集群中的卷信息*/
# gluster volume status [all] /*查看集群中的卷状态*/
# gluster volume status [detail| clients | mem | inode | fd]
配置卷
# gluster volume set <VOLNAME> <OPTION> <PARAMETER>
扩展卷
# gluster volume add-brick <VOLNAME> <NEW-BRICK>
注意，如果是复制卷或者条带卷，则每次添加的Brick数必须是replica或者stripe的整数倍。
收缩卷
格式：volume remove-brick <VOLNAME> [replica <COUNT>] <BRICK> ... <start|stop|status|commit|force>
示例：# gluster volume remove-brick testvol server1:/data/brick/brick01 start
使用start是先将数据迁移到其它可用的Brick，迁移结束后才将该Brick移除
使用commit命令执行Brick移除，则不会进行数据迁移而直接删除Brick
迁移卷 （主要完成数据在卷之间的在线迁移）
volume replace-brick <VOLNAME> <SOURCE-BRICK> <NEW-BRICK> {commit force}
实例：gluster volume replace-brick testvol server2:/data/brick/brick02 server2:/data/brick/brick01 commit force
重新均衡卷
不迁移数据：
# gluster volume rebalance lay-outstart
# gluster volume rebalance start|stop|status
# gluster volume rebalance startforce
客户端挂载卷
mount -t glusterfs 192.168.1.28:/testvol /mnt/
mount -t glusterfs res03,res04,res05,res06:/backup /ubox/backup
异常信息：volume add-brick: failed: /data/brick/brick01 is already part of a volume
说明/data/brick/brick01 曾经是一个Brick。解决方法：
# rm -rf /data/brick/brick01.glusterfs
# setfattr -x trusted.glusterfs.volume-id /data/brick/brick01
# setfattr -x trusted.gfid /data/brick/brick01