创建用户
groupadd -g 800 tibco
useradd -u 801 -g tibco -d /home/tibco/ -s /bin/bash tibco
目前关于sharedatastore的方案是使用NAS。
创建准备使用的nfs目录,并赋权限
cd /
mkdir/mqdata
chown -R tibco:tibco /mqdata
安装TIBCO (TIBCO支持绿色安装,即直接从原来的机器上拷贝tibco目录从新创建配置文件即可使用。)
cd /opt/software/
ls
TIB_ems_7.0.1_linux_x86.tar.gz
tar -zxvf TIB_ems_7.0.1_linux_x86.tar.gz
chown -R tibco:tibco *
mkdir /opt/tibco
chown -R tibco:tibco/opt/tibco
切换到tibco用户,开始安装:
su -tibco
cd /opt/software
./TIBCOUniversalInstaller-lnx-x86.bin -console
安装过程中,需要定义以下参数,其它采用默认即可。
Install Type: Typical
Environment Name: cfgmgmt
TIBCO Environment Home Directory: [/home/tibco/tibco] /opt/tibco
TIBCO Configuration Directory: [/home/tibco/CFGs] /opt
安装参数定义:
安装参数 | 值 | 备注 |
Environment Name | cfgmgmt | 环境名称 |
TIBCO Environment Home Directory | /opt/tibco | 介质安装目录 |
TIBCO Configuration Directory | /opt | 配置目录(安装目录/环境名称) |
ems 存放了启动文件 跟config配置案例
创建logs datastore conf目录
cp /opt/tibco/ems/8.2/samples/config/* /mqdata/PMD/EmsServer/conf/(将配置文件拷贝出来,到时升级应用可以直接拷贝配置文件启动)
修改配置tibemsd.conf 文件一个为主 一个为备
1. mqdata/PMD/EmsServer/conf目录下,使用tibemsd.conf文件为模板,创建文件:EmsServertibemsd.conf和EmsServerBackuptibemsd.conf,这两个文件通过启动脚本在主服务器与备服务器上使用。使用命令:
cd/mqdata/PMD/EmsServer/conf
cp -a tibemsd.conf EmsServertibemsd.conf
cp -a tibemsd.conf EmsServerBackuptibemsd.conf
2. 修改EmsServertibemsd.conf文件,修改内容如下:
server = PMD-EmsServer users = "/mqdata/PMD/EmsServer/conf/users.conf" groups = "/mqdata/PMD/EmsServer/conf/groups.conf" topics = "/mqdata/PMD/EmsServer/conf/topics.conf" queues = "/mqdata/PMD/EmsServer/conf/queues.conf" acl_list = "/mqdata/PMD/EmsServer/conf/acl.conf" factories = "/mqdata/PMD/EmsServer/conf/factories.conf" routes = "/mqdata/PMD/EmsServer/conf/routes.conf" bridges = "/mqdata/PMD/EmsServer/conf/bridges.conf" transports = "/mqdata/PMD/EmsServer/conf/transports.conf" tibrvcm = "/mqdata/PMD/EmsServer/conf/tibrvcm.conf" durables = "/mqdata/PMD/EmsServer/conf/durables.conf" channels = "/mqdata/PMD/EmsServer/conf/channels.conf" store = "/mqdata/PMD/EmsServer/datastore" listen = tcp://192.168.50.148:7222 logfile = "/mqdata/PMD/EmsServer/logs/logfile" ft_active = tcp://192.168.50.156:7222 |
3. 修改EmsServerBackuptibemsd.conf文件,修改内容如下:
server = PMD-EmsServer users = "/mqdata/PMD/EmsServer/conf/users.conf" groups = "/mqdata/PMD/EmsServer/conf/groups.conf" topics = "/mqdata/PMD/EmsServer/conf/topics.conf" queues = "/mqdata/PMD/EmsServer/conf/queues.conf" acl_list = "/mqdata/PMD/EmsServer/conf/acl.conf" factories = "/mqdata/PMD/EmsServer/conf/factories.conf" routes = "/mqdata/PMD/EmsServer/conf/routes.conf" bridges = "/mqdata/PMD/EmsServer/conf/bridges.conf" transports = "/mqdata/PMD/EmsServer/conf/transports.conf" tibrvcm = "/mqdata/PMD/EmsServer/conf/tibrvcm.conf" durables = "/mqdata/PMD/EmsServer/conf/durables.conf" channels = "/mqdata/PMD/EmsServer/conf/channels.conf" store = "/mqdata/PMD/EmsServer/datastore" listen = tcp://192.168.50.156:7222 logfile = "/mqdata/PMD/EmsServer/logs/logfile" ft_active = tcp://192.168.50.148:7222 |
4. 修改/mqdata/PMD/EmsServer/conf/factories.conf文件,添加内容如下:
[FTTopicConnectionFactory] type = topic url = tcp://192.168.50.148:7222,tcp://192.168.50.156:7222 [FTQueueConnectionFactory] type = queue url = tcp://192.168.50.148:7222,tcp://192.168.50.156:7222 |
至此,EmsServer的Fault-Tolerant Pair创建完成。
备的配置文件
Server=EMS-SERVER-RAMU(这个值必须和主服务器的tibemsd.conf 文件中的服务器参数的值一致)
Listen=tcp://7222(这个值必须和主服务器的tibemsd.conf 文件中的Ft_active 参数的值一致)
Ft_active=tcp://7222(这个值必须和主服务器的tibemsd.conf 文件中的监听参数的值一致)
store=(这个值必须和主服务器的tibemsd.conf 文件中的存储参数store,注意主服务器的tibemsd.conf 文件中的这个值正好是datastore)
在主上 echo '/mqdata 192.168.50.0/24(rw,sync)' >/etc/exports
/etc/init.d/rpcbind restart
/etc/init.d/nfs restart
主启动
nohup ./tibemsd -forceStart -config /mqdata/PMD/EmsServer/conf/EmsServertibemsd.conf &
主上共享
/mqdata 192.168.50.0/24(rw)
从上挂载/mqdata目录 最好将挂载加到rc.local中 mount -t nfs4 172.16.50.148:/mqdata /mqdata
从上启动
nohup ./tibemsd -config /mqdata/PMD/EmsServer/conf/EmsServerBackuptibemsd.conf &
1 服务器启动
1.1.1. 创建主/备服务器属性文件
在主/备服务器的目录/home/tibco/tools上同时建立:
vi shutdown.conf,输入以下内容:
info show queues shutdown |
1.1.2. 创建主服务器启动脚本
在主服务器(192.168.50.148)上的/home/tibco/tools目录建立:
vi startEmsServer.sh,输入以下内容:
#!/bin/sh cd /opt/tibco/ems/7.0/bin/ nohup ./tibemsd64 -config /mqdata/PMD/EmsServer/conf/EmsServertibemsd.conf& |
1.1.3. 创建主服务器停止脚本
在主服务器上(192.168.50.148)的/home/tibco/tools目录建立:
vi stopEmsServer.sh,输入以下内容:
#!/bin/sh date >> shutdown.log /opt/tibco/ems/7.0/bin/tibemsadmin -script /home/tibco/tools/shutdown.conf-servertcp://192.168.50.148:7222-user admin -password [admin’s password]>> shutdown.log |
注意以上IP地址修改为对应的IP,如果没有密码,则不需要-password参数,下同!
1.1.4. 创建备服务器启动脚本
在备服务器(192.168.50.156)上的/home/tibco/tools目录建立:
vi startEmsServer.sh,输入以下内容:
#!/bin/sh cd /opt/tibco/ems/7.0/bin/ nohup ./tibemsd64 -config /mqdata/PMD/EmsServer/conf/EmsServerBackuptibemsd.conf& |
1.1.5. 创建备服务器停止脚本
在备服务器(192.168.50.156)上的/home/tibco/tools目录建立:
vi stopEmsServer.sh,输入以下内容:
#!/bin/sh date >> shutdown.log /opt/tibco/ems/7.0/bin/tibemsadmin -script /home/tibco/tools/shutdown.conf-servertcp://192.168.50.156:7222-user admin -password [admin’s password]>> shutdown.log |
启动脚本的执行:
sh startEmsServer.sh
停止脚本的执行:
sh stopEmsServer.sh
执行后,观察日志确认启动/停止情况
设置连接密码
通过以下几条命令,设置tibco的admin账号密码。(账户 admin 初始密码为空)这里设置为admin,请根据实际情况定义!
Login name (admin):
Password:
Connected to: tcp://192.168.50.148:7222
tcp://192.168.50.148:7222>set password admin [admin’s password]
Password of user 'admin' has been modified
tcp://192.168.50.148:7222>quit
bye
2. 日常基础配置管理
2.1. Queue建立和管理
TIBCO EMS中queue的建立可以使用API,也可以使用管理控制台建立。不管使用何种方式建立的queue,最后都将保存在queues.conf文件中。queues.conf文件为文本文件,也可以手工进行修改。由于手动修改queues.conf文件后需要重启EMS服务,而且配置信息的正确性不经过检查,所以不建议直接修改配置文件。建议使用管理控制台。如需进行批处理,通过在脚本中调用管理控制台的执行程序tibemsadmin实现。
2.2. Factory的建立和管理
TIBCO EMS中Factory的建立也同样可以使用API和后台管理控制台进行修改和建立。
但是不如修改factories.conf文件来的方便。Factories。conf文件为文本文件,也可以手工进行修改。
如下所示:
[seashellXAConnectionFactory] ---- factory的名称
type = xaqueue ----类型
url = tcp://192.168.50.148:7222,tcp://192.168.50.156:7222|tcp://192.168.50.148:7222,tcp://192.168.50.156:7222 --- 所使用EMSServer的list,如果以“,”表示是FT的Pair,以“|”,表示LoadBalance的Pair。
metric = connections ---使用connection数目进行LoadBalance的依据。
3. 监控部署
3.1. TIBCO EMS运行主机的监控
使用目前统一的主机监控方案,监控内容包括:
CPU使用率
内存使用
磁盘使用
硬盘I/O
CPU Load Average
3.2. NAS的IO监控
使用NAS提供的SNMP接口监控
3.3. TIBCO EMS主机依赖网络流量的监控
监控Tibco EMS主机与NAS直接的网络流量,避免网络带宽的影响整个NAS的I/O。
3.4. TIBCO EMS运行状态,连接数目监控
1、 监控TIBCO EMS的监听进程是否正常 telnet localhost 7222 等
2、 监控TIBCO EMS上连接EMS进程的网络连接数
3、 监控TIBCO EMSServer上的运行日志,对于异常的日志进行分析
以上监控也可以结合TibcoRTView进行,从操作系统层面和软件层面分别进行监控,必要时使用TibcoRTView进行数据分析,进行容量的估算。
3.5. Queue的监控(使用TibcoRTView)
1、 Queue的深度监控:目前pending状态的Queue的长度,超过一定长度邮件报警,必要情况下使用Queue Clear脚本对过长的Pending队列进行清除。
2、 Queue的流量统计:统计每天主要Queue的流量,用于容量分析
4. 后续升级RoadMap
4.1. 存储
从目前的收集的各类资料显示,由于TIBCO EMS 的HA架构依赖于共享存储,而共享存储目前有多种实施方案。在这一次的实施中,我们使用的是目前生产上已有的NAS。
现在的测试过程中,并没有觉得使用NAS的Disk I/O是瓶颈。
但在后续的压力和容量不断提升的情况下,不难保证这一块会成为瓶颈,故指定以下升级RoadMap。
1、 将目前混用的NAS,单独增加一个磁盘阵列用给EMS使用,避免混用造成的影响。
升级需要工作:购买新的磁盘阵列用于EMS
2、 将目前EMS使用的NAS升级到SAN结构
A、 改造目前使用的NAS架构,增加SAN架构
升级需要工作:重新规划NAS网络,购买光纤交换机,每台EMS服务器增加光纤卡,NetApp的存储购买支持SAN架构的模块
B、 迁移目前使用的NAS共享存储到数据库使用SAN结构的共享存储。
升级需要工作:每台EMS服务器增加光纤卡,已有光纤交换机上增加接口给新增EMS服务器使用。
缺点:将与数据库使用同一个存储,可能会对数据库的使用造成影响。
以上升级方案在发现NAS 的Disk I/O在其他优化完成的情况下,仍然是瓶颈的情况下参考实施。
4.2. 服务器
EMS本身的Load Balance功能支持EMS的横向扩展。但由于实现Load Balance的机制中引入Routed Queue,而Routed Queue无法保证所有场景下事务的完整性,所以本次方案没有采用Producer端的Load Balance。对于Topic,Load Balance是没有对事务的限制的,但公司目前不采用Topic的机制。因为不采用Load Balance,未来EMS的升级采用如下几种方案:
1、 升级现有的硬件设备。如目前使用的服务器(戴尔R610)还有预留空间给CPU和内存模块,可以将服务器的配置进行提升。由于两台机器上的EMS互为FT,可以在不影响客户端的情形下将Standby状态下的机器停机进行模块扩展,然后再开机,开机后重新进入Standby模式。对正在运行Active EMS实例的机器进行升级,需要首先停掉EMS实例或者直接停机,让原来Standby状态下的EMS变为Active,然后再对机器进行硬件升级。此方案的优点是配置简单,但CPU数量及内存大小的增加并不一定能对EMS的整体性能有实质意义上的提升。
2、 增加FT Pair。目前的架构是使用一对Fault Tolerant的EMS实例,分别运行在不同的物理机器上。如果新的应用程序使用新的Queue,可以考虑将这些Queue建立在新的FT Pair(运行在另外两台机器)上。此方案的前提是新的Queue不被现有的应用所使用。