Netty Tcp 负载均衡(上)----Nginx
为什么要负载均衡
随着设备连接数增多,单台服务器支撑的TCP长连接数有限,这个时候程序架构就需要改变,一般都会采取横向扩展,增加多台服务器程序。怎么将TCP长连接均衡的路由到不同的服务器,这个时候就需要实现负载均衡了。
两种不同的场景和方案
目前笔者想到的两种应用场景是:
- 客户端实现比较简单,所有客户端都会连接同一个ip域名和端口。客户端不会去请求可用服务器列表,然后去根据具列表选择不同的服务器。比如说一些DTU等硬件设备或者因为前期没有考虑负载均衡而导致的遗留老项目。
解决方案:
在目标服务器上做TCP负载均衡,转发到不同的服务器上,但是这种方案需要解决负载均衡服务器的单点故障。例如可以通过Nginx开启TCP负载均衡功能来实现。 - 客户端本身就实现了请求可用服务器列表,然后根据列表去连接不同的服务器。
方案一:Nginx实现负载均衡
1. 安装Nginx
参考的资料:https://my.oschina.net/ouyush...
参考的资料:http://www.jiagoumi.com/work/...
(0)安装依赖的软件
(1)下载:wget http://nginx.org/download/ngi...
(2)解压:执行指令
tar -xzvf nginx-1.12.2.tar.gz -C 你的目录
(3)配置: 需要添加 with-stream参数 nginx tcp负载均衡需要
./configure --prefix=/opt/nginx-1.9.3 --with-http_stub_status_module --with-http_realip_module --with-http_ssl_module --with-pcre --with-http_realip_module --with-stream
(4)make
(5)make install
nginx会安装到特定的文件夹 /opt,如果一开始把源码包下载到改目录,编译安装时会提示类似错误
把源码包移到其它目录就能解决。
2.修改nginx.conf添加负载均衡配置
官方样例:
worker_processes auto;
error_log /var/log/nginx/error.log info;
events {
worker_connections 1024;
}
stream {
upstream backend {
hash $remote_addr consistent;
server backend1.example.com:12345 weight=5;
server 127.0.0.1:12345 max_fails=3 fail_timeout=30s;
server unix:/tmp/backend3;
}
upstream dns {
server 192.168.0.1:53535;
server dns.example.com:53;
}
server {
listen 12345;
proxy_connect_timeout 1s;
proxy_timeout 3s;
proxy_pass backend;
}
server {
listen 127.0.0.1:53 udp;
proxy_responses 1;
proxy_timeout 20s;
proxy_pass dns;
}
server {
listen [::1]:12345;
proxy_pass unix:/tmp/stream.socket;
}
}
自定义测试配置为:
#tcp load balance
stream{
#更多更详细的参数,查看文档或网络
upstream netty_test{
server 192.168.0.26:6666 weight=1;
server 192.168.0.26:6667 weight=1;
}
server{
listen 6665;
proxy_pass netty_test;
}
}
http {
include mime.types;
default_type application/octet-stream;
...
以上配置只是为了方便测试,因此配置的较为简陋,生产环境中,详细配置请看官方样例。
相关端口不要忘记开放,会存在防火墙导致无法连接的情况。
3.连接测试
启动两个netty服务器程序,在生产环境中会部署到不同的服务器,这里测试,在同一台PC上启动两个netty程序,端口分别为6666和6667。使用客户端连接192.168.0.26:6665,当建立4个连接时,客户端会被平均路由到 192.168.0.26:6666和6667两个server