良许Linux教程网 干货合集 通过haproxy+keepalived实现高可用配置

通过haproxy+keepalived实现高可用配置

HAProxy提供高可用性、负载均衡以及基于TCP和HTTP应用的代理,它是免费、开源、快速并且可靠的一种解决方案。

通过haproxy+keepalived实现高可用配置

haproxy能够实现的功能

4层负载均衡,透明代理,7层负载均衡(会话保持,动静分离,多种轮询算法)

安装haproxy

centos7 自带HA-Proxy version 1.5
yum update -y && yum install epel* -y && yum update -y && yum install haproxy -y

配置使其能够进行转发(haproxy是基于nat模式的负载均衡需要打开系统的转发功能)

vim /etc/sysctl.conf
net.ipv4.ip_forward = 1

sysctl -p #刷新配置

编辑haproxy的配置

vim /etc/haproxy/haproxy.conf,待会儿将详细介绍各种参数,现完成以下案例

1:利用tcp模式,实现ssl的代理与负载均衡
2:利用http模式,实现简单的web负载均衡,(后面会介绍利用frontend,backend实现负载的负载均衡,比如动静分离)
3:利用listen模块,实现配置整体监控页面

配置文件haproxy.conf的内容

#################################
global
 maxconn 20480 #默认最大连接数
 log 127.0.0.1 local3 notice
 chroot /var/lib/haproxy  #注意,这里的路径与1.4,1.3版本的路径不太一样
 user haproxy
 group haproxy
 daemon #以后台形式运行haproxy
 nbproc 1 #进程数量(可以设置多个进程提高性能)
 pidfile /var/run/haproxy.pid #haproxy的pid存放路径,启动进程的用户必须有权限访问此文件
 ulimit-n 65535 #ulimit的数量限制

defaults
 log global
 mode http #所处理的类别 (#7层 http;4层tcp )
 maxconn 20480 #最大连接数
 option httplog #日志类别http日志格式
 option httpclose #每次请求完毕后主动关闭http通道
 option dontlognull #不记录健康检查的日志信息
 option forwardfor #如果后端服务器需要获得客户端真实ip需要配置的参数,可以从Http Header中获得客户端ip
 option redispatch #当serverid对应的服务器挂掉后,强制定向到其他健康服务器
 #当使用了cookie时,haproxy将会将其请求的后端服务器的serverID插入到cookie中,以保证会话的SESSION持久性;而此时,如果后端的服务器宕掉了,但是客户端的cookie是不会刷新的,如果设置此参数,将会将客户的请求强制定向到另外一个后端server上,以保证服务的正常。
 option abortonclose #当服务器负载很高的时候,自动结束掉当前队列处理比较久的连接
 stats refresh 30 #统计页面刷新间隔
 retries 3 #3次连接失败就认为服务不可用,也可以通过后面设置
 balance roundrobin #默认的负载均衡的方式,轮询方式
 #balance source #默认的负载均衡的方式,类似nginx的ip_hash
 #balance leastconn #默认的负载均衡的方式,最小连接
 timeout connect 10s #连接超时,注意这里的关键词与1.3,1.4版本不一样
 timeout client 1m #客户端超时
 timeout server 1m #服务器超时
 timeout http-keep-alive 10s
 timeout check 10s #心跳检测超时

listen jiankong *:80 #利用listen模块,实现配置整体监控页面
 description web-jiqun
 mode http #http的7层模式
 log 127.0.0.1 local3 err #错误日志记录
 stats refresh 5s #每隔5秒自动刷新监控页面
 stats uri /admin #监控页面的url
 stats realm itnihao\ itnihao #监控页面的提示信息
 stats auth admin:admin #监控页面的用户和密码admin,可以设置多个用户名
 stats auth admin1:admin1 #监控页面的用户和密码admin1
 stats hide-version #隐藏统计页面上的HAproxy版本信息
 stats admin if TRUE #手工启用/禁用,后端服务器(haproxy-1.4.9以后版本)
########HAProxy的日志记录内容设置##########
 capture request header Host len 40
 capture request header Content-Length len 10
 capture request header Referer len 200
 capture response header Server len 40
 capture response header Content-Length len 10
 capture response header Cache-Control len 8

listen web *:100 #利用http模式,实现简单的web负载均衡
 description web
 mode http
 balance roundrobin
 server web1 192.168.10.188:80 check inter 1500 rise 3 fall 3 weight 1
 server web2 192.168.10.153:80 check inter 1500 rise 3 fall 3 weight 1

listen ssl *:200 #利用tcp模式,实现ssl的代理与负载均衡
 description ssl-web
 mode tcp
 balance roundrobin
 server web1 192.168.10.188:22
 server web2 192.168.10.153:22
**********************************

为haproxy配置log,实现记录日志的功能

vim /etc/rsyslog.conf #在这个文件里追加一行
local3.* /var/log/haproxy.log

重启rsyslog服务

systemctl restart rsyslog
haproxy -f /etc/haproxy/haproxy.cfg -c #检查指定配置是否正确
haproxy -f /etc/haproxy/haproxy.cfg -D #指定配置文件启动

在启动haproxy后,查看是否有/var/log/haproxy.log这个文件,若是没有,可以考虑禁止selinux

安装keepalived

keepalived不仅可以实现高可用(控制vip的漂移),还能实现负载均衡,我们这里只需要它实现vip漂移;keepalived采用官网下载的源码方式安装

先安装依赖
yum install openssl-devel.x86_64 -y
下载地址:http://www.keepalived.org/
./configure #若是这步出错,很可能是没安装openssl-devel.x86_64
make -j4
make install

(注意:编译时尽量别添加prefix参数,因为keepalived启动是默认的配置文件路径是/etc/keepalived/keepalived.conf,若路径或文件不存在,就无法实现vip的绑定)

安装完成后需要把配置文件cp /usr/local/etc/keepalived /etc -r

keepalived实现HA的原理

利用vrrp协议;(MASTER一直发送心跳给BACKUP,backup若收不到心跳则会接管vip)

keepalived配置文件vim /etc/keepalived/keepalived.conf(主与备)-(注意:主与备节点,只需改动state MASTER和priority 100这两个地方)

keepalived在启动时并不检查语法的正确性,需要特别注意,配置语法别错

#全局定义部分
global_defs {
  notification_email {
    root@wsfnk.com  #设置邮件报警地址,可以设置多个,每行一个
    112323250@qq.com
  }
  notification_email_from Alexandre.Cassen@firewall.loc #设置邮件的发送地址
  smtp_server 192.168.200.1     #设置smtp server
  smtp_connect_timeout 30     #设置连接smtp server的超时时间
  router_id LVS_DEVEL      #表示运行keepalived服务器的一个标示,发送邮件时显示在邮件主题中的信息
  vrrp_skip_check_adv_addr
  vrrp_strict
  vrrp_garp_interval 0
  vrrp_gna_interval 0
}

vrrp_script chk_http_port {     #定义一个检查haproxy的脚本
               script "/root/check_haproxy.sh"
               interval 2
               weight 2
}

#vrrp实例定义部分
vrrp_instance VI_1 {
   state MASTER  #指定角色为主MASTER,备为BACKUP
   interface eth0  #指定HA监测网络的接口,注意网络设备的名字,要与系统一致
   virtual_router_id 51 #虚拟路由标示,这个标示是一个数字,同一个vrrp实例使用唯一的标示
   priority 100  #主权值必须设得比 back 高,数字越大越高
   advert_int 1  #设定keepalived-master与备节点的心跳间隔时间,单位是秒

   authentication {  #设置验证类型和密码
       auth_type PASS  #设置验证类型,由PASS与HA两种
       auth_pass 1111  #设置验证密码,同一vrrp实例下,keepalived-master与backup节点必须使用相同的密码才能正常通信
   }
   track_script {  #调用上面定义检查haproxy的脚本
       chk_http_port
   }

   virtual_ipaddress {  #设置虚拟ip,可以设置多个虚拟的vip,每行一个
       192.168.200.16
       192.168.200.18
   }
}
******************************************

keepalived控制haproxy的启动

下面脚本的意思是,当主备启动keepalived时,会分别启动haproxy,只要keepalived不停,haproxy程序就杀不死,用vip承载业务,两边haproxy都启动没有影响,只需要做好监控,当然完善一下也可以

cd /root
vim check_haproxy.sh

#!/bin/bash
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
       /usr/sbin/haproxy -f /etc/haproxy/haproxy.cfg -D
fi
sleep 2
if [ $(ps -C haproxy --no-header | wc -l) -eq 0 ]; then
      keepalived stop
fi
chmod +x check_haproxy.sh

启动keepalived

keepalived start
***************************************
★★★stop若要深入研究haproxy与keepalived,下面是他们的配置示例
以下是haproxy的配置讲解,主要讲listen,acl,frontend,backend

##################全局配置信息#####################
#######参数是进程级的,通常和操作系统(OS)相关#########
global
###################默认的全局设置###################
##这些参数可以被利用配置到frontend,backend,listen组件##
defaults
##################网站监测listen配置################
#########此用法主要是监控haproxy后端服务器的监控状态#######
listen site_status
 bind 0.0.0.0:1081 #监听端口
 mode http #http的7层模式
 log 127.0.0.1 local3 err #[err warning info debug]
 monitor-uri /site_status #网站健康检测URL,用来检测HAProxy管理的网站是否可以用,正常返回200,不正常返回503
 acl site_dead nbsrv(server_web) lt 2 #定义网站down时的策略当挂在负载均衡上的指定backend的中有效机器数小于1台时返回true
 acl site_dead nbsrv(server_blog) lt 2
 acl site_dead nbsrv(server_bbs) lt 2
 monitor fail if site_dead #当满足策略的时候返回503,网上文档说的是500,实际测试为503
 monitor-net 192.168.16.2/32 #来自192.168.16.2的日志信息不会被记录和转发
 monitor-net 192.168.16.3/32

########frontend配置############
#####注意,frontend配置里面可以定义多个acl进行匹配操作########
frontend http_80_in
 bind 0.0.0.0:80 #监听端口,即haproxy提供web服务的端口,和lvs的vip端口类似
 mode http #http的7层模式
 log global #应用全局的日志配置
 option httplog #启用http的log
 option httpclose #每次请求完毕后主动关闭http通道,HA-Proxy不支持keep-alive模式
 option forwardfor #如果后端服务器需要获得客户端的真实IP需要配置次参数,将可以从Http Header中获得客户端IP
########acl策略配置#############
 acl itnihao_web hdr_reg(host) -i ^(www.itnihao.cn|ww1.itnihao.cn)$
 #如果请求的域名满足正则表达式中的2个域名返回true -i是忽略大小写
 acl itnihao_blog hdr_dom(host) -i blog.itnihao.cn
 #如果请求的域名满足www.itnihao.cn返回true -i是忽略大小写
 #acl itnihao hdr(host) -i itnihao.cn
 #如果请求的域名满足itnihao.cn返回true -i是忽略大小写
 #acl file_req url_sub -i killall=
 #在请求url中包含killall=,则此控制策略返回true,否则为false
 #acl dir_req url_dir -i allow
 #在请求url中存在allow作为部分地址路径,则此控制策略返回true,否则返回false
 #acl missing_cl hdr_cnt(Content-length) eq 0
 #当请求的header中Content-length等于0时返回true
 acl url_static path_beg -i /static /images /javascript /stylesheets
 acl url_static path_end -i .jpg .gif .png .css .js

 #use_backend static if url_static
 #default_backend app

########acl策略匹配相应#############
 #block if missing_cl
 #当请求中header中Content-length等于0阻止请求返回403
 #block if !file_req || dir_req
 #block表示阻止请求,返回403错误,当前表示如果不满足策略file_req,或者满足策略dir_req,则阻止请求
 use_backend server_web if itnihao_web
 #当满足itnihao_web的策略时使用server_web的backend
 use_backend server_blog if itnihao_blog
 #当满足itnihao_blog的策略时使用server_blog的backend
 #redirect prefix http://blog.itniaho.cn code 301 if itnihao
 #当访问itnihao.cn的时候,用http的301挑转到http://192.168.16.3
 default_backend server_bbs
 #以上都不满足的时候使用默认server_bbs的backend

##########backend的设置##############
#下面我将设置三组服务器 server_web,server_blog,server_bbs
#############backend server_web##############
backend server_web
 mode http #http的7层模式
 balance roundrobin #负载均衡的方式,roundrobin平均方式
 cookie SERVERID #允许插入serverid到cookie中,serverid后面可以定义
 option httpchk GET /index.html #心跳检测的文件
 server web1 192.168.16.2:80 cookie web1 check inter 1500 rise 3 fall 3 weight 1
 #服务器定义,cookie 1表示serverid为web1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
 #fall 3是3次失败认为服务器不可用,weight代表权重
 server web2 192.168.16.3:80 cookie web2 check inter 1500 rise 3 fall 3 weight 2
 #服务器定义,cookie 1表示serverid为web2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,
 #fall 3是3次失败认为服务器不可用,weight代表权重

##############backend server_blog##############
backend server_blog
 mode http #http的7层模式
 balance roundrobin #负载均衡的方式,roundrobin平均方式
 cookie SERVERID #允许插入serverid到cookie中,serverid后面可以定义
 option httpchk GET /index.html #心跳检测的文件
 server blog1 192.168.16.2:80 cookie blog1 check inter 1500 rise 3 fall 3 weight 1
 #服务器定义,cookie 1表示serverid为blog1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
 server blog2 192.168.16.3:80 cookie blog2 check inter 1500 rise 3 fall 3 weight 2
 #服务器定义,cookie 1表示serverid为blog2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重

###########backend server_bbs#################

backend server_bbs
 mode http #http的7层模式
 balance roundrobin #负载均衡的方式,roundrobin平均方式
 cookie SERVERID #允许插入serverid到cookie中,serverid后面可以定义
 option httpchk GET /index.html #心跳检测的文件
 server bbs1 192.168.16.2:80 cookie bbs1 check inter 1500 rise 3 fall 3 weight 1
 #服务器定义,cookie 1表示serverid为bbs1,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
 server bbs2 192.168.16.3:80 cookie bbs2 check inter 1500 rise 3 fall 3 weight 2
 #服务器定义,cookie 1表示serverid为bbs2,check inter 1500是检测心跳频率rise 3是3次正确认为服务器可用,fall 3是3次失败认为服务器不可用,weight代表权重
***************************************

下面是keepalived的详细参数介绍

#全局定义部分
global_defs {
  notification_email {
    root@wsfnk.com  #设置邮件报警地址,可以设置多个,每行一个
    1123323230@qq.com
  }
  notification_email_from Alexandre.Cassen@firewall.loc #设置邮件的发送地址
  smtp_server 192.168.200.1     #设置smtp server
  smtp_connect_timeout 30     #设置连接smtp server的超时时间
  router_id LVS_DEVEL      #表示运行keepalived服务器的一个标示,发送邮件时显示在邮件主题中的信息
  vrrp_skip_check_adv_addr
  vrrp_strict
  vrrp_garp_interval 0
  vrrp_gna_interval 0
}

vrrp_script chk_http_port {     #定义一个检查haproxy的脚本
               script "/root/check_haproxy.sh"
               interval 2
               weight 2
}

#vrrp实例定义部分
vrrp_instance VI_1 {
   state MASTER  #指定角色为主MASTER,备为BACKUP
   interface eth0  #指定HA监测网络的接口,注意网络设备的名字,要与系统一致
   virtual_router_id 51 #虚拟路由标示,这个标示是一个数字,同一个vrrp实例使用唯一的标示
   priority 100  #主权值必须设得比 back 高,数字越大越高
   advert_int 1  #设定keepalived-master与备节点的心跳间隔时间,单位是秒
   authentication {  #设置验证类型和密码
       auth_type PASS  #设置验证类型,由PASS与HA两种
       auth_pass 1111  #设置验证密码,同一vrrp实例下,keepalived-master与backup节点必须使用相同的密码才能正常通信
   }
track_script {  #调用上面定义检查haproxy的脚本
       chk_http_port
     }

   virtual_ipaddress {  #设置虚拟ip,可以设置多个虚拟的vip,每行一个
       192.168.200.16
       192.168.200.18
   }
}

#虚拟服务器定义部分
virtual_server 192.168.200.100 443 { #设置虚拟服务器,需要指定虚拟ip,端口,用空格分开
   delay_loop 6   #设置运行情况检查时间间隔,单位是秒
   lb_algo rr    #设置负载调度算法,rr是轮询算法
   lb_kind NAT    #设置lvs实现负载均衡的机制,有NAT,TUN,DR
   persistence_timeout 50  #会话保持时间,单位是秒,这个选项对动态网页非常有用,为集群中的session共享提供了一个很好的解决方案
    #有了这个会话保持功能,用户的请求会被一直分发到一台服务器上,直到超过这个会话保持时间,需要注意的是
    #这个会话保持时间是最大无响应超时时间,也就是说,用户在操作动态页面时,如果在50秒内没有执行任何操作
    #那么就会认为超时,以后的操作会被分发到别的节点上,以此类推
   protocol TCP   #指定转发的协议类型,有TCP,UDP两种

   real_server 192.168.201.100 443 { #配置服务节点1,需要指定real_server的真实ip,端口
       weight 1   #配置权重,数字越大,权重越高,性能好的服务器可以设大些
       SSL_GET {
           url {
             path /
             digest ff20ad2481f97b1754ef3e12ecd3a9cc
           }
           url {
             path /mrtg/
             digest 9b3a0c85a887a256d6939da88aabd8cd
           }
           connect_timeout 3  #存活检测,表示3秒内无响应超时,单位是秒
           nb_get_retry 3  #表示检测次数
           delay_before_retry 3 #表示检测的时间间隔
       }
   }
}

virtual_server 10.10.10.3 1358 {
   delay_loop 3
   lb_algo rr
   lb_kind NAT
   persistence_timeout 50
   protocol TCP

real_server 192.168.200.4 1358 {
       weight 1
       HTTP_GET {
           url {
             path /testurl/test.jsp
             digest 640205b7b0fc66c1ea91c463fac6334d
           }
           url {
             path /testurl2/test.jsp
             digest 640205b7b0fc66c1ea91c463fac6334d
           }
           url {
             path /testurl3/test.jsp
             digest 640205b7b0fc66c1ea91c463fac6334d
           }
           connect_timeout 3
           nb_get_retry 3
           delay_before_retry 3
       }
   }
real_server 192.168.200.5 1358 {
       weight 1
       HTTP_GET {
           url {
             path /testurl/test.jsp
             digest 640205b7b0fc66c1ea91c463fac6334d
           }
           url {
             path /testurl2/test.jsp
             digest 640205b7b0fc66c1ea91c463fac6334d
           }
           url {
             path /testurl3/test.jsp
             digest 640205b7b0fc66c1ea91c463fac6334d
           }
           connect_timeout 3
           nb_get_retry 3
           delay_before_retry 3
       }
   }
}

以上就是良许教程网为各位朋友分享的Linu系统相关内容。想要了解更多Linux相关知识记得关注公众号“良许Linux”,或扫描下方二维码进行关注,更多干货等着你 !

img
本文由 良许Linux教程网 发布,可自由转载、引用,但需署名作者且注明文章出处。如转载至微信公众号,请在文末添加作者公众号二维码。
良许

作者: 良许

良许,世界500强企业Linux开发工程师,公众号【良许Linux】的作者,全网拥有超30W粉丝。个人标签:创业者,CSDN学院讲师,副业达人,流量玩家,摄影爱好者。
上一篇
下一篇

发表评论

邮箱地址不会被公开。 必填项已用*标注

联系我们

联系我们

公众号:良许Linux

在线咨询: QQ交谈

邮箱: yychuyu@163.com

关注微信
微信扫一扫关注我们

微信扫一扫关注我们

关注微博
返回顶部