實(shí)現(xiàn)基于LVS負(fù)載均衡集群的電商網(wǎng)站架構(gòu)
隨著業(yè)務(wù)的發(fā)展,網(wǎng)站的訪問量越來越大,網(wǎng)站訪問量已經(jīng)從原來的1000QPS,變?yōu)?000QPS,網(wǎng)站已經(jīng)不堪重負(fù),響應(yīng)緩慢,面對此場景,單純靠單臺LNMP的架構(gòu)已經(jīng)無法承載更多的用戶訪問,此時(shí)需要用負(fù)載均衡技術(shù),對網(wǎng)站容量進(jìn)行擴(kuò)充,來解決承載的問題。scale out? scale up?
實(shí)驗(yàn)前準(zhǔn)備:
1、ipvsadm
yum install ipvsadm -y #在LVS-server安裝lvs管理軟件程序包:ipvsadm(LVS管理工具)Unit File: ipvsadm.service主程序:/usr/sbin/ipvsadm規(guī)則保存工具:/usr/sbin/ipvsadm-save規(guī)則重載工具:/usr/sbin/ipvsadm-restore配置文件:/etc/sysconfig/ipvsadm-config
2、
grep -i -C 10 "ipvs" /boot/config-VERSION-RELEASE.x86_64 查看內(nèi)核是否支持IPVS
3、
iptables -F && setenforing 清空防火墻策略,關(guān)閉selinux
實(shí)戰(zhàn)一:LVS的NAT模式實(shí)現(xiàn)負(fù)載均衡
實(shí)戰(zhàn)架構(gòu)圖:
1、環(huán)境準(zhǔn)備:
機(jī)器名稱 | IP配置 | 服務(wù)角色 | 備注 |
lvs-server |
VIP:172.17.1.6 DIP:192.168.30.106 |
負(fù)載均衡器 |
開啟路由功能 (VIP橋接、DIP僅主機(jī)) |
rs01 | RIP:192.168.30.107 | 后端服務(wù)器 | 網(wǎng)關(guān)指向DIP(僅主機(jī)) |
rs02 | RIP:192.168.30.7 | 后端服務(wù)器 | 網(wǎng)關(guān)指向DIP(僅主機(jī)) |
注意:確保rs 在一個網(wǎng)段,且只有一個網(wǎng)段
2、在directory 負(fù)載均衡器上
yum -y install ipvsadm① 開啟一個基于80端口的虛擬服務(wù)vip,調(diào)度方式為wrripvsadm -A -t 172.17.1.6:80 -s wrr② 配置web服務(wù)后端real server 為nat工作方式 權(quán)重為1ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.107:80 -m -w 1ipvsadm -a -t 172.17.1.6:80 -r 192.168.30.7:80 -m -w 1③ 修改內(nèi)核配置,開啟路由轉(zhuǎn)發(fā)vim /etc/sysctl.conf 該一行net.ipv4.ip_forward = 1 sysctl -p 讀一些,使其生效
3、在兩臺real server 上設(shè)置
① 開啟實(shí)現(xiàn)準(zhǔn)備好的web網(wǎng)頁服務(wù)systemctl start nginxsystemctl start php-mysqlsystemctl start mariadb② 把網(wǎng)關(guān)指向directoryroute add default gw 192.168.30.106
4、自己的windows 做客戶端,通過vip 172.17.1.6訪問web服務(wù),調(diào)度成功
實(shí)戰(zhàn)二:LVS的DR 模式實(shí)現(xiàn)負(fù)載均衡
實(shí)戰(zhàn)架構(gòu)圖:
1、環(huán)境準(zhǔn)備
機(jī)器名稱 | IP配置 | 服務(wù)角色 |
lvs-server | VIP:172.17.100.100 | 負(fù)載均衡器 |
rs01 | RIP:172.17.1.7 | 后端服務(wù)器 |
rs02 | RIP:172.17.22.22 | 后端服務(wù)器 |
注意:lvs-server 和rs 要在一個網(wǎng)段,rs只有一個網(wǎng)段
2、在lvs-server 上設(shè)置
① 配置VIP到本地網(wǎng)卡別名,廣播只自己響應(yīng)ifconfig eth0:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 uproute add -host 172.17.100.100 dev eth0:0 給網(wǎng)卡別名指向網(wǎng)關(guān) ② ipvsadm 策略配置開啟一個基于80端口的虛擬服務(wù),調(diào)度方式為wrripvsadm -A -t 172.17.100.100:80 -s wrr配置web服務(wù)后端real server 為DR工作方式 權(quán)重為1ipvsadm -a -t 172.17.100.100:80 -r 172.17.22.22:80 -g -w 1ipvsadm -a -t 172.17.100.100:80 -r 172.17.1.6:80 -g -w 1
3、real server 上配置
① 配置VIP到本地回環(huán)網(wǎng)卡lo上,并只廣播自己ifconfig lo:0 172.17.100.100 broadcast 172.17.100.100 netmask 255.255.255.255 up配置本地回環(huán)網(wǎng)卡路由route add -host 172.17.100.100 lo:0② 使RS "閉嘴"echo "1" > /proc/sys/net/ipv4/conf/lo/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/lo/arp_announce忽略ARP廣播echo "1" > /proc/sys/net/ipv4/conf/all/arp_ignoreecho "2" > /proc/sys/net/ipv4/conf/all/arp_announce
注意:關(guān)閉arp應(yīng)答
1:僅在請求的目標(biāo)IP配置在本地主機(jī)的接收到請求報(bào)文的接口上時(shí),才給予響應(yīng)
2:必須避免將接口信息向非本網(wǎng)絡(luò)進(jìn)行通告
③ 想永久生效,可以寫到配置文件中
vim /etc/sysctl.confnet.ipv4.conf.lo.arp_ignore = 1net.ipv4.conf.lo.arp_announce = 2net.ipv4.conf.all.arp_ignore = 1net.ipv4.conf.all.arp_announce = 2sysctl -p 讀一下,使其生效
4、開啟實(shí)現(xiàn)準(zhǔn)備好的web網(wǎng)頁服務(wù)
systemctl start nginxsystemctl start php-mysqlsystemctl start mariadb
5、效果驗(yàn)證
① 可分別在rs1和rs2建立2個不同內(nèi)容,統(tǒng)一路徑的test.html測試文件,測試負(fù)載均衡功能
在RS01 上vim ../test.htmlreal server 1在RS01 上vim ../test.htmlreal server 1
② 打開http://172.17.1.6/ ,并在director上用ipvsadm -L -n觀察訪問連接
③ 用另外一臺測試機(jī),用ab壓力測試工具,測試經(jīng)過負(fù)載均衡后的服務(wù)器容量
實(shí)戰(zhàn)三:實(shí)現(xiàn)80、443端口都可訪問服務(wù),且LVS實(shí)現(xiàn)持久連接
1、環(huán)境準(zhǔn)備
機(jī)器名稱 | IP配置 | 服務(wù)角色 |
lvs-server | VIP:172.17.100.100 | 負(fù)載均衡器 |
rs01 | RIP:172.17.1.7 | 后端服務(wù)器 |
rs02 | RIP:172.17.22.22 | 后端服務(wù)器 |
2、在vs 上設(shè)置:
① 在iptables 打上標(biāo)記,把80端口標(biāo)記為99
iptables -t mangle -A PREROUTING -d 172.17.100.100 -p tcp --dport 80 -j MARK --set-mark 99
在iptables打上標(biāo)記,把443端口標(biāo)記為99
iptables -t mangle -A PREROUTING -d 172.17.100.100-p tcp --dport 443 -j MARK --set-mark 99
② 在lvs上建立基于99號標(biāo)記的虛擬服務(wù)
ipvsadm -A -f 99 -s rr -p
設(shè)置后端服務(wù)地址,用DR模式
ipvsadm -a -f 99 -r 172.17.1.7 -gipvsadm -a -f 99 -r 172.17.22.22 -g
解析:-p 就是持久連接
3、在rs 準(zhǔn)備好了的web服務(wù),開啟80、443端口
關(guān)于ssl 443加密的代碼,具體實(shí)現(xiàn)下實(shí)驗(yàn)四
4、測試,自己windows 做客戶端,訪問 http://172.17.1.6/
訪問 http://172.17.1.6/
實(shí)驗(yàn)四:實(shí)現(xiàn)ssl 加密
(1)一個物理服務(wù)器設(shè)置一個https
1、創(chuàng)建存放證書的目錄
mkdir /etc/nginx/ssl
2、自簽名證書
cd /etc/pki/tls/certs/make nginx.crt
openssl rsa -in nginx.key -out nginx2.key 因?yàn)閯偹借€被加密了,為了后邊方便,解密
3、把證書和私鑰cp 到nginx存放證書目錄
cp nginx.crt nginx2.key /etc/nginx/ssl/cd /etc/nginx/ssl/mv nginx2.key nginx.key 把名字改回來
4、修改配置文件,加一段server
server {listen 443 ssl;server_name www.along.com;ssl on;ssl_certificate /etc/nginx/ssl/nginx.crt;ssl_certificate_key /etc/nginx/ssl/nginx.key;ssl_session_cache shared:sslcache:20m;ssl_session_timeout 10m;}
5、測試,網(wǎng)頁打開https://192.168.30.7/
windows 信任證書
(2)因?yàn)閚ginx 強(qiáng)大,可以實(shí)現(xiàn)多個虛擬主機(jī)基于不同的FQDN 實(shí)現(xiàn)ssl加密,httpd不能實(shí)現(xiàn)
一個物理服務(wù)器設(shè)置多個https
1、生成3個證書和私鑰
make nginx.crtmake nginx2.crtmake nginx3.crt
2、把證書和私鑰cp 到nginx存放證書目錄,并解開私鑰的加密
cp nginx{1,2,3}* /etc/nginx/ssl/openssl rsa -in nginx.key -out nginx.keyopenssl rsa -in nginx2.key -out nginx2.keyopenssl rsa -in nginx3.key -out nginx3.key
3、創(chuàng)建各自對應(yīng)的訪問網(wǎng)頁
mkdir /app/website{1,2,3}echo website1 > /app/website1/index.htmlecho website1 > /app/website2/index.htmlecho website1 > /app/website3/index.html
4、測試訪問,成功
-
LVS
+關(guān)注
關(guān)注
1文章
35瀏覽量
9922 -
小米
+關(guān)注
關(guān)注
69文章
14325瀏覽量
143858
原文標(biāo)題:基于LVS負(fù)載均衡集群的小米電商網(wǎng)站架構(gòu)-運(yùn)維實(shí)戰(zhàn)手記(二)
文章出處:【微信號:magedu-Linux,微信公眾號:馬哥Linux運(yùn)維】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論