一、Nginx安裝
二、配置反向代理
三、配置負載均衡
四、upstream指令參數
五、配置ssl證書提供https訪問
六、配置ha nginx
七、LVS(Linux Virtual Server)實現高可用負載均衡
附:LVS的負載均衡算法
八、搭建Keepalived+Lvs+Nginx高可用集群負載均衡
一、Nginx安裝
1、去官網http://nginx.org/下載對應的nginx包,推薦使用穩定版本
2、上傳nginx到linux系統
3、安裝依賴環境
(1)安裝gcc環境
yuminstallgcc-c++
(2)安裝PCRE庫,用于解析正則表達式
yuminstall-ypcrepcre-devel
(3)zlib壓縮和解壓縮依賴
yuminstall-yzlibzlib-devel
(4)SSL 安全的加密的套接字協議層,用于HTTP安全傳輸,也就是https
yuminstall-yopensslopenssl-devel
4、解壓,需要注意,解壓后得到的是源碼,源碼需要編譯后才能安裝
tar-zxvfnginx-1.16.1.tar.gz
5、編譯之前,先創建nginx臨時目錄,如果不創建,在啟動nginx的過程中會報錯
mkdir/var/temp/nginx-p
6、在nginx目錄,輸入如下命令進行配置,目的是為了創建makefile文件
./configure --prefix=/usr/local/nginx --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi
注:代表在命令行中換行,用于提高可讀性配置命令:
7、make編譯&安裝
make makeinstall
8、進入sbin目錄啟動nginx
啟動:nginx停止:./nginx -s stop重新加載:./nginx -s reload
基于 Spring Boot + MyBatis Plus + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/ruoyi-vue-pro
視頻教程:https://doc.iocoder.cn/video/
二、配置反向代理
1、配置upstream
upstream[proxyName]{ server192.168.1.173:8080; server192.168.1.174:8080; server192.168.1.175:8080; }
2、配置server
server{ listem80; server_namewww.tomcats.com; location/{ proxy_passhttp://tomcats; } }
基于 Spring Cloud Alibaba + Gateway + Nacos + RocketMQ + Vue & Element 實現的后臺管理系統 + 用戶小程序,支持 RBAC 動態權限、多租戶、數據權限、工作流、三方登錄、支付、短信、商城等功能
項目地址:https://github.com/YunaiV/yudao-cloud
視頻教程:https://doc.iocoder.cn/video/
三、配置負載均衡
nginx默認采用輪訓的方式進行負載均衡
1、使用加權輪詢
upstream[proxyName]{ server192.168.1.173:8080weight=1; server192.168.1.174:8080weight=5; server192.168.1.175:8080weight=2; }
2、hash負載均衡
upstream[proxyName]{ ip_hash server192.168.1.173:8080; server192.168.1.174:8080; server192.168.1.175:8080; }
hash算法實際上只會計算 192.168.1這段做哈希
使用ip_hash的注意點:
不能把后臺服務器直接移除,只能標記down.
3、url hash負載均衡
upstream[proxyName]{ hash$request_url; server192.168.1.173:8080; server192.168.1.174:8080; server192.168.1.175:8080; }
4、最小連接負載均衡
upstream[proxyName]{ least_conn; server192.168.1.173:8080; server192.168.1.174:8080; server192.168.1.175:8080; }
四、upstream指令參數
max_conns:限制最大同時連接數 1.11.5之前只能用于商業版
slow_start:單位秒,權重在指定時間內從1上升到指定值,不適用與hash負載均衡、隨機負載均衡 如果在 upstream 中只有一臺 server,則該參數失效(商業版才有)
down:禁止訪問
backup:備用機 只有在其他服務器無法訪問的時候才能訪問到 不適用與hash負載均衡、隨機負載均衡
max_fails:表示失敗幾次,則標記server已宕機,剔出上游服務 默認值1
fail_timeout:表示失敗的重試時間 默認值10
1、keepalived
upstream[proxyName]{ server192.168.1.173:8080weight=1; server192.168.1.174:8080weight=5; server192.168.1.175:8080weight=2; keepalive32;#保持的連接數 } server{ listem80; server_namewww.tomcats.com; location/{ proxy_passhttp://tomcats; proxy_http_version1.1;#連接的協議版本 proxy_set_headerConnection"";清空連接請求頭 } }
2、控制瀏覽器緩存
server{ listem80; server_namewww.tomcats.com; location/{ proxy_passhttp://tomcats; expires10s;#瀏覽器緩存10秒鐘 #expires@22h30m#在晚上10點30的時候過期 #expires-1h#緩存在一小時前時效 #expiresepoch#不設置緩存 #expiresoff#緩存關閉,瀏覽器自己控制緩存 #expiresmax#最大過期時間 } }
3、反向代理緩存
upstream[proxyName]{ server192.168.1.173:8080weight=1; server192.168.1.174:8080weight=5; server192.168.1.175:8080weight=2; } #proxy_cache_path設置緩存保存的目錄的位置 #keys_zone設置共享內以及占用的空間大小 #mas_size設置緩存最大空間 #inactive緩存過期時間,錯過此時間自動清理 #use_temp_path關閉零時目錄 proxy_cache_path/usr/local/nginx/upsteam_cachekeys_zone=mycache:5mmax_size=1ginactive=8huse_temp_path=off; server{ listem80; server_namewww.tomcats.com; #開啟并使用緩存 proxy_cachemycache; #針對200和304響應碼的緩存過期時間 proxy_cache_valid2003048h; location/{ proxy_passhttp://tomcats; } }
五、配置ssl證書提供https訪問
1. 安裝SSL模塊
要在nginx中配置https,就必須安裝ssl模塊,也就是: http_ssl_module。
進入到nginx的解壓目錄:/home/software/nginx-1.16.1
新增ssl模塊(原來的那些模塊需要保留)
./configure --prefix=/usr/local/nginx --pid-path=/var/run/nginx/nginx.pid --lock-path=/var/lock/nginx.lock --error-log-path=/var/log/nginx/error.log --http-log-path=/var/log/nginx/access.log --with-http_gzip_static_module --http-client-body-temp-path=/var/temp/nginx/client --http-proxy-temp-path=/var/temp/nginx/proxy --http-fastcgi-temp-path=/var/temp/nginx/fastcgi --http-uwsgi-temp-path=/var/temp/nginx/uwsgi --http-scgi-temp-path=/var/temp/nginx/scgi --with-http_ssl_module
編譯和安裝
makemakeinstall
2、配置HTTPS
把ssl證書 *.crt 和 私鑰 *.key 拷貝到/usr/local/nginx/conf目錄中。
新增 server 監聽 443 端口:
server{ listen443; server_namewww.imoocdsp.com; #開啟ssl sslon; #配置ssl證書 ssl_certificate1_www.imoocdsp.com_bundle.crt; #配置證書秘鑰 ssl_certificate_key2_www.imoocdsp.com.key; #ssl會話cache ssl_session_cacheshared1m; #ssl會話超時時間 ssl_session_timeout5m; #配置加密套件,寫法遵循openssl標準 ssl_protocolsTLSv1TLSv1.1TLSv1.2; ssl_ciphersECDHE-RSA-AES128-GCM-SHA256!aNULL!RC4:!DHE; ssl_prefer_server_cipherson; location/{ proxy_passhttp://tomcats/; indexindex.htmlindex.htm; } }
六、配置ha nginx
1、安裝keepalived
(1)下載
https://www.keepalived.org/download.html
(2)解壓
tar-zxvfkeepalived-2.0.18.tar.gz
(3)使用configure命令配置安裝目錄與核心配置文件所在位置:
./configure--prefix=/usr/local/keepalived--sysconf=/etc
prefix :keepalived安裝的位置sysconf:keepalived核心配置文件所在位置,固定位置,改成其他位置則keepalived啟動不了,/var/log/messages中會報錯
sysconf :keepalived核心配置文件所在位置,固定位置,改成其他位置則keepalived啟動不了,/var/log/messages中會報錯
配置過程中可能會出現警告信息,如下所示:
***WARNING-thisbuildwillnotsupportIPVSwithIPv6.Pleaseinstalllibnl/libnl-3devlibrariestosupportIPv6withIPVS. #安裝libnl/libnl-3依賴 yum-yinstalllibnllibnl-devel
(4)安裝keepalived
make&&makeinstall
(5)配置文件 在/etc/keepalived/keepalived.conf
(6)忘記安裝配置的目錄,則通過如下命令找到:
whereiskeepalived
(7)啟動keepalived
進入sbin目錄
./keepalived
2、配置keepalived 主機
(1)通過命令 vim keepalived.conf 打開配置文件
global_defs{ #路由id:當前安裝keepalived的節點主機標識符,保證全局唯一 router_idkeep_171 } vrrp_instanceVI_1{ #表示狀態是MASTER主機還是備用機BACKUP stateMASTER #該實例綁定的網卡 interfaceens33 #保證主備節點一致即可 virtual_router_id51 #權重,master權重一般高于backup,如果有多個,那就是選舉,誰的權重高,誰就當選 priority100 #主備之間同步檢查時間間隔,單位秒 advert_int2 #認證權限密碼,防止非法節點進入 authentication{ auth_typePASS auth_pass1111 } #虛擬出來的ip,可以有多個(vip) virtual_ipaddress{ 192.168.1.161 } }
附:查看網卡信息命令
ipaddr
(2)啟動keepalived
(3)查看進程
ps-ef|grepkeepalived
(4)查看vip(虛擬ip)
在網卡ens33下,多了一個192.168.1.161,這個就是虛擬ip
3、把keepalived注冊為系統服務
(1)拷貝配置文件
將keepalived目錄下etc/init.d/keepalived拷貝到/etc/init.d/下
將keepalived目錄下etc/sysconfig/keepalived拷貝到/etc/sysconfig/下
(2)刷新systemctl
systemctldaemon-reload
(3)啟動、停止、重啟keepalived
#啟動 systemctlstartkeepalived.service #停止 systemctlstopkeepalived.service #重啟 systemctlrestartkeepalived.service
4、實現雙機主備高可用
(1)修改備機配置
global_defs{ router_idkeep_172 } vrrp_instanceVI_1{ #備用機設置為BACKUP stateBACKUP interfaceens33 virtual_router_id51 #權重低于MASTER priority80 advert_int2 authentication{ auth_typePASSauth_pass1111 } virtual_ipaddress{ #注意:主備兩臺的vip都是一樣的,綁定到同一個vip 192.168.1.161 } }
(2) 啟動 Keepalived
(3) 訪問vip即可訪問主機,當主機失效時訪問vip就會訪問到備機
5、keepalived配置nginx自動重啟
(1)編寫腳本
在/etc/keepalived/下創建腳本check_nginx_alive_or_not
#!/bin/bash A=`ps-Cnginx--no-header|wc-l` #判斷nginx是否宕機,如果宕機了,嘗試重啟 if[$A-eq0];then /usr/local/nginx/sbin/nginx #等待一小會再次檢查nginx,如果沒有啟動成功,則停止keepalived,使其啟動備用機 sleep3 if[`ps-Cnginx--no-header|wc-l`-eq0];then killallkeepalived fi fi
(2)添加運行權限
chmod+x/etc/keepalived/check_nginx_alive_or_not.sh
(3)配置keepalived監聽nginx腳本
vrrp_scriptcheck_nginx_alive{ script"/etc/keepalived/check_nginx_alive_or_not.sh" interval2#每隔兩秒運行上一行腳本 weight10#如果腳本運行失敗,則升級權重+10 }
(4)在vrrp_instance中新增監控的腳本
track_script{ check_nginx_alive#追蹤nginx腳本 }
(5)重啟Keepalived使得配置文件生效
systemctlrestartkeepalived
6、keepalived雙主熱備
(1)配置DNS輪詢
在同一個域名下配置兩個ip,自行百度
(2)配置第一臺主機
global_defs{ router_idkeep_171 } vrrp_instanceVI_1{ stateMASTERi nterfaceens33 virtual_router_id51 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.161 } } vrrp_instanceVI_2{ stateBACKUP interfaceens33 virtual_router_id52 priority80 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.162 } }
(3)配置第二臺主機
global_defs{ router_idkeep_172 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id51 priority80 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.161 } } vrrp_instanceVI_2{ stateMASTER interfaceens33 virtual_router_id52 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.162 } }
(4)重啟兩臺Keepalived
systemctlrestartkeepalived
七、LVS(Linux Virtual Server)實現高可用負載均衡
1、為什么要使用LVS+Nginx
lvs基于四層負載均衡,工作效率較Nginx的七層負載更高,使用LVS搭建Nginx集群,可以提高性能
四層負載均衡無法對信息處理,只能通過ip+端口的形式轉發,所以需要七成負載進行數據的處理
Nginx接收請求來回,LVS可以只接受不響應
2、LVS的三種模式
(1)NAT模式
客戶端將請求發往LVS,LVS會選擇一臺服務器響應請求,服務器將結果返回給LVS,LVS再返回給客戶端。
在NAT模式中,服務器的網關必須指向LVS,否則報文無法送達客戶端
NAT 技術將請求的報文和響應的報文都需要通過LVS進行地址改寫,因此網站訪問量比較大的時候負載均衡調度器有比較大的瓶頸,一般要求最多之能 10-20 臺節點
NAT 模式支持對 IP 地址和端口進行轉換。即用戶請求的端口和真實服務器的端口可以不一致
(2)TUN模式
客戶端將請求發往LVS,LVS會選擇一臺服務器響應請求,在客戶端與服務器之間建立隧道,返回結果的時候直接由服務器返回響應,不在經過LVS。
TUN模式必須所有的服務器上都綁定VIP的IP地址,所有的服務器都必須有網卡。
TUN模式走隧道運維難度大,并且會直接暴露服務器地址
服務器將應答包直接發給用戶。所以,減少了負載均衡器的大量數據流動,負載均衡器不再是系統的瓶頸,就能處理很巨大的請求量,這種方式,一臺負載均衡器能夠為很多服務器進行分發。而且跑在公網上就能進行不同地域的分發
(3)DR模式
客戶端將請求發往LVS,LVS會選擇一臺服務器響應請求,返回結果的時候通過統一的路由進行返回,不在經過LVS。
和TUN模式一樣,LVS只是分發請求,應答包通過單獨的路由返回給客戶端,與TUN相比這種方式不需要隧道結構,可以兼容大多數的操作系統,同時統一路由可以隱藏真實的物理服務器。DR模式效率更高,但配置更復雜.
所有服務器節點和LVS只能在一個局域網里面。
3、搭建LVS-DR模式
systemctlstopNetworkManagersystemctldisableNetworkManager
(1)創建子接口(創建LVS的虛擬ip)
進入網卡配置目錄/etc/sysconfig/network-scripts/,找到網卡配置文件,這里以ifcfg-ens33為例,拷貝并創建子接口
cpifcfg-ens33ifcfg-ens33:1
修改子接口配置如下
配置中的 192.168.1.150 就是vip,是提供給外網用戶訪問的ip地址
DEVICE="ens33:1"ONBOOT="yes"IPADDR=192.168.1.150NETMASK=255.255.255.0BOOTPROTO=static
重啟網絡服務
servicenetworkrestart
重啟成功后,ip addr 查看一下,你會發現多了一個ip,也就是虛擬ip(vip)
注意:阿里云不支持配置網卡,需要購買相應的負載均衡服務,騰訊云支持配置網卡,但需要購買網卡支持,一個網卡支持10個虛擬ip配置
(2)安裝ipvsadm
如今的centos都集成了LVS,所以ipvs是自帶的,我們只需要安裝ipvsadm即可(ipvsadm是管理集群的工具,通過ipvs可以管理集群,查看集群等操作)
yuminstallipvsadm
(3)配置服務器(RS)的虛擬ip
進入網卡配置目錄/etc/sysconfig/network-scripts/,找到ifcfg-lo,拷貝并創建子接口
cpifcfg-loifcfg-lo:1
修改子接口配置如下
DEVICE="lo:1" IPADDR=192.168.1.150 NETMASK=255.255.255.255 NETWORK=127.0.0.0 BROADCAST=127.255.255.255 ONBOOT="yes" NAME=loopback
重啟網絡服務成功后,ip addr 查看一下,你會發現多了一個ip,也就是虛擬ip(vip)
(4)為服務器(RS)配置arp
ARP響應級別與通告行為參數說明
arp-ignore:ARP響應級別(處理請求) 0:只要本機配置了ip,就能響應請求 1:請求的目標地址到達對應的網絡接口,才會響應請求 arp-announce:ARP通告行為(返回響應) 0:本機上任何網絡接口都向外通告,所有的網卡都能接受到通告 1:盡可能避免本網卡與不匹配的目標進行通告2:只在本網卡通告
打開sysctl.conf:
vim/etc/sysctl.conf
配置所有網卡、默認網卡以及虛擬網卡的arp響應級別和通告行為,分別對應:all,default,lo
#configrationforlvs net.ipv4.conf.all.arp_ignore=1 net.ipv4.conf.default.arp_ignore=1 net.ipv4.conf.lo.arp_ignore=1 net.ipv4.conf.all.arp_announce=2 net.ipv4.conf.default.arp_announce=2 net.ipv4.conf.lo.arp_announce=2
刷新配置文件
sysctl-p
增加一個網關,用于接收數據報文,當有請求到本機后,會交給lo去處理
routeadd-host192.168.1.150devlo:1
將網關添加至開機啟動
echo"routeadd-host192.168.1.150devlo:1">>/etc/rc.local
(4)使用ipvsadm配置集群規則
創建LVS節點,用戶訪問的集群調度者
ipvsadm-A-t192.168.1.150:80-srr-p5
-A:添加集群
-t:tcp協議ip地址:設定集群的訪問
ip:也就是LVS的虛擬ip
-s:設置負載均衡的算法,
rr:表示輪詢
-p:設置連接持久化的時間,在指定時間內同一個用戶的請求會訪問到同一個服務器中
創建多臺RS真實服務器
ipvsadm-a-t192.168.1.150:80-r192.168.1.171:80-g ipvsadm-a-t192.168.1.150:80-r192.168.1.172:80-g
-a:添加真實服務器
-t:tcp協議
-r:真實服務器的ip地址
-g:設定DR模式
保存到規則庫,否則重啟失效
ipvsadm-S
檢查集群
#查看集群列表 ipvsadm-Ln #查看集群狀態 ipvsadm-Ln--stats
一些其他命令
#重啟ipvsadm,重啟后需要重新配置 serviceipvsadmrestart #查看持久化連接 ipvsadm-Ln--persistent-conn #查看連接請求過期時間以及請求源ip和目標ip ipvsadm-Lnc #設置tcptcpfinudp的過期時間(一般保持默認) ipvsadm--set111 #查看過期時間 ipvsadm-Ln--timeout
(5)訪問虛擬ip,完成LVS搭建
附:LVS的負載均衡算法
(1)靜態算法
靜態:根據LVS本身自由的固定的算法分發用戶請求。
輪詢(Round Robin 簡寫’rr’):輪詢算法假設所有的服務器處理請求的能力都一樣的,調度器會把所有的請求平均分配給每個真實服務器。(同Nginx的輪詢)
加權輪詢(Weight Round Robin 簡寫’wrr’):安裝權重比例分配用戶請求。權重越高,被分配到處理的請求越多。(同Nginx的權重)
源地址散列(Source Hash 簡寫’sh’):同一個用戶ip的請求,會由同一個RS來處理。(同Nginx的ip_hash)
目標地址散列(Destination Hash 簡寫’dh’):根據url的不同,請求到不同的RS。(同Nginx的url_hash)
(2)動態算法
動態:會根據流量的不同,或者服務器的壓力不同來分配用戶請求,這是動態計算的。
最小連接數(Least Connections 簡寫’lc’):把新的連接請求分配到當前連接數最小的服務器。
加權最少連接數(Weight Least Connections 簡寫’wlc’):服務器的處理性能用數值來代表,權重越大處理的請求越多。Real Server 有可能會存在性能上的差異,wlc動態獲取不同服務器的負載狀況,把請求分發到性能好并且比較空閑的服務器。
最短期望延遲(Shortest Expected Delay 簡寫’sed’):特殊的wlc算法。舉例闡述,假設有ABC三臺服務器,權重分別為1、2、3 。如果使用wlc算法的話,當一個新請求進來,它可能會分給ABC中的任意一個。使用sed算法后會進行如下運算:
A:(1+1)/1=2
B:(1+2)/2=3/2
C:(1+3)/3=4/3
最終結果,會把這個請求交給得出運算結果最小的服務器。最少隊列調度(Never Queue 簡寫’nq’):永不使用隊列。如果有Real Server的連接數等于0,則直接把這個請求分配過去,不需要在排隊等待運算了(sed運算)。
八、搭建Keepalived+Lvs+Nginx高可用集群負載均衡
如果原先服務器上配置了LVS+nginx需要清空ipvsadm中的配置
ipvsadm-C
如果配置了Keepalived+Nginx雙主集群也需要去除掉Keepalived中原先的配置,按照的后文進行配置
(1)使用keepalived配置Master LVS
在LVS的機器上安裝keepalived,安裝過程參考上文
(1)修改keepalived的配置
global_defs{ router_idkeep_151 } vrrp_instanceVI_1{ stateMASTER interfaceens33 virtual_router_id41 priority100 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.150 } } #配置集群訪問的ip+端口,端口和nginx保持一致 virtual_server192.168.1.15080{ #健康檢查的時間,單位:秒 delay_loop6 #配置負載均衡的算法,默認的輪詢 lb_algorr #設置LVS的模式NAT|TUN|DR lb-kindDR #設置會話持久化的時間 persistence_timeout5 #協議 protocolTCP #配置負載均衡的真實服務器,也就是nginx節點的具體的ip地址 real_server192.168.1.17180{ #輪詢權重配比 weight1 #設置健康檢查 TCP_CHECK{ #檢查80端口 connect_port80 #超時時間 connect_timeout2 #重試次數 nb_get_retry2 #重試間隔時間 delay_before_retry3 } } real_server192.168.1.17180{ weight1 TCP_CHECK{ connect_port80 connect_timeout2 nb_get_retry2 delay_before_retry3 } } }
(2)啟動/重啟keepalived
systemctlrestartkeepalived
(2)使用keepalived配置Backup LVS
配置在備用機上
global_defs{ router_idkeep_152 } vrrp_instanceVI_1{ stateBACKUP interfaceens33 virtual_router_id41 priority50 advert_int1 authentication{ auth_typePASS auth_pass1111 } virtual_ipaddress{ 192.168.1.150 } } #配置集群訪問的ip+端口,端口和nginx保持一致 virtual_server192.168.1.15080{ #健康檢查的時間,單位:秒 delay_loop6 #配置負載均衡的算法,默認的輪詢 lb_algorr #設置LVS的模式NAT|TUN|DR lb-kindDR #設置會話持久化的時間 persistence_timeout5 #協議 protocolTCP #配置負載均衡的真實服務器,也就是nginx節點的具體的ip地址 real_server192.168.1.17180{ #輪詢權重配比 weight1 #設置健康檢查 TCP_CHECK{ #檢查80端口 connect_port80 #超時時間 connect_timeout2 #重試次數 nb_get_retry2 #重試間隔時間 delay_before_retry3 } } real_server192.168.1.17180{ weight1 TCP_CHECK{ connect_port80 connect_timeout2 nb_get_retry2 delay_before_retry3 } } }
-
Linux系統
+關注
關注
4文章
587瀏覽量
27184 -
集群
+關注
關注
0文章
83瀏覽量
17134 -
解壓
+關注
關注
0文章
7瀏覽量
7857
原文標題:Nginx 從安裝到高可用
文章出處:【微信號:芋道源碼,微信公眾號:芋道源碼】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論