前言

kubernetes 已經成為容器編排領域的王者，它是基于容器的集群編排引擎，具備擴展集群、滾動升級回滾、彈性伸縮、自動治愈、服務發現等多種特性能力。 本文將帶著大家快速了解 kubernetes ，了解我們談論 kubernetes 都是在談論什么。

kubernetes 架構

從宏觀上來看 kubernetes 的整體架構，包括 Master、Node 以及 Etcd。 Master 即主節點，負責控制整個 kubernetes 集群。它包括 Api Server、Scheduler、Controller 等組成部分。它們都需要和 Etcd 進行交互以存儲數據。

Api Server：主要提供資源操作的統一入口，這樣就屏蔽了與 Etcd 的直接交互。功能包括安全、注冊與發現等。

Scheduler：負責按照一定的調度規則將 Pod 調度到 Node 上。

Controller：資源控制中心，確保資源處于預期的工作狀態。

Node 即工作節點，為整個集群提供計算力，是容器真正運行的地方，包括運行容器、kubelet、kube-proxy。

kubelet：主要工作包括管理容器的生命周期、結合 cAdvisor 進行監控、健康檢查以及定期上報節點狀態。

kube-proxy: 主要利用 service 提供集群內部的服務發現和負載均衡，同時監聽 service/endpoints 變化并刷新負載均衡。

從創建 deployment 開始

deployment 是用于編排 pod 的一種控制器資源，我們會在后面做介紹。這里以 deployment 為例，來看看架構中的各組件在創建 deployment 資源的過程中都干了什么。

首先是 kubectl 發起一個創建 deployment 的請求

apiserver 接收到創建 deployment 請求，將相關資源寫入 etcd；之后所有組件與 apiserver/etcd 的交互都是類似的

deployment controller list/watch 資源變化并發起創建 replicaSet 請求

replicaSet controller list/watch 資源變化并發起創建 pod 請求

scheduler 檢測到未綁定的 pod 資源，通過一系列匹配以及過濾選擇合適的 node 進行綁定

kubelet 發現自己 node 上需創建新 pod，負責 pod 的創建及后續生命周期管理

kube-proxy 負責初始化 service 相關的資源，包括服務發現、負載均衡等網絡規則

至此，經過 kubenetes 各組件的分工協調，完成了從創建一個 deployment 請求開始到具體各 pod 正常運行的全過程。

Pod

在 kubernetes 眾多的 api 資源中，pod 是最重要和基礎的，是最小的部署單元。 首先我們要考慮的問題是，我們為什么需要 pod？pod 可以說是一種容器設計模式，它為那些”超親密”關系的容器而設計，我們可以想象 servelet 容器部署 war 包、日志收集等場景，這些容器之間往往需要共享網絡、共享存儲、共享配置，因此我們有了 pod 這個概念。 對于 pod 來說，不同 container 之間通過 infra container 的方式統一識別外部網絡空間，而通過掛載同一份 volume 就自然可以共享存儲了，比如它對應宿主機上的一個目錄。

容器編排

容器編排是 kubernetes 的看家本領了，所以我們有必要了解一下。kubernetes 中有諸多編排相關的控制資源，例如編排無狀態應用的 deployment，編排有狀態應用的 statefulset，編排守護進程 daemonset 以及編排離線業務的 job/cronjob 等等。 我們還是以應用最廣泛的 deployment 為例。deployment、replicatset、pod 之間的關系是一種層層控制的關系。簡單來說，replicaset 控制 pod 的數量，而 deployment 控制 replicaset 的版本屬性。這種設計模式也為兩種最基本的編排動作實現了基礎，即數量控制的水平擴縮容、版本屬性控制的更新/回滾。

水平擴縮容

水平擴縮容非常好理解，我們只需修改 replicaset 控制的 pod 副本數量即可，比如從 2 改到 3，那么就完成了水平擴容這個動作，反之即水平收縮。

更新/回滾

更新/回滾則體現了 replicaset 這個對象的存在必要性。例如我們需要應用 3 個實例的版本從 v1 改到 v2，那么 v1 版本 replicaset 控制的 pod 副本數會逐漸從 3 變到 0，而 v2 版本 replicaset 控制的 pod 數會注解從 0 變到 3，當 deployment 下只存在 v2 版本的 replicaset 時變完成了更新。回滾的動作與之相反。

滾動更新

可以發現，在上述例子中，我們更新應用，pod 總是一個一個升級，并且最小有 2 個 pod 處于可用狀態，最多有 4 個 pod 提供服務。這種”滾動更新”的好處是顯而易見的，一旦新的版本有了 bug，那么剩下的 2 個 pod 仍然能夠提供服務，同時方便快速回滾。 在實際應用中我們可以通過配置 RollingUpdateStrategy 來控制滾動更新策略，maxSurge 表示 deployment 控制器還可以創建多少個新 Pod；而 maxUnavailable 指的是，deployment 控制器可以刪除多少個舊 Pod。

kubernetes 中的網絡

我們了解了容器編排是怎么完成的，那么容器間的又是怎么通信的呢？ 講到網絡通信，kubernetes 首先得有”三通”基礎：

node 到 pod 之間可以通

node 的 pod 之間可以通

不同 node 之間的 pod 可以通

簡單來說，不同 pod 之間通過 cni0/docker0 網橋實現了通信，node 訪問 pod 也是通過 cni0/docker0 網橋通信即可。 而不同 node 之間的 pod 通信有很多種實現方案，包括現在比較普遍的 flannel 的 vxlan/hostgw 模式等。flannel 通過 etcd 獲知其他 node 的網絡信息，并會為本 node 創建路由表，最終使得不同 node 間可以實現跨主機通信。

微服務—service

在了解接下來的內容之前，我們得先了解一個很重要的資源對象:service。 我們為什么需要 service 呢？在微服務中，pod 可以對應實例，那么 service 對應的就是一個微服務。而在服務調用過程中，service 的出現解決了兩個問題：

pod 的 ip 不是固定的，利用非固定 ip 進行網絡調用不現實

服務調用需要對不同 pod 進行負載均衡

service 通過 label 選擇器選取合適的 pod，構建出一個 endpoints，即 pod 負載均衡列表。實際運用中，一般我們會為同一個微服務的 pod 實例都打上類似app=xxx的標簽，同時為該微服務創建一個標簽選擇器為app=xxx的 service。

kubernetes 中的服務發現與網絡調用

在有了上述”三通”的網絡基礎后，我們可以開始微服務架構中的網絡調用在 kubernetes 中是怎么實現的了。 這部分內容其實在說說 Kubernetes 是怎么實現服務發現的已經講得比較清楚了，比較細節的地方可以參考上述文章，這里做一個簡單的介紹。

服務間調用

首先是東西向的流量調用，即服務間調用。這部分主要包括兩種調用方式，即 clusterIp 模式以及 dns 模式。 clusterIp 是 service 的一種類型，在這種類型模式下，kube-proxy 通過 iptables/ipvs 為 service 實現了一種 VIP(虛擬 ip)的形式。只需要訪問該 VIP，即可負載均衡地訪問到 service 背后的 pod。 上圖是 clusterIp 的一種實現方式，此外還包括 userSpace 代理模式(基本不用)，以及 ipvs 模式(性能更好)。 dns 模式很好理解，對 clusterIp 模式的 service 來說，它有一個 A 記錄是?service-name.namespace-name.svc.cluster.local，指向 clusterIp 地址。所以一般使用過程中，我們直接調用 service-name 即可。

服務外訪問

南北向的流量，即外部請求訪問 kubernetes 集群，主要包括三種方式：nodePort、loadbalancer、ingress。 nodePort 同樣是 service 的一種類型，通過 iptables 賦予了調用宿主機上的特定 port 就能訪問到背后 service 的能力。 loadbalancer 則是另一種 service 類型，通過公有云提供的負載均衡器實現。 我們訪問 100 個服務可能需要創建 100 個 nodePort/loadbalancer。我們希望通過一個統一的外部接入層訪問內部 kubernetes 集群，這就是 ingress 的功能。ingress 提供了統一接入層，通過路由規則的不同匹配到后端不同的 service 上。ingress 可以看做是”service 的 service”。ingress 在實現上往往結合 nodePort 以及 loadbalancer 完成功能。 到現在為止，我們簡單了解了 kubernetes 的相關概念，它大致是怎么運作的，以及微服務是怎么運行在 kubernetes 中的。于是當我們聽到別人討論 kubernetes 時，我們可以知道他們在討論什么。