背景

在云數(shù)據(jù)中心環(huán)境下，IAAS云網(wǎng)絡(luò)是數(shù)據(jù)中心所有業(yè)務(wù)的通信基礎(chǔ)；云網(wǎng)絡(luò)的穩(wěn)定保障，需要全面、高性能、實(shí)時(shí)的監(jiān)控能力，能夠覆蓋所有轉(zhuǎn)發(fā)網(wǎng)元、路徑和業(yè)務(wù)，這套能力一定是多手段的、多維度的和多層次的，目前還沒(méi)有一種監(jiān)控方案或工具能滿足所有的監(jiān)控訴求，我們?cè)谝恍?shí)際案例中發(fā)現(xiàn)由于缺失網(wǎng)元/云服務(wù)的某些監(jiān)控指標(biāo)，無(wú)法及時(shí)發(fā)現(xiàn)一些業(yè)務(wù)故障。

案例1：某客戶進(jìn)行新版本的云平臺(tái)網(wǎng)絡(luò)組件升級(jí)，升級(jí)后各組件的指標(biāo)監(jiān)控以及其他監(jiān)控測(cè)試方法沒(méi)有發(fā)現(xiàn)異常，但是由于升級(jí)導(dǎo)致EndPoint轉(zhuǎn)發(fā)網(wǎng)元的某個(gè)組件異常，小概率場(chǎng)景使用到這個(gè)網(wǎng)元的時(shí)候會(huì)導(dǎo)致流量中斷，當(dāng)前監(jiān)控體系沒(méi)有做到能力覆蓋，導(dǎo)致當(dāng)客戶的實(shí)際業(yè)務(wù)使用時(shí)發(fā)生業(yè)務(wù)故障，而阻塞業(yè)務(wù)超過(guò)1個(gè)小時(shí)。

案例2：某項(xiàng)目物理網(wǎng)絡(luò)進(jìn)行了變更，物理網(wǎng)絡(luò)變更引入一個(gè)路由拒收問(wèn)題，從物理網(wǎng)絡(luò)的監(jiān)控沒(méi)有發(fā)現(xiàn)問(wèn)題，但是實(shí)際影響了業(yè)務(wù)流量，導(dǎo)致業(yè)務(wù)故障長(zhǎng)達(dá)2小時(shí)。

案例3：某項(xiàng)目站點(diǎn)某租戶突發(fā)流量導(dǎo)致網(wǎng)關(guān)轉(zhuǎn)發(fā)性能到達(dá)瓶頸，影響其他租戶的時(shí)延高達(dá)20ms，網(wǎng)絡(luò)監(jiān)控?zé)o法及時(shí)發(fā)現(xiàn)此時(shí)延問(wèn)題，直到其他租戶業(yè)務(wù)報(bào)障。

上面的案例都有一個(gè)共同特點(diǎn)：?jiǎn)蝹€(gè)網(wǎng)元和交換機(jī)的指標(biāo)正常，但是綜合用到這些網(wǎng)元和交換機(jī)的網(wǎng)絡(luò)服務(wù)有問(wèn)題，華為云Stack不斷致力于在網(wǎng)絡(luò)監(jiān)控上增加監(jiān)控指標(biāo)，不斷補(bǔ)充監(jiān)控手段，我們發(fā)布了用于虛擬網(wǎng)絡(luò)監(jiān)控的主動(dòng)鏈路監(jiān)控系統(tǒng)，通過(guò)點(diǎn)-》線-》面的邏輯構(gòu)建整個(gè)網(wǎng)絡(luò)服務(wù)監(jiān)控系統(tǒng)。

“點(diǎn)”：包括物理網(wǎng)元和軟件網(wǎng)元，主要監(jiān)控單個(gè)網(wǎng)元的CPU、內(nèi)存、收發(fā)報(bào)文、錯(cuò)包處理/丟包、轉(zhuǎn)發(fā)相關(guān)的表項(xiàng)、規(guī)格和資源占用情況等。“點(diǎn)”的監(jiān)控能夠監(jiān)控當(dāng)前網(wǎng)元的KPI是否正常，是否具備符合預(yù)期的業(yè)務(wù)能力。

“線”：包括監(jiān)控物理鏈路，虛擬鏈路和租戶業(yè)務(wù)流。

1）物理鏈路監(jiān)控：是指從一個(gè)計(jì)算節(jié)點(diǎn)到另外一個(gè)計(jì)算節(jié)點(diǎn)的物理轉(zhuǎn)發(fā)路徑的KPI是否正常，或者從一個(gè)物理交換機(jī)到另外一個(gè)物理交換機(jī)的路徑KPI是否符合預(yù)期。

2）虛擬鏈路監(jiān)控：是從云服務(wù)的維度，檢測(cè)某個(gè)網(wǎng)絡(luò)服務(wù)的服務(wù)通道是否正常，云網(wǎng)絡(luò)下的網(wǎng)絡(luò)服務(wù)鏈路是物理網(wǎng)元和軟件網(wǎng)元配合完成的一個(gè)整體鏈路。

3）租戶業(yè)務(wù)流監(jiān)控：將物理鏈路和虛擬鏈路比作道路，那么租戶業(yè)務(wù)流可以認(rèn)為是這條路上跑的汽車。物理鏈路和虛擬鏈路的監(jiān)控可以保證大部分的汽車運(yùn)行正常，不會(huì)有大規(guī)模的阻塞問(wèn)題，但是并不代表某輛汽車的運(yùn)行一定是正常的。租戶業(yè)務(wù)流監(jiān)控是在物理物理監(jiān)控和虛擬物理監(jiān)控的基礎(chǔ)上補(bǔ)充對(duì)某個(gè)業(yè)務(wù)實(shí)例的監(jiān)控。

“面”：是從云服務(wù)的維度對(duì)網(wǎng)絡(luò)監(jiān)控進(jìn)行統(tǒng)一的整理和展示，一個(gè)標(biāo)準(zhǔn)網(wǎng)絡(luò)服務(wù)的組件包括管理面組件，數(shù)據(jù)面組件和租戶實(shí)例。以華為云Stack為例，其支持的云服務(wù)數(shù)量眾多，網(wǎng)絡(luò)服務(wù)就有10多種，每種網(wǎng)絡(luò)服務(wù)有不同的組件，為了幫助運(yùn)維管理員管理好這些服務(wù)，按照云服務(wù)的角度，把資源、拓?fù)洹⒏婢⑿阅堋⒁?guī)格、日志、配置、撥測(cè)等進(jìn)行統(tǒng)一整理和分類，做到一站式監(jiān)控整個(gè)云服務(wù)的運(yùn)維能力。

表1 網(wǎng)絡(luò)監(jiān)控對(duì)比

虛擬鏈路監(jiān)控殺手锏：主動(dòng)鏈路監(jiān)控

云網(wǎng)絡(luò)大部分都是軟件化部署，僅僅監(jiān)控物理網(wǎng)絡(luò)的質(zhì)量是不夠的，更重要的是監(jiān)控虛擬網(wǎng)絡(luò)端到端的質(zhì)量，比如VPC服務(wù)網(wǎng)絡(luò)質(zhì)量（從ECS到ECS），VPC-Peer服務(wù)網(wǎng)絡(luò)質(zhì)量（ECS-vRouter-ECS），ELB服務(wù)網(wǎng)絡(luò)質(zhì)量（client-LVS-member）等，虛擬網(wǎng)絡(luò)鏈路是云網(wǎng)絡(luò)的本質(zhì)轉(zhuǎn)發(fā)路徑，云網(wǎng)絡(luò)下的虛擬網(wǎng)絡(luò)監(jiān)控對(duì)于網(wǎng)絡(luò)轉(zhuǎn)發(fā)，應(yīng)用質(zhì)量保障非常重要。

華為云Stack面向政企市場(chǎng)，為了監(jiān)控虛擬鏈路質(zhì)量，提供了智能化的主動(dòng)鏈路監(jiān)控系統(tǒng)，客戶不需要理解復(fù)雜的云網(wǎng)絡(luò)/的內(nèi)部原理，只需要傻瓜式的啟動(dòng)這個(gè)系統(tǒng)，主動(dòng)鏈路監(jiān)控系統(tǒng)能夠根據(jù)項(xiàng)目業(yè)務(wù)場(chǎng)景和客戶組網(wǎng)，自動(dòng)計(jì)算需要監(jiān)控的虛擬網(wǎng)絡(luò)對(duì)象，主動(dòng)規(guī)劃學(xué)習(xí)監(jiān)控路徑，自動(dòng)上報(bào)網(wǎng)絡(luò)監(jiān)控指標(biāo)和告警網(wǎng)絡(luò)故障。

通過(guò)主動(dòng)鏈路監(jiān)控，可以及時(shí)發(fā)現(xiàn)前面案例中的各種故障，故障發(fā)現(xiàn)時(shí)間從不確定走向確定，故障定界定位時(shí)間從小時(shí)級(jí)變成分鐘級(jí)。

一、黃金指標(biāo)：丟包率和時(shí)延

網(wǎng)絡(luò)監(jiān)控的指標(biāo)很多，但是最能代表網(wǎng)絡(luò)質(zhì)量的是丟包率和時(shí)延兩個(gè)指標(biāo)。丟包率和時(shí)延是網(wǎng)絡(luò)轉(zhuǎn)發(fā)能力和業(yè)務(wù)質(zhì)量體驗(yàn)的最直接指標(biāo)，丟包會(huì)導(dǎo)致報(bào)文重傳，會(huì)引起網(wǎng)絡(luò)震蕩，對(duì)業(yè)務(wù)的影響表現(xiàn)為業(yè)務(wù)不平穩(wěn)，有抖動(dòng)。時(shí)延高會(huì)導(dǎo)致網(wǎng)絡(luò)傳輸慢，導(dǎo)致頁(yè)面卡頓、應(yīng)用反應(yīng)遲緩。丟包率和時(shí)延的檢測(cè)需要通過(guò)主動(dòng)或者被動(dòng)的方式來(lái)動(dòng)態(tài)測(cè)量，不能通過(guò)直接查詢或者采集交換機(jī)或者服務(wù)器的某個(gè)指標(biāo)獲取，相關(guān)的網(wǎng)絡(luò)測(cè)量技術(shù)有很多，在此不做過(guò)多贅述。為了獲取到設(shè)備級(jí)、Fabric級(jí)、整個(gè)DC和跨DC的時(shí)延和丟包率指標(biāo)，各個(gè)廠家都設(shè)計(jì)了自己的工具系統(tǒng)，比如微軟的Pingmesh，F(xiàn)acebook的NETNORAD，百度的NetRadar，阿里的vTrace等，都是為了監(jiān)控整個(gè)數(shù)據(jù)中心網(wǎng)絡(luò)質(zhì)量的系統(tǒng)方案，其中最重要的輸出指標(biāo)就是丟包率和時(shí)延。

二、鏈路檢測(cè)根技術(shù)

黑盒檢測(cè)方法是計(jì)算時(shí)延和丟包率最常用，最簡(jiǎn)單的方法。傳統(tǒng)的黑盒撥測(cè)通常只關(guān)注最后撥測(cè)的結(jié)果通或者不通，如圖1所示，通過(guò)發(fā)送ICMP request和TCP SYN，關(guān)注 ICMP replay和TCP ACK報(bào)文是否有回應(yīng)，發(fā)送和接受報(bào)文間RTT時(shí)延，由此計(jì)算整條探測(cè)路徑的丟包率和時(shí)延。如果中間某個(gè)交換機(jī)或者網(wǎng)元有了故障，并且網(wǎng)元已經(jīng)自我隔離了，對(duì)外的服務(wù)質(zhì)量并沒(méi)有中斷，這種情況下通過(guò)普通的黑盒探測(cè)是無(wú)法探測(cè)的。基于染色報(bào)文的撥測(cè)常用于出現(xiàn)問(wèn)題后對(duì)問(wèn)題進(jìn)行復(fù)現(xiàn)時(shí)候的故障定界定位，如圖2所示，在每個(gè)網(wǎng)元，包括物理網(wǎng)元和軟件網(wǎng)元，都具備對(duì)染色報(bào)文進(jìn)行鏡像和統(tǒng)計(jì)的能力，可以精確定位每個(gè)監(jiān)測(cè)點(diǎn)接收和發(fā)送的報(bào)文數(shù)，以及每個(gè)點(diǎn)的時(shí)延信息，是一種高精度的黑盒檢測(cè)方法。基于染色的撥測(cè)方法，我們主動(dòng)鏈路監(jiān)控進(jìn)行主動(dòng)配置探針，主動(dòng)編排策略，達(dá)到覆蓋所有網(wǎng)元節(jié)點(diǎn)的探測(cè)目的，可以監(jiān)控網(wǎng)絡(luò)服務(wù)經(jīng)過(guò)所有網(wǎng)元的服務(wù)可用性，同時(shí)得到全量網(wǎng)元的時(shí)延和丟包率指標(biāo)。主動(dòng)鏈路監(jiān)控以染色報(bào)文的撥測(cè)作為測(cè)量方法，可以做到比傳統(tǒng)黑盒監(jiān)控更精細(xì)化的監(jiān)控效果，不僅監(jiān)控云服務(wù)的質(zhì)量，更能覆蓋的所有網(wǎng)元的轉(zhuǎn)發(fā)質(zhì)量，更大化的保障租戶業(yè)務(wù)流質(zhì)量。

圖1 傳統(tǒng)黑盒撥測(cè)

圖2 基于染色報(bào)文的撥測(cè)

三、系統(tǒng)架構(gòu)

主動(dòng)鏈路監(jiān)控整體系統(tǒng)架構(gòu)如圖3所示，主要包括Server端和Agent端。Server端用于根據(jù)云服務(wù)維度和監(jiān)控場(chǎng)景生成策略列表和創(chuàng)建撥測(cè)任務(wù)，agent端用于報(bào)文注入和鏡像報(bào)文收集。

圖3 主動(dòng)鏈路監(jiān)控系統(tǒng)架構(gòu)

監(jiān)控場(chǎng)景：包括日常監(jiān)控場(chǎng)景和升級(jí)監(jiān)控場(chǎng)景，日常監(jiān)控是一個(gè)持續(xù)監(jiān)控的過(guò)程，主要側(cè)重于監(jiān)控面廣，持續(xù)迭代和優(yōu)化；升級(jí)監(jiān)控，側(cè)重于快速給出某個(gè)網(wǎng)絡(luò)服務(wù)的監(jiān)控結(jié)果，需要針對(duì)某個(gè)網(wǎng)絡(luò)服務(wù)進(jìn)行快速迭代和升級(jí)前后對(duì)比。

網(wǎng)絡(luò)拓?fù)洌簲?shù)據(jù)中心的網(wǎng)絡(luò)拓?fù)洌ㄋ械慕粨Q機(jī)和所有的計(jì)算節(jié)點(diǎn)，軟件網(wǎng)元的網(wǎng)口連接信息。

策略列表：包含所有要探測(cè)的鏈路的集合，一個(gè)策略對(duì)象是一個(gè)五元組信息，包括源探針I(yè)P，目的探針I(yè)P，協(xié)議，源端口和目的端口。

撥測(cè)Controller：按照策略列表下發(fā)撥測(cè)任務(wù)。

撥測(cè)Analyzer：收集撥測(cè)結(jié)果，并根據(jù)撥測(cè)結(jié)果對(duì)策略進(jìn)行正向反饋優(yōu)化，策略優(yōu)化后可以覆蓋更全的鏈路。

撥測(cè)Agent：對(duì)探針注入染色報(bào)文，并收集OVS的鏡像報(bào)文。在所有的計(jì)算節(jié)點(diǎn)和網(wǎng)元節(jié)點(diǎn)部署。

ERSPAN：物理交換機(jī)通過(guò)ERSPAN的方式，把染色的撥測(cè)報(bào)文鏡像到Analyzer，供Analyzer進(jìn)行虛擬網(wǎng)絡(luò)和物理網(wǎng)絡(luò)的統(tǒng)一路徑檢測(cè)和分析。

四、關(guān)鍵技術(shù)

亮點(diǎn)1：策略優(yōu)化

按照用戶輸入的監(jiān)控場(chǎng)景和云服務(wù)列表，Server會(huì)生成一個(gè)默認(rèn)的策略列表，但是每個(gè)客戶現(xiàn)網(wǎng)的情況都不盡相同，初始創(chuàng)建的策略難點(diǎn)在于如何覆蓋所有的網(wǎng)元，比如下面的圖4，網(wǎng)元1_3和網(wǎng)元2_3并沒(méi)有被探測(cè)到，達(dá)不到鏈路覆蓋的效果。我們基于染色報(bào)文的撥測(cè)方法，提出策略優(yōu)化的方案，Analyzer得到撥測(cè)結(jié)果后會(huì)進(jìn)行分析，不斷的迭代策略的五元組信息，按照不斷的反饋和補(bǔ)償，可以達(dá)到一條策略能夠覆蓋所有網(wǎng)元的目的，如圖5所示。策略從圖4的結(jié)果到圖5的結(jié)果就是一個(gè)策略優(yōu)化的過(guò)程。策略優(yōu)化還有另外一種結(jié)果，那就是嘗試了所有的可能后，始終無(wú)法覆蓋到某個(gè)網(wǎng)元，比如圖6中的網(wǎng)元1_3，出現(xiàn)這種情況我們有理由懷疑，網(wǎng)元1_3業(yè)務(wù)出現(xiàn)某種問(wèn)題后觸發(fā)了自身的自動(dòng)隔離，這種情況不影響這個(gè)網(wǎng)絡(luò)服務(wù)整體對(duì)外的可用性，只是性能或者服務(wù)等級(jí)下降，主動(dòng)鏈路監(jiān)控一樣可以發(fā)現(xiàn)網(wǎng)絡(luò)服務(wù)的亞健康問(wèn)題。因此主動(dòng)鏈路監(jiān)控的策略優(yōu)化機(jī)制，監(jiān)控的不僅包括云服務(wù)的可用性，而且包括網(wǎng)元的可用性，監(jiān)控粒度和精度比傳統(tǒng)的黑盒監(jiān)控要高很多。

圖4 初始策略

圖5 優(yōu)化后策略-1

圖6 優(yōu)化后策略-2

亮點(diǎn)2：告警匯聚

圖7 故障場(chǎng)景在網(wǎng)元故障場(chǎng)景下，某個(gè)網(wǎng)元出現(xiàn)故障，由于網(wǎng)元是被所有節(jié)點(diǎn)和所有租戶共同使用的，大量的主動(dòng)鏈路監(jiān)控?fù)軠y(cè)任務(wù)會(huì)定位到此網(wǎng)元，如何不做任何過(guò)濾直接上報(bào)，Server會(huì)產(chǎn)生大量的告警，這些告警的問(wèn)題溯源是重復(fù)的，告警處理效率低。告警匯聚的過(guò)程，會(huì)把所有的故障點(diǎn)信息進(jìn)行匯總分析，匯聚成統(tǒng)一故障點(diǎn)之后再上報(bào)，避免了大量重復(fù)告警上送，運(yùn)維管理員根據(jù)上報(bào)的匯聚告警快速定界到故障點(diǎn)，得到故障的影響范圍。

亮點(diǎn)3：可視化指標(biāo)

為了展示測(cè)量數(shù)據(jù)和異常檢測(cè)結(jié)果，主動(dòng)鏈路監(jiān)控設(shè)計(jì)可視化指標(biāo)，包括兩部分，虛擬鏈路的時(shí)延、丟包率指標(biāo)和網(wǎng)元的時(shí)延、丟包率指標(biāo)。虛擬鏈路是包含多個(gè)路徑的，比如VPC的服務(wù)，包括的是計(jì)算節(jié)點(diǎn)的虛擬交換機(jī)到其他計(jì)算節(jié)點(diǎn)的虛擬機(jī)交換機(jī)的路徑。圖8中的每個(gè)原點(diǎn)表示某個(gè)計(jì)算節(jié)點(diǎn)的探針，兩個(gè)網(wǎng)點(diǎn)之間的線表示兩個(gè)探針之間的路徑，這個(gè)路徑是包括兩邊的OVS和中間的物理交換機(jī)，同時(shí)通過(guò)策略優(yōu)化，每個(gè)網(wǎng)卡和每個(gè)物理交換機(jī)也會(huì)被覆蓋到。線是綠色表示指標(biāo)正常，如果指標(biāo)異常，圖8中的連線會(huì)紅色展示。點(diǎn)擊其中的某條路徑，可以查看這個(gè)路徑的丟包率和時(shí)延指標(biāo)，可以查看最近30分鐘，近一小時(shí)，近一天以及最長(zhǎng)最近一個(gè)月的指標(biāo)。

圖8 VPC服務(wù)鏈路質(zhì)量展示

圖9 路徑指標(biāo)展示圖10和圖11展示的是網(wǎng)元的丟包率和時(shí)延指標(biāo)，如果一種網(wǎng)元類型有多個(gè)，會(huì)分別展示每個(gè)的時(shí)延和丟包率指標(biāo)。

圖10 網(wǎng)元丟包率

圖11 網(wǎng)元時(shí)延

最后

主動(dòng)鏈路監(jiān)控基于染色報(bào)文的探測(cè)方案，改善了傳統(tǒng)黑盒監(jiān)控，只能監(jiān)控網(wǎng)絡(luò)服務(wù)SLA，沒(méi)法監(jiān)控網(wǎng)元級(jí)服務(wù)SLA的弊端，采取主動(dòng)探測(cè)和策略優(yōu)化的方法，做到盡可能覆蓋每個(gè)服務(wù)和每條路徑，最大可能的探測(cè)到客戶實(shí)際業(yè)務(wù)流的每條路徑，盡早的發(fā)現(xiàn)網(wǎng)絡(luò)質(zhì)量問(wèn)題，切實(shí)保障客戶業(yè)務(wù)質(zhì)量。

原文標(biāo)題：【大架光臨】云網(wǎng)絡(luò)的守護(hù)神，主動(dòng)鏈路監(jiān)控

文章出處：【微信公眾號(hào)：華為開(kāi)發(fā)者社區(qū)】歡迎添加關(guān)注！文章轉(zhuǎn)載請(qǐng)注明出處。
責(zé)任編輯:pj