某企業(yè)的5G行業(yè)項(xiàng)目無(wú)人集卡遠(yuǎn)程駕駛視頻回傳業(yè)務(wù)受到影響，具體表現(xiàn)為從終端上傳到采控平臺(tái)的監(jiān)控視頻存在花屏問(wèn)題，采控平臺(tái)對(duì)終端的操控受到影響，產(chǎn)生偶發(fā)性卡頓，視頻花屏示例如下圖所示。企業(yè)園區(qū)的視頻回傳和卡車(chē)操控業(yè)務(wù)均受到影響。

無(wú)人集卡視頻業(yè)務(wù)組網(wǎng)如下圖所示。

上行方向：終端攝像頭→ 視頻網(wǎng)關(guān)→ CPE → 基站→ 防火墻→ 承載→ UPF業(yè)務(wù)交換機(jī)→ 下沉UPF → UPF業(yè)務(wù)交換機(jī)→ 企業(yè)防火墻→ 企業(yè)服務(wù)器控制臺(tái)

針對(duì)視頻花屏一類的問(wèn)題，大部分情況下都是由于網(wǎng)絡(luò)報(bào)文丟包和報(bào)文亂序引起的。這是因?yàn)橐曨l碼流的傳輸是建立在傳輸層協(xié)議的基礎(chǔ)上，即TCP協(xié)議和UDP協(xié)議。而視頻監(jiān)控場(chǎng)景大多采用UDP面向不可靠連接協(xié)議。 因此排查方向?yàn)闄z查網(wǎng)絡(luò)中的UDP報(bào)文，排查思路有以下四點(diǎn)：

問(wèn)題定位：判斷網(wǎng)絡(luò)中是否存在UDP丟包率或亂序率高的問(wèn)題，定位手段為使用Wireshark工具抓包分析，定位點(diǎn)為企業(yè)的視頻服務(wù)器。

問(wèn)題定界：若有UDP丟包率或亂序率高的現(xiàn)象，則需要定界丟包或亂序的引入點(diǎn)在哪里。必要時(shí)需要進(jìn)行端到端網(wǎng)絡(luò)抓包分析，目的是逐步縮小引入丟包或亂序點(diǎn)位的范圍，直至抓出問(wèn)題設(shè)備。

問(wèn)題優(yōu)化：定位到問(wèn)題設(shè)備進(jìn)行分析、解決。有可能是多個(gè)設(shè)備，涉及無(wú)線、承載、核心網(wǎng)各專業(yè)產(chǎn)品，具體的分析解決過(guò)程由問(wèn)題產(chǎn)品對(duì)應(yīng)的團(tuán)隊(duì)負(fù)責(zé)，目標(biāo)是使整個(gè)端到端網(wǎng)絡(luò)的丟包率或亂序率降低。

效果驗(yàn)證：網(wǎng)絡(luò)的丟包率或亂序率降低后，觀察花屏問(wèn)題是否得到改善或解決。

TCP面向連接：當(dāng)傳輸中斷，發(fā)送端是感知的，可以重新建立連接。因此采用TCP傳輸?shù)膬?yōu)勢(shì)是不丟包；但劣勢(shì)是網(wǎng)絡(luò)不佳的情況下會(huì)導(dǎo)致?lián)砣３Ｒ?jiàn)的場(chǎng)景：觀看視頻、FTP等。

UDP非面向連接：發(fā)送端只管發(fā)送數(shù)據(jù)，接收端是否能收到數(shù)據(jù)則不在發(fā)送端的考慮范圍內(nèi)。因此UDP的優(yōu)勢(shì)是數(shù)據(jù)具有實(shí)時(shí)性，傳輸速度更快；劣勢(shì)是當(dāng)網(wǎng)絡(luò)抖動(dòng)大時(shí)，數(shù)據(jù)會(huì)丟失嚴(yán)重，這就是導(dǎo)致視頻花屏的常見(jiàn)原因。常見(jiàn)場(chǎng)景：視頻監(jiān)控、直播、視頻會(huì)議、音視頻通話。

問(wèn)題定位

故障復(fù)現(xiàn)期間，在企業(yè)服務(wù)器端進(jìn)行Wireshark數(shù)據(jù)抓包分析。

抓包數(shù)據(jù)流為UDP流，如下圖所示。

UDP流轉(zhuǎn)碼為RTP流，經(jīng)過(guò)流統(tǒng)計(jì)沒(méi)有丟包，如下圖所示。

但是存在1%亂序，如下圖所示。初步分析可能為亂序問(wèn)題導(dǎo)致的視頻花屏。

問(wèn)題定界

安排端到端7個(gè)節(jié)點(diǎn)（CPE、基站、承載、防火墻、UPF業(yè)務(wù)交換機(jī)、下沉UPF、企業(yè)服務(wù)器）進(jìn)行抓包分析，確認(rèn)是哪個(gè)網(wǎng)元引入的亂序問(wèn)題，如下圖所示。

分析點(diǎn)1：測(cè)試PC → CPE抓包分析

分析點(diǎn)2：OME網(wǎng)管平臺(tái) →基站側(cè)DPS、NG口抓包分析

分析點(diǎn)3：測(cè)試PC →傳輸抓包分析

分析點(diǎn)4：測(cè)試PC →防火墻抓包分析

分析點(diǎn)5：測(cè)試PC → UPF業(yè)務(wù)交換機(jī)業(yè)務(wù)匯聚端口抓包分析

分析點(diǎn)6：測(cè)試PC → UPF網(wǎng)元側(cè)抓包分析

分析點(diǎn)7：遠(yuǎn)端操作PC → 企業(yè)服務(wù)器側(cè)抓包分析

分析過(guò)程

在故障發(fā)生的同一時(shí)間段內(nèi)，將各節(jié)點(diǎn)的Wireshark數(shù)據(jù)統(tǒng)計(jì)結(jié)果進(jìn)行匯總，初步判定在UPF業(yè)務(wù)交換機(jī)和UPF網(wǎng)元中間引入了亂序，如下圖所示。

1.在UPF業(yè)務(wù)交換機(jī)進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，統(tǒng)計(jì)數(shù)據(jù)如下圖所示。

a.GTP包：為基站增加GTP包頭，通過(guò)承載等網(wǎng)元轉(zhuǎn)發(fā)至UPF的報(bào)文。 b.UDP包：經(jīng)UPF處理并轉(zhuǎn)發(fā)至企業(yè)園區(qū)N6的報(bào)文（回到交換機(jī)的包）。

3.經(jīng)過(guò)UPF業(yè)務(wù)交換機(jī)一進(jìn)一出的數(shù)據(jù)統(tǒng)計(jì)結(jié)果，可以明顯看出數(shù)據(jù)報(bào)文在經(jīng)過(guò)了UPF和UPF業(yè)務(wù)交換機(jī)后，有亂序率增加的現(xiàn)象，亂序率由0.01變?yōu)?.38%，所以UPF產(chǎn)生問(wèn)題的可能性最大。

4.在UPF網(wǎng)元進(jìn)行數(shù)據(jù)跟蹤統(tǒng)計(jì)，統(tǒng)計(jì)結(jié)果如下圖所示。

5.根據(jù)UPF網(wǎng)元數(shù)據(jù)統(tǒng)計(jì)結(jié)果，可以看出在UPF網(wǎng)元側(cè)的幾段報(bào)文中，確實(shí)存在亂序增加的現(xiàn)象。16段抓包結(jié)果的亂序率在0.08%~1.48%之間，平均亂序率為0.41%。 6.在企業(yè)服務(wù)器進(jìn)行數(shù)據(jù)統(tǒng)計(jì)，如下圖所示。

7.根據(jù)企業(yè)服務(wù)器數(shù)據(jù)統(tǒng)計(jì)結(jié)果，可以看出企業(yè)服務(wù)器的幾段報(bào)文中，確實(shí)存在亂序現(xiàn)象，平均亂序率為0.39%。

8.為驗(yàn)證初步分析的結(jié)果，需要再次在UPF業(yè)務(wù)交換機(jī)和UPF網(wǎng)元進(jìn)行抓包對(duì)比，如下圖所示。

9.經(jīng)過(guò)抓包對(duì)比，第二次抓包數(shù)據(jù)統(tǒng)計(jì)的結(jié)論與第一次的結(jié)論一致，即UPF業(yè)務(wù)交換機(jī)到UPF網(wǎng)元段亂序大量增加。由此初步分析得結(jié)論：終端上傳視頻時(shí)，數(shù)據(jù)包從UPF業(yè)務(wù)交換機(jī)出來(lái)至UPF內(nèi)部，再由UPF轉(zhuǎn)發(fā)至UPF業(yè)務(wù)交換機(jī)出現(xiàn)問(wèn)題，導(dǎo)致了亂序增加。

10.將故障范圍收斂為：UPF業(yè)務(wù)交換機(jī)、UPF網(wǎng)元或底層設(shè)備，其中UPF故障的可能性最大，后續(xù)主要分析方向?yàn)閁PF。

11.根據(jù)抓包結(jié)果進(jìn)行分析，執(zhí)行以下3項(xiàng)操作，觀察是否改善：

a.關(guān)閉UPF網(wǎng)元所有的數(shù)據(jù)跟蹤，在UPF業(yè)務(wù)交換機(jī)上再次進(jìn)行抓包，分析亂序現(xiàn)象是否改善。

結(jié)果：無(wú)效。

b.調(diào)整UPF業(yè)務(wù)交換機(jī)SG 2、3、6、7口（與業(yè)務(wù)服務(wù)器的業(yè)務(wù)網(wǎng)卡）負(fù)荷分擔(dān)策略為src-dst-ip。在交換機(jī)上抓包，分析亂序現(xiàn)象是否相同。

結(jié)果：無(wú)效。

c.將UPF虛機(jī)進(jìn)行主備倒換，再次交換機(jī)抓包，分析亂序現(xiàn)象是否相同。

結(jié)果：無(wú)效。

12.根據(jù)抓包結(jié)果再次進(jìn)行分析，執(zhí)行以下2項(xiàng)操作，觀察是否改善： a.核查現(xiàn)場(chǎng)組網(wǎng)拓?fù)洌瑱z查防火墻分發(fā)策略，是否異常。

結(jié)果：無(wú)異常。

b.UPF所有補(bǔ)丁都沒(méi)打，需要打上補(bǔ)丁后查看是否有改善。

結(jié)果：無(wú)效。

13.進(jìn)一步檢查，發(fā)現(xiàn)UPF主備倒換沒(méi)有生效，需要重新倒換。

a.分析交換機(jī)聚合組分發(fā)是否有問(wèn)題，需要保留聚合組里面唯一端口，關(guān)閉其他端口。

b.根據(jù)第一次操作抓取數(shù)據(jù)分析發(fā)現(xiàn)新問(wèn)題點(diǎn)：UPF除了亂序外，還有更高比例的丟包問(wèn)題，統(tǒng)計(jì)數(shù)據(jù)如下圖所示。 亂序比例：交換前0.04%，經(jīng)過(guò)UPF后亂序率增加至0.46%，增加了近10倍。 丟包比例：交換前0.77%，經(jīng)過(guò)UPF后丟包率增加至1.55%，增加了近1倍，且較亂序比例更大。需要重點(diǎn)解決該問(wèn)題。

14.對(duì)UPF網(wǎng)元進(jìn)行一鍵采集內(nèi)部統(tǒng)計(jì)分析，存在上行的計(jì)費(fèi)丟包。對(duì)UPF進(jìn)行信令跟蹤發(fā)現(xiàn)，現(xiàn)場(chǎng)采用的是N40在線計(jì)費(fèi)，且每次下發(fā)約200 MB配額（查看具體配額的消息：Nchf_ConvergedCharging_Update Request），如下圖所示。

15.經(jīng)分析，在用戶上線后，UPF會(huì)通過(guò)SMF向OCS申請(qǐng)配額，當(dāng)配額用完之后，UPF會(huì)重新向OCS進(jìn)行配額申請(qǐng)。

16.根據(jù)現(xiàn)場(chǎng)抓包分析速率大約50 s左右配額會(huì)耗盡，耗盡后UPF實(shí)時(shí)向OCS申請(qǐng)配額。因?yàn)榫哂袑?shí)時(shí)性，從OCS而來(lái)的新配額如果未及時(shí)送達(dá)UPF，則UPF會(huì)將緩存報(bào)文進(jìn)行丟包處理，此時(shí)極大可能導(dǎo)致視頻花屏。

17.綜合以上分析，建議將在線計(jì)費(fèi)方式改為離線計(jì)費(fèi)或者不計(jì)費(fèi)方式，查看花屏問(wèn)題是否解決。

18.SIM計(jì)費(fèi)情況說(shuō)明如下：

a.在線計(jì)費(fèi)（預(yù)付費(fèi)）：需要和OCS交互申請(qǐng)配額，當(dāng)配額達(dá)到閾值后，會(huì)重新向OCS申請(qǐng)新的額度，在OCS下發(fā)新額度之前，如果配額耗盡，則UPF將會(huì)進(jìn)行丟包。

b.離線計(jì)費(fèi)（后付費(fèi)）：不需要和OCS進(jìn)行交互，理論上用戶可以一直使用流量，但用戶下線后，會(huì)向計(jì)費(fèi)中心上報(bào)流量統(tǒng)計(jì)數(shù)。

c.針對(duì)實(shí)時(shí)回傳的流媒體業(yè)務(wù)，通常會(huì)使用離線計(jì)費(fèi)，因?yàn)樵诰€計(jì)費(fèi)需要實(shí)時(shí)申請(qǐng)配額，如果網(wǎng)絡(luò)出現(xiàn)延時(shí)或者OCS響應(yīng)不及時(shí)，會(huì)導(dǎo)致丟包嚴(yán)重，業(yè)務(wù)中斷。

問(wèn)題處理

1.將SIM卡計(jì)費(fèi)方式由在線計(jì)費(fèi)更改為離線計(jì)費(fèi)，再次在UPF業(yè)務(wù)交換機(jī)進(jìn)行抓包，抓包結(jié)果如圖14所示。

結(jié)果分析如下:

a.亂序比例：交換機(jī)0.02%，經(jīng)過(guò)UPF后亂序率增加至0.12%，增加近5倍，亂序問(wèn)題還存在。

b.丟包比例：交換機(jī)0.34%，經(jīng)過(guò)UPF后丟包率增加至0.38%，僅增11%，較操作前下降明顯。

2.與第三方視頻廠家溝通，反饋花屏效果已大大改善，基本已經(jīng)解決原來(lái)視頻花屏問(wèn)題，如下圖所示。

3.根據(jù)前后數(shù)據(jù)分析，視頻花屏問(wèn)題分析結(jié)論如下：

a.視頻花屏問(wèn)題定位為UPF的丟包原因引入，通過(guò)更改SIM卡的計(jì)費(fèi)方式，大大降低了UPF的丟包行為，花屏問(wèn)題基本解決。

b.UPF亂序問(wèn)題存在，但在當(dāng)前環(huán)境下，亂序問(wèn)題對(duì)現(xiàn)場(chǎng)視頻花屏影響很小。

審核編輯 ：李倩