(1) 我們提出了第一個即插即用的learning-based的視頻深度框架NVDS。可以用于任意的單目圖像深度預測模型，去除時域抖動增強幀間一致性。

(2) 我們提出的Video Depth in the Wild(VDW) 數據集，是當前體量最大場景最豐富的自然場景視頻深度數據集。

如下圖，與之前的視頻深度預測方法相比，本文方法NVDS在空間精度，時域平滑性，和推理效率上，均有提升顯著。同時，本文提出的Video Depth in the Wild(VDW) 數據集，是當前體量最大場景最豐富的自然場景視頻深度數據集。

1. 任務背景與動機?

視頻深度預測對許多下游任務(例如視頻散景渲染，3D視頻合成，視頻特效生成等)具有重要的影響。理想的視頻深度預測模型需要解決兩個問題：(1) 深度的空間準確; (2) 幀間的時域一致。近些年來，單目圖像深度預測算法已經顯著提升了空間準確性，但如何去除抖動提升幀間時域的一致性仍是一個困難的問題。

主流的視頻深度預測方法依賴于Test-time Training。他們在推理時，通過幾何約束和相機參數，迫使一個單目圖像深度預測模型過擬合當前特定測試視頻的時域關系。這樣做有兩個明顯的缺點：(1)魯棒性差。相機參數在許多視頻中往往難以做到準確可靠，而導致CVD，Robust-CVD等方法，產生明顯的artifact和完全錯誤的預測結果; (2)效率很低。以CVD為例，其在四張Tesla M40 GPU上處理一段244幀的視頻，需要超過四十分鐘的時間。

因此，很自然的一個想法是，我們能否建立learning-based的視頻深度預測方法，能夠直接在數據集上學習到時域一致性的能力和先驗，直接預測得到較好的結果，而不需要Test-time Training。那與所有的深度學習算法一樣，設計和實現這樣的learning-based的視頻深度方法，就需要處理兩個核心問題：(1)合理的模型設計，能夠建模幀間依賴關系，提升預測結果的一致性; (2) 充足的訓練數據，訓練和激發模型的最佳性能。遺憾的是，之前的learning-based視頻深度方法，其性能仍不如Test-time Training的方法，結果設計的有效性仍需要繼續研究和探索。由于標注代價很大，已有的視頻深度數據集在數據體量和場景豐富度上仍然較為有限。

2. 方法與貢獻? ?

為了解決上述的兩個核心挑戰，我們做出了兩點貢獻：

(1) 我們提出了第一個即插即用的learning-based的視頻深度框架NVDS。NVDS包含一個depth predictor和一個stabilization network。其中，stabilization network可以直接被用到任意的單目圖像深度預測模型上，去除時域抖動幀間一致性。之前所有的learning-based的視頻深度預測模型都是獨立的(stand-alone)模型，其空間性能無法受益于sota的單目圖像模型，反之無法對大量已有的單目圖像模型進行平滑穩定。而NVDS的方法，打破了單目圖像深度預測和單目視頻深度預測的壁壘，一方面能夠受益于各種高精度的單圖模型，反之能對任意的單圖模型進行平滑穩定，實現了互相的促進和雙贏。對于stabilization network ，我們采用了cross-attention建模關鍵幀(key frame)和參考幀(target frame)的幀間關系。同時，我們設計了雙向預測的機制來擴大時域感受野，進一步提升一致性。

(2) 我們提出了Video Depth in the Wild(VDW) 數據集，是當前體量最大場景最豐富的自然場景視頻深度數據集。由于巨大的標注代價，當前已有的視頻深度數據集大多數都是封閉場景的。而少數的幾個自然場景的視頻深度數據集，其體量和豐富度還遠遠不足。例如Sintel只包含23段動畫視頻。我們的VDW數據集，采集自電影、動畫、紀錄片、網絡視頻等多種數據源，包含超過200小時的14203段視頻，總計223萬幀。我們還設計了天空分割投票等機制，以及嚴格的數據篩選和標注流程，來保證我們數據的精度。下圖包含數據集的部分示例，分別來自網絡視頻、紀錄片、動畫、電影。

3.實驗概述：方法部分? ?

在實驗方面，我們在VDW數據集，以及公開的Sintel和NYUDV2數據集上，均取得了SOTA的空間精度和時域一致性。其中VDW和Sintel為自然場景數據集。對于封閉場景數據例如NYUDV2，不使用我們的VDW數據集而只用統一的NYUDV2訓練集進行訓練，已經能取得SOTA的性能；而用我們的VDW數據集預訓練，再在封閉場景的NYUDV2進行finetune，則能夠進一步提升模型的性能表現。

同時為了證明我們即插即用的有效性，我們采用了三個不同的depth predictor進行實驗，我們的NVDS均取得了顯著的提升。

我們還通過ablation證明了雙向inference的有效性。單向的(Forward或backward)預測已經能夠得到令人滿意的一致性，而雙向inference能夠進一步擴大時域感受野，提升一致性。

部分定性結果如下圖所示，我們NVDS的方法取得了顯著的提升。每組例子左側為RGB幀，右側為視頻時域切片。切片中更少的條紋表征了更好的一致性和穩定性。更多可視化結果請參考我們的論文、補充材料、成果視頻。

4. 實驗概述：數據集部分??

對于VDW數據集，我們比較了當前已有的視頻深度數據集。我們的VDW數據集是目前體量最大、場景最豐富的自然場景視頻深度數據集。

我們還探究了使用不同數據對模型進行訓練的效果，由于我們的VDW數據集具有最佳的體量和場景豐富度，因此對于相同的模型，使用VDW數據集進行訓練取得了最優性能。

而對于數據集的統計實驗，我們繪制了數據集的物體類別詞云，以及語義類別統計圖等。更多的數據集統計結果和示例請見論文和補充材料。

5. 代碼與數據集開源?

我們的代碼已經開源：

https://github.com/RaymondWang987/NVDS

數據集正在搭建VDW的官方網站，并擬定相應的開源協議，準備好后會馬上進行發布。我們的數據集體量較大，因此網站搭建和數據傳輸仍需要一定的時間，我們會對數據進行分割并逐步上傳。VDW數據集可以被用于學術和研究用途，但不能用于商業用途。

編輯：黃飛