隨著深度學(xué)習(xí)的大熱，許多研究都致力于如何從單張圖片生成3D模型。但近期一項研究表明，幾乎所有基于深度神經(jīng)網(wǎng)絡(luò)的3D中重建工作，實際上并不是重建，而是圖像分類。深度學(xué)習(xí)并不是萬能的！

深度學(xué)習(xí)并不是萬靈藥。

近幾年，隨著深度學(xué)習(xí)的大熱，許多研究攻克了如何從單張圖片生成3D模型。從某些方面似乎再次驗證了深度學(xué)習(xí)的神奇——doing almost the impossible。

但是，最近一篇文章卻對此提出了質(zhì)疑：幾乎所有這些基于深度神經(jīng)網(wǎng)絡(luò)的3D重建的工作，實際上并不是進(jìn)行重建，而是進(jìn)行圖像分類。

arXiv地址：

https://arxiv.org/pdf/1905.03678.pdf

在這項工作中，研究人員建立了兩種不同的方法分別執(zhí)行圖像分類和檢索。這些簡單的基線方法在定性和定量上都比最先進(jìn)的方法產(chǎn)生的結(jié)果要更好。

正如伯克利馬毅教授評價：

幾乎所有這些基于深度神經(jīng)網(wǎng)絡(luò)的3D重建的工作（層出不窮令人眼花繚亂的State of the Art top conferences 論文），其實還比不上稍微認(rèn)真一點的nearest neighbor baselines。沒有任何工具或算法是萬靈藥。

至少在三維重建問題上，沒有把幾何關(guān)系條件嚴(yán)格用到位的算法，都是不科學(xué)的——根本談不上可靠和準(zhǔn)確。

并非3D重建，而只是圖像分類？

基于對象(object-based)的單視圖3D重建任務(wù)是指，在給定單個圖像的情況下生成對象的3D模型。

如上圖所示，推斷一輛摩托車的3D結(jié)構(gòu)需要一個復(fù)雜的過程，它結(jié)合了低層次的圖像線索、有關(guān)部件結(jié)構(gòu)排列的知識和高層次的語義信息。

研究人員將這種情況稱為重建和識別：

重構(gòu)意味著使用紋理、陰影和透視效果等線索對輸入圖像的3D結(jié)構(gòu)進(jìn)行推理。

識別相當(dāng)于對輸入圖像進(jìn)行分類，并從數(shù)據(jù)庫中檢索最合適的3D模型。

雖然在其它文獻(xiàn)中已經(jīng)提出了各種體系結(jié)構(gòu)和3D表示，但是用于單視圖3D理解的現(xiàn)有方法都使用編碼器——解碼器結(jié)構(gòu)，其中編碼器將輸入圖像映射到潛在表示，而解碼器執(zhí)行關(guān)于3D的非平凡(nontrivial)推理，并輸出空間的結(jié)構(gòu)。

為了解決這一任務(wù)，整個網(wǎng)絡(luò)既要包含高級信息，也要包含低級信息。

而在這項工作中，研究人員對目前最先進(jìn)的編解碼器方法的結(jié)果進(jìn)行了分析，發(fā)現(xiàn)它們主要依靠識別來解決單視圖3D重建任務(wù)，同時僅顯示有限的重建能力。

為了支持這一觀點，研究人員設(shè)計了兩個純識別基線：一個結(jié)合了3D形狀聚類和圖像分類，另一個執(zhí)行基于圖像的3D形狀檢索。

在此基礎(chǔ)上，研究人員還證明了即使不需要明確地推斷出物體的3D結(jié)構(gòu)，現(xiàn)代卷積網(wǎng)絡(luò)在單視圖3D重建中的性能是可以超越的。

在許多情況下，識別基線的預(yù)測不僅在數(shù)量上更好，而且在視覺上看起來更有吸引力。

研究人員認(rèn)為，卷積網(wǎng)絡(luò)在單視圖3D重建任務(wù)中是主流實驗程序的某些方面的結(jié)果，包括數(shù)據(jù)集的組成和評估協(xié)議。它們允許網(wǎng)絡(luò)找到一個快捷的解決方案，這恰好是圖像識別。

純粹的識別方法，性能優(yōu)于先進(jìn)的神經(jīng)網(wǎng)絡(luò)

實驗基于現(xiàn)代卷積網(wǎng)絡(luò)，它可以從一張圖像預(yù)測出高分辨率的3D模型。

方法的分類是根據(jù)它們的輸出表示對它們進(jìn)行分類：體素網(wǎng)格(voxel grids)、網(wǎng)格（meshes）、點云和深度圖。為此，研究人員選擇了最先進(jìn)的方法來覆蓋主要的輸出表示，或者在評估中已經(jīng)清楚地顯示出優(yōu)于其他相關(guān)表示。

研究人員使用八叉樹生成網(wǎng)絡(luò)(Octree Generating Networks，OGN)作為直接在體素網(wǎng)格上預(yù)測輸出的代表性方法。

與早期使用這種輸出表示的方法相比，OGN通過使用八叉樹有效地表示所占用的空間，可以預(yù)測更高分辨率的形狀。

還評估了AtlasNet作為基于表面的方法的代表性方法。AtlasNet預(yù)測了一組參數(shù)曲面，并在操作這種輸出表示的方法中構(gòu)成了最先進(jìn)的方法。它被證明優(yōu)于直接生成點云作為輸出的唯一方法，以及另一種基于八叉樹的方法。

最后，研究人員評估了該領(lǐng)域目前最先進(jìn)的Matryoshka Networks。該網(wǎng)絡(luò)使用由多個嵌套深度圖組成的形狀表示，，這些深度圖以體積方式融合到單個輸出對象中。

對于來自AtlasNet的基于IoU的表面預(yù)測評估，研究人員將它們投影到深度圖，并進(jìn)一步融合到體積表示。 對于基于表面的評估指標(biāo)，使用移動立方體算法從體積表示中提取網(wǎng)格。

研究人員實現(xiàn)了兩個簡單的基線，僅從識別的角度來處理問題。

第一種方法是結(jié)合圖像分類器對訓(xùn)練形狀進(jìn)行聚類；第二個是執(zhí)行數(shù)據(jù)庫檢索。

在聚類方面的基線中，使用K-means算法將訓(xùn)練形狀聚類為K個子類別。

在檢索基線方面，嵌入空間由訓(xùn)練集中所有3D形狀的兩兩相似矩陣構(gòu)造，通過多維尺度將矩陣的每一行壓縮為一個低維描述符。

研究人員根據(jù)平均IoU分?jǐn)?shù)對所有方法進(jìn)行標(biāo)準(zhǔn)比較。

研究人員發(fā)現(xiàn)，雖然最先進(jìn)的方法有不同體系結(jié)構(gòu)的支持，但在執(zhí)行的時候卻非常相似。

有趣的是，檢索基線是一種純粹的識別方法，在均值和中位數(shù)IoU方面都優(yōu)于所有其他方法。簡單的聚類基線具有競爭力，性能優(yōu)于AtlasNet和OGN。

但研究人員進(jìn)一步觀察到，一個完美的檢索方法(Oracle NN)的性能明顯優(yōu)于所有其他方法。值得注意的是，所有方法的結(jié)果差異都非常大(在35%到50%之間)。

這意味著僅依賴于平均IoU的定量比較不能提供這種性能水平的全貌。 為了更清楚地了解這些方法的行為，研究人員進(jìn)行了更詳細(xì)的分析。

每類mIoU比較。

總的來說，這些方法在不同的類之間表現(xiàn)出一致的相對性能。檢索基線為大多數(shù)類生成最佳重構(gòu)。所有類和方法的方差都很大。

mIoU與每個類的訓(xùn)練樣本數(shù)量。

研究人員發(fā)現(xiàn)一個類的樣本數(shù)量和這個類的mIoU分?jǐn)?shù)之間沒有相關(guān)性。所有方法的相關(guān)系數(shù)c均接近于零。

定性的結(jié)果

聚類基線產(chǎn)生的形狀質(zhì)量與最先進(jìn)的方法相當(dāng)。 檢索基線通過設(shè)計返回高保真形狀，但細(xì)節(jié)可能不正確。 每個樣本右下角的數(shù)字表示IoU。

左：為所選類分配IoU。 基于解碼器的方法和顯式識別基線的類內(nèi)分布是類似的。 Oracle NN的發(fā)行版在大多數(shù)類中都有所不同。 右圖：成對Kolmogorov-Smirnov檢驗未能拒絕兩個分布的無效假設(shè)的類數(shù)的熱圖。

研究中的一些問題

參照系的選擇

我們嘗試使用視角預(yù)測網(wǎng)絡(luò)對聚類基線方法進(jìn)行擴(kuò)展，該方法將重點回歸攝像頭的方位角和仰角等規(guī)范框架，結(jié)果失敗了，因為規(guī)范框架對每個對象類都有不同的含義，即視角網(wǎng)絡(luò)需要使用類信息來解決任務(wù)。我們對檢索基線方法進(jìn)行了重新訓(xùn)練，將每個訓(xùn)練視圖作為單獨樣本來處理，從而為每個單獨的對象提供空間。

量度標(biāo)準(zhǔn)

平均IoU通常在基準(zhǔn)測試中被用作衡量單視圖圖像重建方法的主要量化指標(biāo)。如果將其作為最優(yōu)解的唯一衡量指標(biāo)，就可能會出現(xiàn)問題，因為它在對象形狀的質(zhì)量值足夠高時才能有效預(yù)測。如果該值處于中低水平，表明兩個對象的形狀存在顯著差異。

如上圖所示，將一個汽車模型與數(shù)據(jù)集中的不同形狀的對象進(jìn)行了比較，只有 IoU分?jǐn)?shù)比較高（最右兩張圖）時才有意義，即使IoU=0.59，兩個目標(biāo)可能都是完全不同的物體，比較相似度失去了意義。

倒角距離（Chamfer distance）

如上圖所示，兩者目標(biāo)椅子與下方的椅子的下半部分完美匹配，但上半部分完全不同。但是根據(jù)得分，第二個目標(biāo)要好于第一個。由此來看，倒角距離這個量度會被空間幾何布局顯著干擾。為了可靠地反映真正的模型重建性能，好的量度應(yīng)該具備對幾何結(jié)構(gòu)變化的高魯棒性。

F-score

我們繪制了以觀察者為中心的重建方式的F分?jǐn)?shù)的不同距離閾值d（左）。在 d =重建體積邊長的2％的條件下，F(xiàn)分?jǐn)?shù)絕對值與當(dāng)前范圍的 mIoU分?jǐn)?shù)相同，這并不能有效反映模型的預(yù)測質(zhì)量。

因此，我們建議將距離閾值設(shè)為重建模型體積邊長的1％以下來考察F值。如上圖（右）中所示，在閾值d = 1％時，F(xiàn)分?jǐn)?shù)為0.5以上。只有一小部分模型的形狀被精確構(gòu)建出來，預(yù)設(shè)任務(wù)仍然遠(yuǎn)未解決。我們的檢索基線方法不再具有明顯的優(yōu)勢，進(jìn)一步表明使用純粹的識別方法很難解決這個問題。

現(xiàn)有的基于CNN的方法在精度上表現(xiàn)良好，但丟失了目標(biāo)的部分結(jié)構(gòu)

未來展望

在這項研究中，研究人員通過重建和識別來推斷單視圖3D重建方法的范圍。

工作展示了簡單的檢索基線優(yōu)于最新、最先進(jìn)的方法。分析表明，目前最先進(jìn)的單視圖3D重建方法主要用于識別，而不是重建。

研究人員確定了引起這種問題的一些因素，并提出了一些建議，包括使用以視圖為中心的坐標(biāo)系和魯棒且信息量大的評估度量(F-score)。

另一個關(guān)鍵問題是數(shù)據(jù)集組合，雖然問題已經(jīng)確定，但沒有處理。研究人員正努力在以后的工作中糾正這一點。