1引言

場(chǎng)景圖是一種結(jié)構(gòu)表示，它將圖片中的對(duì)象表示為節(jié)點(diǎn)，并將它們的關(guān)系表示為邊。最近，場(chǎng)景圖已成功應(yīng)用于不同的視覺任務(wù)，例如圖像檢索[3]、目標(biāo)檢測(cè)、語(yǔ)義分割、圖像合成[4]和高級(jí)視覺-語(yǔ)言任務(wù)（如圖像字幕[1]或視覺問(wèn)答[2]等）。它是一種具有豐富信息量的整體場(chǎng)景理解方法，可以連接視覺和自然語(yǔ)言領(lǐng)域之間巨大差距的橋梁。

雖然從單個(gè)圖像生成場(chǎng)景圖（靜態(tài)場(chǎng)景圖生成）取得了很大進(jìn)展，但從視頻生成場(chǎng)景圖（動(dòng)態(tài)場(chǎng)景圖生成）的任務(wù)是新的且更具挑戰(zhàn)性。最流行的靜態(tài)場(chǎng)景圖生成方法是建立在對(duì)象檢測(cè)器之上的，然后推斷它們的關(guān)系類型以及它們的對(duì)象類。然而，物體在視頻序列的每一幀中不一定是一致的，任意兩個(gè)物體之間的關(guān)系可能會(huì)因?yàn)樗鼈兊倪\(yùn)動(dòng)而變化，具有動(dòng)態(tài)的特點(diǎn)。在這種情況下，時(shí)間依賴性發(fā)揮了作用，因此，靜態(tài)場(chǎng)景圖生成方法不能直接應(yīng)用于動(dòng)態(tài)場(chǎng)景圖生成，這在[5]中進(jìn)行了充分討論。

圖1. 場(chǎng)景圖分類

2 靜態(tài)場(chǎng)景圖

2.1 任務(wù)定義

靜態(tài)場(chǎng)景圖生成任務(wù)（Staticscene graph generation）目標(biāo)是讓計(jì)算機(jī)自動(dòng)生成一種語(yǔ)義化的圖結(jié)構(gòu)（稱為 scenegraph，場(chǎng)景圖），作為圖像的表示。圖像中的目標(biāo)對(duì)應(yīng) graph node，目標(biāo)間的關(guān)系對(duì)應(yīng) graph edge（目標(biāo)的各種屬性，如顏色，有時(shí)會(huì)在圖中表示）。 這種結(jié)構(gòu)化表示方法相對(duì)于向量表示更加直觀，可以看作是小型知識(shí)圖譜，因此可以廣泛應(yīng)用于知識(shí)管理、推理、檢索、推薦等。此外，該表示方法是模態(tài)無(wú)關(guān)的，自然語(yǔ)言、視頻、語(yǔ)音等數(shù)據(jù)同樣可以表示成類似結(jié)構(gòu)，因此對(duì)于融合多模態(tài)信息很有潛力。

圖2.靜態(tài)場(chǎng)景圖生成任務(wù)圖例

2.2 數(shù)據(jù)集

Visual Genome（VG）[6]于2016年提出，是這個(gè)領(lǐng)域最常用的數(shù)據(jù)集，包含對(duì)超過(guò) 10W 張圖片的目標(biāo)、屬性、關(guān)系、自然語(yǔ)言描述、視覺問(wèn)答等的標(biāo)注。與此任務(wù)相關(guān)的數(shù)據(jù)總結(jié)如下：

物體：表示為場(chǎng)景圖中節(jié)點(diǎn)，使用bounding box標(biāo)注物體的坐標(biāo)信息，包含對(duì)應(yīng)的類別信息。VG包含約17000種目標(biāo)。

關(guān)系：表示為場(chǎng)景圖中邊，包含動(dòng)作關(guān)系，空間關(guān)系，從屬關(guān)系和動(dòng)詞等。VG中包含約13000種關(guān)系。

屬性：可以是顏色，狀態(tài)等。Visual Genome 包含約 155000 種屬性。

2.3 方法分類

方法分類如下：

P(O,B,R | I) = P(O,B | I) * P(R| I,O,B)，即先目標(biāo)檢測(cè)，再進(jìn)行關(guān)系預(yù)測(cè)（有一個(gè)專門研究該子任務(wù)的領(lǐng)域，稱為研究視覺關(guān)系識(shí)別，visual relationship detection）。最簡(jiǎn)單的方法是下文中基于統(tǒng)計(jì)頻率的 baseline 方法，另外做視覺關(guān)系檢測(cè)任務(wù)的大多數(shù)工作都可以應(yīng)用到這里。

P(O,B,R | I) = P(B | I) * P(R,O| I,O,B)，即先定位目標(biāo)，然后將一張圖片中所有的目標(biāo)和關(guān)系看作一個(gè)未標(biāo)記的圖結(jié)構(gòu)，再分別對(duì)節(jié)點(diǎn)和邊進(jìn)行類別預(yù)測(cè)。這種做法考慮到了一張圖片中的各元素互為上下文，為彼此分類提供輔助信息。事實(shí)上，自此類方法提出之后[7]，才正式有了 scenegraph generation 這個(gè)新任務(wù)名稱（之前基本都稱為visual relationship detection）。

2.4 評(píng)價(jià)指標(biāo)

最常用的評(píng)價(jià)指標(biāo)是 recall@topk, 即主謂賓關(guān)系三元組 在選取前 k 個(gè)最可信預(yù)測(cè)結(jié)果的召回率。三元組的confidence score一般采用 score(subject) * score(object) * score(predicate) 。如果在排序時(shí)，一對(duì)目標(biāo)只選取最可信的那組關(guān)系來(lái)排序，則稱之為 constrained scene graph generation；如果一對(duì)目標(biāo)所有的關(guān)系三元組都參與排序，即一組目標(biāo)可能預(yù)測(cè)多個(gè)關(guān)系，則稱之為 unconstrained scene graph generation。這兩種方式分別對(duì)應(yīng)兩種 recall 指標(biāo)。

3 動(dòng)態(tài)場(chǎng)景圖

3.1 任務(wù)定義

動(dòng)態(tài)場(chǎng)景圖與靜態(tài)場(chǎng)景圖不同，動(dòng)態(tài)場(chǎng)景圖以視頻作為輸入，輸出分為兩種情況：輸出每一幀對(duì)應(yīng)的場(chǎng)景圖（幀級(jí)別場(chǎng)景圖）；輸出每一段視頻對(duì)應(yīng)的場(chǎng)景圖（片段級(jí)別場(chǎng)景圖）。這種結(jié)構(gòu)化的表示可以表征實(shí)體之間隨時(shí)間變化的動(dòng)作及狀態(tài)。

圖3.靜態(tài)/動(dòng)態(tài)場(chǎng)景圖區(qū)別示例

3.2 幀級(jí)別

3.2.1數(shù)據(jù)集

Action Genome該數(shù)據(jù)集是Visual Genome表示的帶時(shí)間版本，然而，Visual Genome的目的是詳盡的捕捉圖中每一個(gè)區(qū)域的物體和關(guān)系，而Action Genome的目標(biāo)是將動(dòng)作分解，專注于對(duì)那些動(dòng)作發(fā)生的視頻片段進(jìn)行標(biāo)注，并且只標(biāo)注動(dòng)作涉及的對(duì)象。Action Genome基于Charades進(jìn)行標(biāo)注，該數(shù)據(jù)集包含157類別動(dòng)作，144個(gè)是人類-物體活動(dòng)。在Charades中，有很多動(dòng)作可以同時(shí)發(fā)生。共有234253個(gè)frame，476229個(gè)bounding box，35個(gè)對(duì)象類別，1715568個(gè)關(guān)系，25個(gè)關(guān)系類別。

3.2.2 方法

Spatial-temporalTransformer（STTran）[8]：一種由兩個(gè)核心模塊組成的神經(jīng)網(wǎng)絡(luò)：一個(gè)空間編碼器，它采用輸入幀來(lái)提取空間上下文并推斷幀內(nèi)的視覺關(guān)系，以及一個(gè)時(shí)間解碼器它將空間編碼器的輸出作為輸入，以捕獲幀之間的時(shí)間依賴性并推斷動(dòng)態(tài)關(guān)系。此外，STTran 可以靈活地將不同長(zhǎng)度的視頻作為輸入而無(wú)需剪輯，這對(duì)于長(zhǎng)視頻尤為重要。

圖4.STTrans模型結(jié)構(gòu)

3.2.3 主實(shí)驗(yàn)結(jié)果

圖5.STTrans模型實(shí)驗(yàn)結(jié)果

3.2.4 樣例測(cè)試

圖6. 樣例

3.3 片段級(jí)別

3.3.1 數(shù)據(jù)集

VidVRD提出了一個(gè)新穎的VidVRD任務(wù)，旨在探索視頻中物體之間的各種關(guān)系，它提供了一個(gè)比ImgVRD更可行的VRD任務(wù)，通過(guò)目標(biāo)軌跡建議、關(guān)系預(yù)測(cè)和貪婪關(guān)系關(guān)聯(lián)來(lái)檢測(cè)視頻中的視覺關(guān)系，包含1000個(gè)帶有手動(dòng)標(biāo)記的視覺關(guān)系的視頻，被分解為30幀的片段，其中由15幀重疊，再進(jìn)行謂詞標(biāo)記。30類+（人、球、沙發(fā)、滑板、飛盤）=35類（獨(dú)立，沒有對(duì)象之間的包含關(guān)系），14個(gè)及物動(dòng)詞、3個(gè)比較詞、11個(gè)空間謂詞，11個(gè)不及物動(dòng)詞，能夠衍生160類謂詞。

3.3.2 方法

VidSGG提出了一個(gè)新的框架，在此框架下，將視頻場(chǎng)景圖重新表述為時(shí)間二分圖，其中實(shí)體和謂詞是兩類具有時(shí)隙的節(jié)點(diǎn)，邊表示這些節(jié)點(diǎn)之間的不同語(yǔ)義角色。

圖7.VidVRD任務(wù)示例

圖8.BIG-C模型結(jié)構(gòu)

3.3.3 主實(shí)驗(yàn)結(jié)果

圖9.BIG-C模型實(shí)驗(yàn)結(jié)果

3.3.4 樣例測(cè)試

圖10.對(duì)話情緒識(shí)別示例