近日，伯克利大學(xué)發(fā)布了BDD100K，一個(gè)目前來(lái)說最大規(guī)模也是最多樣化的駕駛視頻數(shù)據(jù)集，這些數(shù)據(jù)具有四個(gè)主要特征：大規(guī)模，多樣化，在真實(shí)的街道采集，并帶有時(shí)間信息。數(shù)據(jù)的多樣性對(duì)于測(cè)試感知算法的魯棒性尤為重要。利用這個(gè)數(shù)據(jù)集，你還可以參加伯克利在CVPR 2018 舉辦的自動(dòng)駕駛競(jìng)賽，其在在arXiv上也發(fā)表了相關(guān)的介紹文章。

BDD100K: A Large-scale Diverse Driving Video Database

伯克利大學(xué)發(fā)布了BDD100K，一個(gè)目前來(lái)說最大規(guī)模也是最多樣化的駕駛視頻數(shù)據(jù)集，其中包含了豐富的各種標(biāo)注信息。

論文：BDD100K: A Diverse Driving Video Database with Scalable Annotation Tooling

大規(guī)模，多樣化，駕駛，視頻：Pick Four

自動(dòng)駕駛有望改變每個(gè)人的生活。然而，最近的一系列自動(dòng)駕駛事故表明，還不清楚一個(gè)人造的駕駛感知系統(tǒng)如何才能能夠避免在人類看來(lái)是明顯的錯(cuò)誤。作為計(jì)算機(jī)視覺研究人員，BAIR有興趣探索最前沿的自動(dòng)駕駛感知算法，使其更安全。為了設(shè)計(jì)和測(cè)試潛在的算法，BAIR希望利用來(lái)自真實(shí)駕駛平臺(tái)收集的數(shù)據(jù)中的所有信息。這些數(shù)據(jù)具有四個(gè)主要特征：大規(guī)模，多樣化，在真實(shí)的街道采集，并帶有時(shí)間信息。數(shù)據(jù)的多樣性對(duì)于測(cè)試感知算法的魯棒性尤為重要。但是，當(dāng)前的開放數(shù)據(jù)集只能覆蓋上述屬性的一個(gè)子集。因此，在Nexar【4】的幫助下，BAIR發(fā)布了BDD100K數(shù)據(jù)庫(kù)，這是迄今為止計(jì)算機(jī)視覺研究中規(guī)模最大，最多樣化的開放式駕駛視頻數(shù)據(jù)集。該項(xiàng)目是由Berkeley DeepDrive【5】工業(yè)聯(lián)盟組織和贊助的，該組織負(fù)責(zé)研究計(jì)算機(jī)視覺和汽車應(yīng)用機(jī)器學(xué)習(xí)領(lǐng)域的最新技術(shù)。

圖：隨機(jī)視頻子集的位置。

正如名稱所示，BAIR的數(shù)據(jù)集包含100,000個(gè)視頻。 每個(gè)視頻長(zhǎng)約40秒，720p，30 fps。視頻還附帶了由手機(jī)記錄的GPS/IMU信息，以顯示粗糙的駕駛軌跡。我們的視頻是從美國(guó)各地收集來(lái)的，如圖所示。BAIR的數(shù)據(jù)庫(kù)涵蓋了不同的天氣情況，包括晴天、陰天和雨天，以及白天和夜間的不同時(shí)段。下表總結(jié)了與以前的數(shù)據(jù)集的比較，這表明BAIR的數(shù)據(jù)集更大、更多樣化。

圖：與其他一些街景場(chǎng)景數(shù)據(jù)集比較。很難公平地比較數(shù)據(jù)集之間的＃images，但我們?cè)谶@里列出它們作為粗略參考。

這些視頻及其軌跡可以幫助我們模仿學(xué)習(xí)駕駛法規(guī)，如BAIR在CVPR 2017論文【6】中所述。為了便于對(duì)大規(guī)模數(shù)據(jù)集進(jìn)行計(jì)算機(jī)視覺研究，BAIR還在視頻關(guān)鍵幀上做了基本的標(biāo)注，詳見下一節(jié)。 您現(xiàn)在可以在【1】下載數(shù)據(jù)和標(biāo)注。

標(biāo)注（Annotations）

我們?cè)诿總€(gè)視頻的第10秒采樣一個(gè)關(guān)鍵幀，并為這些關(guān)鍵幀提供標(biāo)注。它們分別在多個(gè)層次上被標(biāo)記：圖像標(biāo)記，道路對(duì)象邊界框，可驅(qū)動(dòng)區(qū)域，車道標(biāo)記和全幀實(shí)例分段。這些標(biāo)注將幫助我們理解不同類型場(chǎng)景中數(shù)據(jù)和對(duì)象統(tǒng)計(jì)的多樣性。 我們將在另一篇博文中討論標(biāo)注的過程。有關(guān)標(biāo)注的更多信息可以在BAIR的arXiv論文【2】中找到。

圖：BAIR標(biāo)注信息的總覽

道路物體檢測(cè)（Road Object Detection）

BAIR為經(jīng)常出現(xiàn)在道路上的所有10萬(wàn)個(gè)關(guān)鍵幀上的對(duì)象標(biāo)上對(duì)象邊界框，以了解對(duì)象的分布及其位置。下面的條形圖顯示了對(duì)象計(jì)數(shù)。還有其他方法可以在我們的標(biāo)注中使用統(tǒng)計(jì)信息。例如，我們可以比較不同天氣條件或不同類型場(chǎng)景下的對(duì)象數(shù)量。該圖表還顯示了BAIR數(shù)據(jù)集中出現(xiàn)的不同的對(duì)象集，以及數(shù)據(jù)集的規(guī)?！^100萬(wàn)輛汽車。這里應(yīng)該提醒讀者，這些是不同的對(duì)象, 具有不同的外觀和背景。

圖：統(tǒng)計(jì)不同類型的對(duì)象。

BAIR的數(shù)據(jù)集也適用于研究一些特定的領(lǐng)域。 例如，如果您對(duì)檢測(cè)和避開街上的行人感興趣，您也有理由研究BAIR數(shù)據(jù)集，因?yàn)樗纫郧暗膶I(yè)數(shù)據(jù)集更多的行人實(shí)例，如下表所示。

圖：與其他行人數(shù)據(jù)集關(guān)于訓(xùn)練集大小的比較。

車道標(biāo)記（Lane Markings）

車道標(biāo)記是人類駕駛員重要的道路指示。當(dāng)GPS或地圖沒有精準(zhǔn)地全球覆蓋時(shí)，它們也是自動(dòng)駕駛系統(tǒng)駕駛方向和定位的關(guān)鍵線索。根據(jù)車道如何指示車輛，我們將車道標(biāo)記劃分為兩種類型。垂直車道標(biāo)記(在下圖中用紅色標(biāo)記)表示沿著車道行駛方向的標(biāo)記。平行車道標(biāo)記(下圖中以藍(lán)色標(biāo)記)表示車道上的車輛需要停車的標(biāo)志。BAIR還提供標(biāo)記的屬性，例如實(shí)線與虛線以及雙層與單層。

如果您準(zhǔn)備嘗試使用您的車道標(biāo)記預(yù)測(cè)算法，請(qǐng)不要再觀望。以下是與現(xiàn)有車道標(biāo)記數(shù)據(jù)集的比較。

可行駛區(qū)域（Drivable Areas）

我們是否可以在道路上行駛不僅取決于車道標(biāo)記和交通設(shè)備，它還取決于與道路上其他物體的復(fù)雜交互。最后，了解哪個(gè)區(qū)域可以開車是很重要的。 為了研究這個(gè)問題，我們還提供了可駕駛區(qū)域的分段標(biāo)注，如下所示。我們根據(jù)自我車輛的軌跡將可駕駛區(qū)域分為兩類：直接可駕駛和替代可駕駛。直接可駕駛，用紅色標(biāo)記，意味著自我車輛有道路優(yōu)先權(quán)并且可以在那個(gè)區(qū)域繼續(xù)駕駛。另一種可駕駛的，用藍(lán)色標(biāo)記，意味著自我車輛可以在該區(qū)域駕駛，但必須謹(jǐn)慎，因?yàn)榈缆穬?yōu)先權(quán)可能屬于其他車輛。

全幀分割（Full-frame Segmentation）

在Cityscapes數(shù)據(jù)集中已經(jīng)顯示，全幀精細(xì)實(shí)例分割可以極大地加強(qiáng)密集預(yù)測(cè)和目標(biāo)檢測(cè)的研究，這是計(jì)算機(jī)視覺能夠應(yīng)用廣泛的支柱。由于我們的視頻處于不同的領(lǐng)域，因此我們還提供實(shí)例分割標(biāo)注以便比較不同數(shù)據(jù)集的相對(duì)位置偏移。要獲得全像素級(jí)的分割可能是非常昂貴和費(fèi)力的。幸運(yùn)的是，使用我們自己的標(biāo)注工具，標(biāo)注成本可以降低50％。最后，我們對(duì)10K圖像的子集進(jìn)行全幀實(shí)例分割。BAIR的標(biāo)簽集與Cityscapes中的訓(xùn)練標(biāo)注相兼容，以便于研究數(shù)據(jù)集之間的域轉(zhuǎn)換。

駕駛挑戰(zhàn)賽（Driving Challenges）

BAIR將在CVPR2018自動(dòng)駕駛workshop上主持了三項(xiàng)挑戰(zhàn)【7】：道路目標(biāo)檢測(cè)，可駕駛區(qū)域預(yù)測(cè)和語(yǔ)義分割的領(lǐng)域適應(yīng)。檢測(cè)任務(wù)要求你的算法在我們的測(cè)試圖像中找到所有的目標(biāo)對(duì)象，而可駕駛區(qū)域預(yù)測(cè)需要細(xì)分汽車可以駕駛的區(qū)域。在域適應(yīng)中，測(cè)試數(shù)據(jù)在中國(guó)收集。 因此系統(tǒng)會(huì)受到挑戰(zhàn)，要讓適應(yīng)美國(guó)的模型在中國(guó)北京擁擠的街道上工作。您可以在登錄【8】BAIR的在線提交門戶網(wǎng)站后立即提交結(jié)果。請(qǐng)務(wù)必查看BAIR的工具包【9】，開始您的參與。

未來(lái)的工作

自駕車的感知系統(tǒng)絕非僅限于單目視頻。它還可能包括全景和立體聲視頻，以及其他類型的傳感器，如LiDAR和雷達(dá)。 BAIR希望在不久的將來(lái)能夠提供研究這些多模態(tài)傳感器的數(shù)據(jù)集。