采用卷積神經(jīng)網(wǎng)絡（CNN）和衛(wèi)星圖像數(shù)據(jù)來預測區(qū)域收入水平的方法已經(jīng)越來越廣泛，部分方案正在嘗試逐步商業(yè)化以推向市場。但由于 CNN 的「黑盒」特點，大多數(shù)模型并不能解釋其預測的背后過程。

近期的一項研究采用熱力圖 Grad-CAM 對神經(jīng)網(wǎng)絡進行可視化，進一步探索了這些預測背后的邏輯，讓人們對這些模型的可靠性產(chǎn)生了懷疑——在預測過程中是否采用了相似的特征，以及這些特征與收入水平的相關性。

近年來，無論是勞動力的遷移，還是教育和住房等資源的分配問題，背后都少不了對于城市化進程的思考，持續(xù)加速的城市化進程無疑對城市的社會經(jīng)濟環(huán)境產(chǎn)生了深遠的影響，如何定量地監(jiān)測和分析這一過程已經(jīng)成為城市規(guī)劃和城市環(huán)境研究領域的重要課題。

日益先進的遙感和衛(wèi)星技術已經(jīng)為觀察特定地區(qū)的地理數(shù)據(jù)以及與城市化研究鋪平了道路。通過人造衛(wèi)星、飛機或其他飛行器上收集地物目標的電磁輻射信息，可判認該地區(qū)的地理環(huán)境和資源分布。例如城市人口密集程度和道路建設情況采集，人口的經(jīng)濟特征測量等。

隨著多源、高精度遙感數(shù)據(jù)量的激增，傳統(tǒng)的人工判讀和半自動化軟件解譯的方式使其在效率和準確度打上折扣。而采用人工智能和高分辨率遙感可以說是天作之合，基于機器學習算法善于解決海量數(shù)據(jù)分析問題的特點，能夠大幅縮短遙感圖像解譯周期、提高解譯精準度。

事實上，采用卷積神經(jīng)網(wǎng)絡（CNN）和衛(wèi)星圖像數(shù)據(jù)來預測區(qū)域收入水平的方法已經(jīng)越來越廣泛，部分方案正在嘗試逐步商業(yè)化以推向市場。比如在缺少經(jīng)濟生計可靠數(shù)據(jù)的發(fā)展中國家，基于高分辨率衛(wèi)星圖像來估計消費開支和財產(chǎn)財富無疑是一種精確、低廉和可升級的選擇，將對當?shù)卣恼吆鸵?guī)劃決策帶來重要參考。

「這類方案的基本思路是通過建模并提取與收入密切相關的特征進行預測。但我們的研究表明，事實可能并非如此，所以需要更為深入地了解 CNN 是如何將視覺特征整合到預測模型中的。」研究人員 Jacob Levy Abitbol、Ma′rton Karsai 說道。

Abitbol & Karsai 分別來自法國里昂高等師范學院 （ENS） 和匈牙利中歐大學（CEU），近日他們聯(lián)合開發(fā)了一個神經(jīng)網(wǎng)絡模型，以實現(xiàn)從航拍圖像中預測給定地點的社會經(jīng)濟狀況，進而根據(jù)潛在的城市拓撲結構解釋其激活圖，從而縮小基于城市拓撲結構和高分辨率的社會經(jīng)濟地圖之間預測的差距。該研究證實了卷積神經(jīng)網(wǎng)絡（CNN）針對衛(wèi)星圖像數(shù)據(jù)深入分析的潛能。

圖 1：巴黎地區(qū)實際統(tǒng)計（左）和算法預測（右）的人均收入地圖對比。每個像素代表 4000 平方米，顏色深淺代表不同地區(qū)居民的社會經(jīng)濟平均水平。來源：Abitbol & Karsai.

該研究的最終目標是通過分析某一地區(qū)當前的衛(wèi)星 / 航空圖像來收集有關該地區(qū)經(jīng)濟發(fā)展的數(shù)據(jù)，從而逐步替代人工收集的人口普查數(shù)據(jù)。在理想情況下，該模型需要具備可概括、可理解特點，即在區(qū)域 A 上訓練出的模型應該在區(qū)域 B 上產(chǎn)生一致的結果，并且確保模型采用了正確的信號。

該研究采用法國城市的航拍圖像進行訓練，通過 MBConv 模塊提取特征圖，經(jīng)過全局平均池化層（GAP）和密集層計算出單個 p 值。由此，從二項式分布中得出每個社會經(jīng)濟階層的概率，預測該地區(qū)居民社會經(jīng)濟地位的能力。

研究的圖像數(shù)據(jù)主要基于三類公開數(shù)據(jù)集，提取了五個法國城市在社會經(jīng)濟和土地利用數(shù)據(jù)方面的完整數(shù)據(jù)及航空圖像：

由國家地理信息研究所 （IGN） 提供的法國市政的航拍照片；

由法國國家統(tǒng)計和經(jīng)濟研究所 （INSEE） 提供的高分辨率的社會經(jīng)濟地圖 （2019 年）；

由歐洲環(huán)境署提供的歐盟城市地圖集 （2012 年），包含歐盟 28 個國家和歐洲自由貿(mào)易區(qū) 22 個國家。

數(shù)據(jù)集均可在線訪問：

https://geoservices.ign.fr/documentation/diffusion/telechargement-donnees-libres.html#ortho-hr-sous-licence-ouverte

https://land.copernicus.eu/local/urban-atlas/urban-atlas-2012

巴黎某一區(qū)域內(nèi)的數(shù)據(jù)采集樣本：a. 遙感 / 航拍圖像；b. 收入的空間分布；c. 功能的空間分布。

該研究的代碼現(xiàn)已開放，可免費用于非商業(yè)用途：

論文地址：

https://arxiv.org/abs/2004.04907

在研究初期，需要尋找一個最佳的影像空間分辨率以建立可用的算法模型，Abitbol & Karsai 在 CNN 模型上取得了不錯的結果。但隨著算法進一步被測試，Abitbol & Karsai 發(fā)現(xiàn)其往往是被一些與收入或社會經(jīng)濟地位并非密切相關的城市特征激活。例如，由于公共及商業(yè)場所的燈光明亮，經(jīng)濟發(fā)達的城市地區(qū)通常在夜晚具有較強的照明強度，但是模型優(yōu)先考慮的是居民區(qū)的其他功能。

于是，他們開始懷疑這些模型在預測不同地區(qū)的收入水平時是否采用了相似的特征，以及這些特征與收入水平的相關性。

盡管針對衛(wèi)星圖像推斷地區(qū)經(jīng)濟收入狀況的深度學習模型不在少數(shù)，但大多數(shù)并不能解釋其預測的背后過程。這很大程度上取決于卷積神經(jīng)網(wǎng)絡自身的技術特點——通過理論推導，以及梯度傳播，去不斷逼近局部最優(yōu)解。但 Abitbol & Karsai 仍試圖解釋其模型的預測結果，以便更好地理解它是如何為每一幅圖像推斷出特定的收入。

為此，Abitbol & Karsai 采用熱力圖 Grad-CAM 對神經(jīng)網(wǎng)絡進行可視化，以研究模型的可解釋性，即通過熱力圖的權重形式來展現(xiàn)，神經(jīng)網(wǎng)絡對圖片的哪一部分激活值最大。

基于航拍圖像（a），使用 Grad-CAM 計算出最貧困地區(qū)（b）和最富裕地區(qū)（c）的社會經(jīng)濟階層的熱力圖；將熱力圖與航拍圖進行疊加訓練 CNN，得出城市功能區(qū)域的多邊形圖（d），計算出最貧窮地區(qū)（e）和最富裕地區(qū)（f）的標準化激活比率。（ UA： urban area; DUF： discontinuous urban fabric）

通過將高分辨率的類判別激活圖投射到原始地圖上，并與土地利用數(shù)據(jù)疊加，以生成經(jīng)驗統(tǒng)計的特征，使模型更為準確地預測該地區(qū)在社會經(jīng)濟地位方面的土地利用類別。這一方案讓社會經(jīng)濟地位的預測范圍更加廣泛，同時也精確地指出了預測城市環(huán)境的真實特征。此外，它還提供了不同的城市在城市拓撲結構和財富分配之間的關聯(lián)模式。

該研究發(fā)現(xiàn)，在推測社會經(jīng)濟地位的過程中，CNN 模型忽略了土地利用和社會經(jīng)濟數(shù)據(jù)之間的現(xiàn)有相關性，而主要關注包含在居民區(qū)內(nèi)的特征。這一發(fā)現(xiàn)為預測的實際應用引入了更多可解釋性和參考，讓政策的制定者和決策者不僅能夠增進其模型內(nèi)部運作模型的理解，同時也將為貧困地區(qū)的城市發(fā)展和城市規(guī)劃帶來更多啟發(fā)。

盡管 CNN 已顯示出收集地理社會經(jīng)濟數(shù)據(jù)的潛力，但該研究表明，其預測背后的過程存在不可靠可能，因此應進行進一步研究。接下來，該研究小組將會在預測模型的可解釋性方面進行更多探索，使其能夠更有效和可靠地執(zhí)行。

Abitbol & Karsai 說道，「我們對于影響模型可預測和可解釋程度的因素十分感興趣，此外我們還將通過傳統(tǒng)的視覺識別算法進行收入水平的預測，以驗證 CNN 模型在不同地區(qū)的遷移能力以及進行高精度社會經(jīng)濟預測的準確性。」

責任編輯：PSY