消化和迭代接近實時的地理空間數據的能力，將是未來多域場景中基于建模和仿真(M&S) 的任務規劃和演練解決方案的核心。在建模和仿真應用程序中快速整合近期識別資產（identified assets）的能力則是一個與時間相關的瓶頸，只能通過自動獲取及時的真實數據來解決。本文提出了一種端到端的地理空間管道，將當前的地理數據饋送到 3D 數字孿生環境中，用于任務訓練和模擬演練。基于全球航空數據集（RGB、NIR、SAR）的全自動解決方案采用預先訓練的機器學習（ML）模型來提取給定任務區域的 3D 基礎設施地理定位和地形數據。該技術的一個核心功能是一個集成的無代碼、可視化數據標記工具，它使未經人工智能與機器學習（AI/ML）培訓的人員能夠對當前圖像應用ML分析，以識別大規模區域內的關鍵任務對象。這些檢測到的關鍵對象會自動輸入地理空間管道，在綜合訓練環境中進行地理參考和可視化表示。使用這種地理空間元宇宙方法，可以實時創建包含關鍵任務細節的綜合訓練環境。因此，未來的任務規劃人員將能夠以靈活的方式定制模擬演練。

時間關鍵場景中的建模和仿真

地理空間信息既能啟用預警信號，又能提供作戰見解，其重要性無須贅述。本文將對另一個應用領域進行介紹，以獲取用于綜合訓練和模擬解決方案的地理空間信息。政府（即情報界）和商業地理空間數據提供商（例如麥克薩科技(MaxarTechnologies)）為其選定的關心領域提供了大量接近實時的數據。例如，Maxar的衛星艦隊可以每天提供多個重訪周期。生成的大量地理空間數據是現代大數據分析的一個典型應用領域，其背后由先進的機器學習模型進行支撐。考慮到這些技術進步，本文將展示一個端到端的地理空間平臺來消化和分析捕獲的數據（例如，通過無人機或衛星）并輸出 3D 環境，以支持用于關鍵任務規劃和模擬演練的下一代建模和仿真（M&S）解決方案。

該平臺的核心功能是基于無代碼的人工監督界面，可將新的素材集成到用于虛擬任務規劃和排練的3D綜合訓練環境的創建中。這項獲得專利的創新使作戰規劃人員能夠將非預定義的地理素材集成到應用的機器學習模型的訓練和檢測周期中。例如，如果關鍵任務是在興趣面 (AOI) 中尋找和保護水井，任務規劃者可以通過簡單地在給定地理區域提供的界面中標記示例來將此信息添加到綜合環境中。然后，該模型將采用這些新的地理標簽，將它們集成到其分析周期中，并將井的表示提供給 3D 綜合訓練環境。

正如本文所示，文中所提出的解決方案可以增強未來建模和仿真環境的合理性和范圍。最重要的是，通過加速地理空間分析的采用周期以及真實 3D 環境的創建，數據采集、自動分析和任務規劃之間的過程可能會大大增加。這將使未來的數字孿生生態系統能夠在海陸空網等所有領域的安全性和防御能力得到增強。

建模和仿真在戰術和作戰程序層面具有悠久的歷史。從早期的硬紙板立體模型到當前的計算機模擬，提前預測和預測無法估量的事物一直是其核心需求。通常情況下，現代 3D 環境的地理地形和其他組件是預先建模的。其他相關的信息（例如，相關點的位置、關鍵基礎設施等）則是手動添加或導入的。這種方法通常依賴于場外人員提供的情報，并且需要很長時間才能將這些數據層加入到綜合任務場景中。考慮到這些局限性和時間限制，不論是提供時間關鍵的應用程序的解決方案，還是適時的大規模方法的解決方案，都難以實現。本文將提出一項創新，通過實現快速、自動獲取關鍵任務資產，填補3D仿真增強技術的空白。

應用于地理空間數據的機器學習能力

機器學習的進步使遙感衛星圖像和航拍圖像的全自動分析成為可能。這允許國家、大陸甚至全球范圍內大規模的信息提取，從而使M&S應用程序能夠覆蓋比以往任何時候都更大的區域。可以說，機器學習（ML）是用來推導3D數字孿生的基礎。鑒于云計算、無服務器計算、邊緣計算等技術，M&S應用程序不再局限于小規模場景，而是可以無縫集成整個感興趣的區域。

本章第一節主要描述了基于機器學習的分析平臺；第二節給出了從輸入圖像中提取的特征的示例。這些特征隨后被導入到三維建模與仿真環境中并實現可視化；第三節介紹了一種利用有限資源實時構建多樣化地理典型 3D 環境的有效方法；第四節則強調了及時更新的重要性，以及改進下一章中討論的標簽和培訓方法的必要性。

1.地理空間分析平臺架構

圖2-1展示了云原生地理空間分析平臺的原型架構。其核心包括用于數據管理、工作流調度、訓練和推演的組件，以及用于數據分析和質量保證以及標簽的用戶界面。值得注意的是，在典型的平臺配置中，機器學習模型只是許多協調流程、功能和數據層的一個組件。使用 blob 存儲等基于云的服務，Docker (https://docker.com/) 等容器技術、Kubernetes (https://kubernetes.io/) 等編排平臺，以及 Flyte (https://flyte.org/) 等工作流引擎使處理 PB 級地理空間數據成為可能。

此類平臺的核心任務是使用機器學習模型并確保其生命周期。典型的機器學習生命周期包含數據管理（包括典型的提取/轉換/加載步驟）、模型學習（訓練）、模型驗證、模型部署和模型執行。此類處理步驟（例如建筑物覆蓋區、植被遮罩、要素標簽）的輸出通常是柵格數據（例如 GeoTiff 或 COG）、矢量數據（例如 GeoJSON 或 GeoPackage）或是可供客戶端應用程序使用的格式（例如，USD、CDB 或 3D Tiles）。

圖2-1：基于云架構的典型地理空間分析平臺2.提取的特征

所呈現的地理空間平臺包含一個數據管理解決方案，該解決方案為 PB 級地理參考數據和數十億個幾何特征的存儲和迭代而量身定制。主要流程包括將圖像（或其他類型的數據）導入平臺，然后運行機器學習模型和其他算法，隨后將結果打包分發到3D建模和仿真環境中。圖 2-2 顯示了在人口密集區域進行基礎設施檢測所需的一般步驟。加載輸?的圖像，檢測建筑結構，并對每個建筑物的分割進行分析；結果會被矢量化，隨后推導出占用空間以及建筑物高度。通常用于此類任務的網絡是卷積神經網絡或框架場學習等更新的方法。

這一過程已經在商業案例中得到驗證。例如，這一架構在一組共36臺虛擬機上處理伊比利亞半島（60萬平方公里）的數據僅需18小時。一般來說，具有單個圖形處理單元（GPU）的普通PC工作站可以通過本地安裝的平臺每秒分析幾平方公里的數據。

圖2-2：建筑特征提取步驟3.3D可視化與仿真

?旦從圖像中提取了特征，它們就可以在建模和仿真環境中?于可視化、分析、規劃、培訓以及其他場景。如果雙?就數據傳輸的通?格式達成?致，那么建模和仿真應?程序就可以完全獨?于前面所提到的地理空間分析平臺。在案例中使用了一種高度優化的格式，可以按需進行流式傳輸，傳輸所需的帶寬低，但產生的結果豐富多樣。隨附的客?端軟件可以集成到現成的 3D 引擎中，例如 Epic 的虛幻引擎或 Unity 的3D 引擎，以及專有渲染引擎和模擬應?程序。

專注于建筑物和其他基礎設施，可以將現成的 3D 對象或程序生成的對象（從輸入數據派生）放入模擬環境中。第一個選項的缺點是通常只有有限數量的 3D 對象可用。雖然這些對象可能具有非常高的保真度，但它們經常重復。程序生成的對象可以生成無限數量的符合輸入數據的獨特建筑和結構，例如，與檢測到的占地面積、建筑高度、屋頂類型以及其他屬性相匹配的建筑。

本文提到的方法使用了一種被稱為程序語法生成器 (PGG) 的專利程序技術，該技術可以接收各種數據源，并實時生成匹配的數字孿生。除了從輸入圖像中檢測到的要素外，其他數據源可能包括數字高程模型 (DEM)、公路和鐵路網絡、水體和興趣點。數據表示非常?效，在移動設備上即可存儲整個地球的數字孿生。PGG的靈活性是通過一種特定于領域的語言來實現的，該語言用于描述具有可塑性并可適應輸入數據的建筑藍圖。這使得地球上的區域能夠以具有地理特征的、多樣化的方式呈現。

4.更新的及時性

根據使用案例可知，更新的及時性至關重要。從捕獲圖像到在模擬環境中適用，這一時間應盡可能短。這就需要一種全自動化的方法。

鑒于上述架構，人們可以看到每個組件如何依次處理新圖像。當攝取或更新大量數據時，這些步驟的順序性可能會帶來問題。雖然地理空間數據有助于輕松并行化，但問題出現在計劃用于計算的離散工作項的邊界上：后續步驟可能需要來自相鄰工作項的附加上下文才能正常運行。例如，矢量化步驟需要跨越所述項目邊界的結構的上下文。在傳統的調度框架中，最佳并行化要么需要多次計算上下文區域，這完全是不必要的付出；要么在每個步驟內將調度簡化為簡單的并行化，按順序處理每個步驟。這樣則會不必要地延長第一次模擬結果的時間，并且可能無法最佳地使用可用的計算資源。本文在平臺上部署一種地理空間感知調度算法，該算法可以減少周轉時間，因為它可以在并行調度工作項時考慮地理空間上下文依賴性。使用這種方法，可以立即獲得第一批結果。

這仍然存在問題：只有那些建模和仿真模型可用于檢測的特征才能自動使用。新的特征需要漫長的訓練過程才能生成可靠的建模和仿真模型。

接近實時的訓練和檢測

上一章概述的方法和程序假定機器學習模型已經針對所需的檢測類別和特征進行了訓練。雖然高效的模型可以提前采用（例如，通用基礎設施和車輛的模型），但可能需要對新類別的模型進行專門培訓。傳統的做法是先由數據分析師生成一組訓練數據，然后對模型進行訓練，評估其質量，最終將其部署到現場。這是一個可能涉及很多人員并花費大量時間的過程。

1.即時反饋標注和訓練

本文提出的解決方案使用一種稱為“實時標記”的技術。這種方法包含一個無代碼、可視化數據標記工具。通過這種方法，未受過 AI/ML 培訓的人員僅需最先進的傳統方法所需的一小部分時間，就能將ML分析應用于新的數據需求。憑借其較短的迭代時間、更少的人員需求以及與 3D 仿真環境的集成，這種方法非常適合時間緊迫的應用程序和場景。圖 3-1 描述了與創建地理標簽的經典標記方法相比，這種新方法的時間和資源效率。“實時標記法”在每個標簽花費的時間以及相同持續時間內創建的標簽的累積數量方面明顯優于傳統方法。

圖3-1：傳統方法與“實時標記法”的速度和輸出比較

“實時標記法”的可視化界面如圖3-2所示。只需幾筆，分析師就可以識別出感興趣的對象（左圖）。右圖顯示了模型的當前推斷。分析師可以縮放和平移圖像，快速識別誤報和漏報，并添加額外的標簽來糾正這些錯誤。短短幾分鐘，該模型就能達到很高的準確性。

圖3-2：正在運?的“實時標記法”UI：左邊為用戶的注釋頁面，右邊是實時訓練模型的預測掩碼

ML 模型界面直觀，并且由于其即時的視覺反饋，易于學習和理解。ML 模型不再是黑箱，因為數據標記者可以看到每個標簽如何提高（或降低）模型的檢測準確性。因此，根據檢測類別、圖像質量、所需的檢測質量和受訓者先前的領域知識，可以在幾小時到幾天的時間跨度內為該標記工具培訓新的或額外的人員。根據以往的經驗，可以在不到兩天的時間內讓新的數據分析師入職。加上標記的速度提升，這種易用性可以根據需要對人員進行臨時培訓。較小的標簽團隊也意味著更容易組建團隊并找到具有必要安全許可的成員。

2.“實時標記法”架構

如圖3-3所示，“實時標記法”通過將模型分成兩個訓練流來實現其即時反饋：一個全局模型，它在所有可用的訓練數據上進行持續訓練，以及一個用于可視化的迭代/局部模型。迭代模型僅將當前訓練圖像作為輸入，具有非常高的學習率，因此放大了分析師添加的每個標簽的影響。全局模型使用學習方式更為保守，因此能產生比迭代模型更高質量的檢測。一旦滿足質量標準，主模型就可以在同一界面內的大面積區域運行。

圖3-3：機器學習概念的?級?意圖3.使用接近實時對象檢測的示例場景

“實時標記法”可以在帶有消費級顯卡的現成硬件上運行。因此，現場人員可以在沒有網絡連接到云的情況下離線使用。圖3-4描述了一個無人機拍攝的本地最新圖像的示例。該圖像被導入，隨后一個或兩個數據分析人員開始標記新的檢測類別，例如運輸卡車。很快，第一批卡車和假正例被標記。從這里開始，“實時標記法”指導標記過程——通過為標記提供額外的不確定結果——并在更大的區域上運行推理，最終覆蓋整個數據。然后將所有檢測到的卡車的位置轉發到 3D 仿真環境，并將現成的 3D 對象放置在數字孿生環境中的給定位置。在 3D 環境中，可以可視化運輸卡車的數量和分布，例如，模擬它們的預測路線或路徑中的障礙物。這種場景需要具有足夠的磁盤容量的單個服務器，用于存儲輸入的圖像和安裝GPU。分析師可以使用計算機工作站或筆記本電腦進行數據輸入以及 3D建模和仿真。

圖3-4：近實時訓練、?標檢測和模擬的端到端?例

未來的工作

上一章中描述的方法已在多個業務案例中成功展示。當應用于分段要求無需標注類別間的像素級精確邊界時，實時標注表現良好。目前，帶有實例檢測的目標檢測和分割是獨立于“實時標記法”的單獨處理步驟。因此，未來的工作將集中于集成和增強實時標記工具的目標檢測功能，以提供更廣泛的用途。該工具的用戶界面也在不斷改進，以獲得更好的反饋和用戶體驗。一般來說，擬議的地理空間端到端框架需要進一步推廣以集成到多域環境中。目前，預訓練的ML模型專門針對地球上的地理素材。多域模擬將需要更全面的檢測能力，以涵蓋海運等其他領域素材。

此外，為了與現有的 M&S 環境集成，需要支持 CDB 或 3D Tiles 等數據格式的導出。現有問題在于，當 3D 對象被改變成其他格式時，自定義方法（使用 PGG）不會保留其所有屬性。此外，某些功能（如客戶端著色和分層渲染）目前無法以這些格式表示，從而導致視覺效果較差。

結論

本文闡述了完全集成的地理空間端到端框架對于建模與仿真即服務(MSaaS)方法的潛在作用。有了合適的基礎條件（計算資源、數據獲取和訪問、系統集成），就可以為國防和其他領域創建并即時交付及時的任務規劃場景。通過對所描述的基于ML的人工參與方法進行改進，未來的培訓環境將更接近現實，并可為非Al專家定制。因此，縮短從數據采集、分析到任務規劃的周期將成為一個關鍵優勢。本文所討論的技術還可能產生更廣泛的影響。通過使復雜的完全集成系統變得易于理解和管理，未來用于國防目的的數字孿生應用程序將更快地生成，從而創建更優質的任務場景。最終，實時任務和訓練環境之間將實現無縫切換，甚至達到模糊真實世界作戰和綜合任務場景之間界限的程度。

審核編輯：郭婷