攝像頭在日常生活中無處不在，從醫療診斷到汽車、智能手機和視頻監控。因此，今天的數據中有一半是圖像和視頻，其中大部分是在便攜式系統的邊緣生成的。與云相比，邊緣帶來了許多挑戰：緊湊性、低功耗和延遲。如何在 2 小時內不耗盡電池的情況下從智能手機中獲得出色的圖像？自動駕駛系統如何在不需要大量云數據處理能力的情況下同時分析來自近十個攝像頭的圖像？實現下一代邊緣和無處不在的相機將需要更新的工具箱。

在之前的一篇博客文章中，我回顧了數字孿生如何成為一項關鍵的使能技術，不僅適用于飛機或復雜的發電廠，也適用于成像系統。數字孿生將通過仿真促進優化的產品生命周期，實現更好的規格（避免超規格）、過程控制預測和早期軟件開發。數字孿生還將促進定制的成像系統，例如并不總是開啟的高效視頻監控攝像頭。

開發相機的團隊提到的痛點包括規格變化、設計和制造之間的差異以及與多個組件的設計和組裝相關的復雜性。在這篇博文中，我將回顧數字孿生如何通過圖像仿真實現更好、更簡化的成像系統規范和虛擬測試。

相機是一個復雜的系統

成像系統是一個多尺度、多物理場模型，具有多個相互依賴的組件。鏡頭組從場景中捕獲光子;CMOS圖像傳感器將這些光子轉換為電子;圖像信號處理器芯片將原始電子信號轉換為可讀、彩色和去噪的數字圖像;數字信號處理器計算數字圖像以獲取信息;I/O芯片將成像系統與一些外部組件連接。

最后，成像系統必須提供良好的圖像。但是我們這是什么意思呢？大多數時候，好的圖像仍然是指用數碼單反相機拍攝的攝影質量圖像。但是，如果將此標準應用于土壤監測、醫療診斷或自動駕駛的圖像，則可能導致預期結果的過度規格或錯誤規格。

讓我們看看成像系統架構師和團隊如何使用 Synopsys 光學解決方案產品組合的圖像仿真功能來渲染和優化成像系統中所需的圖像。

工作流程和結果

如以下簡化示例所述，使用 CODE V、LightTools 和 RSoft 光子器件工具模擬圖像已經成為可能。該示例的特點是嵌入四鏡頭組的成像系統以及具有1.12微米RGB像素和微透鏡陣列的CMOS傳感器。

具有四鏡頭組和CMOS傳感器的成像系統示例

1. 使用CODE V模擬來自鏡頭的圖像設置光學屬性

第一步是設計鏡頭組并生成相應的PSF。我們使用代碼 V 中的圖像模擬 （IMS） 功能來模擬圖像。任何 2D 圖像都可以導入到工具中。然后，定義要根據對象計算的 PSF 網格和 FFT 網格大小。您可以添加顏色、相對照明參數和圖像傳感器屬性，例如像素大小和像素數。IMS將使用CODE V定義和計算的光學參數計算輸入圖像的卷積，并將輸出結果圖像。

然后可以在模擬圖像上評估圖像質量。鏡頭組的進一步優化可以為目標應用提供所需的圖像質量。

2. 使用LightTools和RSoft光子器件工具模擬寄生光

大多數成像系統必須進一步優化，以避免寄生光并影響所需的圖像質量。鬼影和耀斑是成像系統的典型寄生效應。您可以在我們簡化的成像系統中使用 RSoft 光子器件工具和 LightTools 來預測鬼影和耀斑。由于傳感器衍射和反射特性，我們希望預測系統中的寄生光。CMOS圖像傳感器通常是微米級像素的集合，可產生強烈的衍射圖案。我們必須使用RSoft光子器件工具來獲得該表面的光學特性。更具體地說，DiffractMOD RCWA是嚴格計算橫向周期器件衍射特性的有效工具。它將輸出每個衍射階數的反射/透射功率、總反射/透射率、每個衍射階數的振幅/相位/角度以及仿真域中的場分布。所有結果都存儲在一個BSDF文件中，該文件可以導出到LightTools進行進一步的模擬。第三步是從 CODE V 導入鏡頭集幾何形狀，添加傳感器屬性，從 RSoft 導入 BSDF 文件，添加光源（下圖中的太陽光源），并使用 LightTools 中的光線路徑工具運行蒙特卡羅模擬以分析寄生光的所有可能路徑。模擬結果將類似于右側顯示的圖像。

左側：LightTools 相機型號;在右側，傳感器上看到的寄生光圖。

3. 使用 COM API 將模擬圖像與寄生光貼圖組合 最后一步是使用 COM API

將來自 CODE V 的模擬圖像與使用 LightTools 和 RSoft 計算的寄生光組合在一起。伽馬和能量比可以在此卷積中進行調整。

使用模擬圖像上的圖像質量指標評估圖像可以進一步優化系統，以實現適合目標應用的規格。通過 CODE V、LightTools 和 RSoft 光子器件工具對仿真圖像進行虛擬測試是一種強大的工作流程，可避免過度指定成像系統，并通過仿真預測組裝和測試階段來節省時間。

審核編輯：郭婷