編輯按：昨日（11月26日），華為發布Mate 70系列手機，其中，手機上首次搭載的多光譜圖像傳感器——紅楓原色影像圖像傳感器，備受關注，本文由業界知名多光譜傳感器企業與光科技出品，可能是全網最深入、全面介紹這顆紅楓多光譜圖像傳感器的工作原理以及成像系統技術的內容。與光科技成立于2020年，是清華大學科研成果轉化的高科技公司，其技術來源于清華大學電子系黃翊東教授課題組近20年的微納光學研究積累。供應鏈消息稱，這顆創新性的傳感器產品由華為和供應商共同研發，除與光科技在發布會后第一時間發布多光譜傳感器技術原理內容外，國產CMOS圖像傳感器廠商格科微亦在發布會后，發文披露已成功量產多光譜CIS解決方案。來源：與光科技原標題：《光譜成像，邁入手機AI影像的新紀元》

11月26日，華為Mate70系列手機發布，再次升級了光譜技術在手機中的運用，從多光譜傳感（非成像）到多光譜成像，除了硬件的增強，計算光學成像引領手機影像進一步突破物理極限。

目前，以色溫傳感器為代表的多光譜傳感在手機中已經得到了廣泛應用，而多光譜成像也開始在手機中嶄露頭角，不僅能帶來更極致的影像表現，也將進一步提供皮膚、健康、物質檢測等實用功能。

手機光譜影像技術發展的背后，是加工技術的進步和計算能力的提升，支撐了芯片化光譜成像技術的快速發展，緩解了傳統光譜成像器件體積大、價格高、成像緩慢的痛點。芯片化光譜成像技術中，計算光譜是極具有產業發展前景的方向。

與光科技順應行業趨勢，推出了光譜傳感和光譜成像兩大系列產品，適配不同應用場景的不同需求。在技術上，與光科技構筑了從光譜芯片設計、光譜算法到應用算法的端到端開發能力，以開放的心態鏈接上下游合作伙伴，快速推進光譜成像技術在多領域的應用和發展。

01 多光譜技術全面進入消費電子時代

2024年11月26日，華為官方發布了備受期待的Mate70系列手機，在影像方面，華為稱之為史上最出彩的Mate。

華為Mate70系列影像配置

來源：華為發布會

其中，Mate70系列推出了全新紅楓原色影像系統，硬件上采用了紅楓原色攝像頭，即一顆150萬像素的多光譜攝像頭，將色彩還原準確度較Mate 60 Pro+提升了120%，影像色彩實現質的飛躍。

紅楓原色影像圖像傳感器示意圖

來源：華為終端視頻號

據華為官方介紹，紅楓原色攝像頭能夠準確捕捉環境光譜，為主攝、超廣角、長焦微距攝像頭提供更加真實的色彩輸入，從而拍出“所見即所得”的照片和視頻。

紅楓原色影像原理

來源：華為發布會

在實際拍攝中，應對復雜環境光和大面積純色場景時，能夠實現色彩更真實，光影更通透。

紅楓原色影像樣張

來源：華為發布會

拍攝舞臺人像時，能夠捕獲更加豐富的色彩和光源細節，從而更好還原人物膚色，提升畫質。對于紅色、橙色等近似且復雜的燈光效果也能夠精準還原。

紅楓原色影像樣張

來源：華為發布會

那么， “紅楓原色影像”背后的技術是什么？現在帶大家一探究竟。

本質上，這顆150萬像素的紅楓攝像頭是首次應用于手機中的多光譜成像攝像頭。當前常用的Bayer陣列圖像傳感器只有RGB三個顏色通道，也就是只有紅、綠、藍三波段的光譜分辨能力。多光譜甚至高光譜，則是將顏色通道數增加到了幾個或幾十個，從而具有更高的光譜分辨能力，能夠采集更多光和顏色的有效信息。

多光譜升維采樣

來源：與光科技

其實這并不是華為首次推出光譜影像單元。2018年，華為推出的P20首次搭載了色溫傳感器。根據芯智訊拆解，華為P20 Pro的顏色傳感器是由艾邁斯（ams）提供的TCS3430，作用是在不同照明條件下實現精準的顏色和環境光感測，使得拍攝時可以更精準調節白平衡。

華為P20 色溫傳感器

來源：華為發布會

ams TCS3430框圖

來源：ams官網

2021年，華為推出P50 Pocket，首創超光譜超級影像單元，光譜硬件由10通道多光譜傳感器、閃光燈、3200萬像素超光譜攝像頭、超光譜補光燈構成。其中3200萬像素超光譜攝像頭+超光譜補光燈構成了一個紫外相機，相當于把手機圖像傳感器的濾光片換成只允許紫外光通過的濾光片。因此，這里的“超光譜”是指超越“肉眼可見”，可以發現可見光之外（紫外光）的細節，帶來肉眼“看不到的真實”，并非物理定義上的超光譜，其定義在第三章具體介紹。

華為P50 Pocket 超光譜超級影像單元

來源：華為發布會

紫外熒光攝影

來源：華為官網

華為在其旗艦機型中陸續搭載了色溫傳感器、8通道多光譜傳感器、10通道多光譜傳感器。不斷升級環境光譜采集系統，核心就在于提升光譜采樣與分析能力，將色彩還原重點轉向環境色，相比傳統白平衡算法更為真實地再現“拍攝時的記憶色”，從而實現“所拍即所見”。

華為多光譜傳感器的升級

來源：華為發布會，與光科技整理

當然，多光譜對影像效果的提升不僅只有華為關注到了。隨芯片化光譜系統方案的愈發成熟，光譜傳感器在手機上早已興起。各大手機廠商在旗艦機型中均已采用過環境光/多光譜色溫傳感器。

iPhone X搭載了ams為其定制開發的6通道多光譜傳感器，包括紫外光、紅光、綠光、藍光、和兩種近紅外光。可利用該傳感器感知環境光CCT水平，進而調整顯示顏色和亮度。至iPhone 14系列，蘋果首次配備雙環境光傳感器，同時改善亮度調節和后攝曝光。

iPhone X中的環境光傳感器

來源：網絡

OPPO Find X5 Pro在業界首次搭載13通道光譜傳感器，給相機系統帶來精準的色彩表現，同時也還原更真實的環境光源信息，改善白平衡效果。

OPPO Find X5 Pro中的13通道光譜傳感器

來源：OPPO官網

vivo X90則是采用自研VCS仿生光譜技術。由于普通圖像傳感器的color filter光譜與人眼差異較大，自研VCS仿生光譜技術通過改進color filter，讓傳感器接收的原始信息不斷接近人眼，實現更好的噪聲表現和色彩還原，前置優化光信號。

vivo VCS仿生光譜技術

來源：vivo官網

技術原理

1.多光譜傳感器的技術原理（非成像）

上述手機中使用的多光譜傳感器通常采用窄帶濾波技術。在傳感器的感光部分開口，開口上方放置窄波長濾光片，從而探測到環境光源的光線，不同光譜通道實際就是通過窄波長濾光片來控制特定頻率的光通過。這類傳感器不需要體積龐大的色散元件和光路，因此結構非常緊湊。而此類方案屬于單點的光譜傳感，僅限對整體的光環境混合探測，無法體現局部的光源、色溫信息和差異。

窄帶濾光結構設計示意圖

來源：ams官網

2.多光譜成像芯片的技術原理

華為Mate70系列搭載的紅楓原色影像比以往的單點多光譜傳感器在功能上進一步升級，實現了成像的效果。常規圖像傳感器通常是在各像素的光電二極管上構建紅、綠、藍3種彩色濾光片，而多光譜成像則是在圖像傳感器的光電二極管上構建更多種顏色的濾光片，可分別透過不同波長的光線。結合光譜恢復算法，可以和普通相機一樣，一次拍攝即可獲取二維圖像和更豐富的光譜信息。

彩色濾光片示意圖

來源：Sensors 2014, 14, 21626-21659

3.借力AI，計算成像突破物理極限

想要實現完美的色彩表現，僅從硬件上提升是遠遠不夠的，各大手機品牌在軟件算法上也下足了功夫。

得益于AI技術的快速發展，計算為光學成像注入了新的活力。圖像形成不再僅僅依賴于光學物理器件，而是將前端的光學調控與后端信息處理有機結合，通過對照明、成像系統進行光學編碼與數學建模，以計算重構的方式獲取圖像與信息。這就是現在廣為人知的“計算成像”（Computational Imaging）技術，該技術入選了阿里巴巴達摩院2023十大科技趨勢。

2023年十大科技趨勢之計算光學成像

來源：阿里巴巴達摩院

手機影像方面，在各大主流手機廠商的大力倡導下，自動HDR、超級夜景、模擬大光圈等算法調優幾乎成了各大廠商智能手機的標配。計算成像早已不是“錦上添花”的存在，而是影像表現至關重要的環節。

手機影像入算法時代

計算成像成為核心驅動

計算成像在手機影像中的應用：

• 華為陸續推出的XD Fusion、XD Fusion Pro、原色引擎，基于光路，利用計算光學修正部分像差，或是結合軟件算法模擬人眼看到光的一系列流程，從而獲得更強的場景環境感知能力。

華為 XD Fusion Pro

來源：華為發布會

• 蘋果自iphone11起，搭載圖像處理系統Deep Fusion，基于仿生神經網絡引擎拍攝紋理及細節更出眾、低光環境下噪點更少的照片。技術實現簡單來說就是，當按下快門，相機會先拍4張短時間曝光的照片，然后再以正常標準曝光拍4張，最后拍一張長曝光獲取暗部細節，然后將這九張照片自動分析，選擇其中解析力最高的部分進行合成。可以說是通過計算，打破了手機攝像頭堆積像素的僵局。

蘋果 Deep Fusion

來源：蘋果發布會

• 榮耀在Magic3系列推出融合計算攝影技術，將全鏡頭參與全焦段融合，通過軟件融合算法將所有攝像頭采集的信息都利用起來，讓多個攝像頭的數據可以互相交流，實現全場景的拍攝質量提升。

榮耀融合計算攝影技術

來源：網絡

• OPPO在其Find X6系列首次搭載支持計算光影的OPPO超光影圖像引擎，可以準確地計算出光線、被攝物體和環境的正確關系，讓原本只存在于三維世界的光線，首次照進二維照片，為每一幅影像作品還原最真實的光影層次。

OPPO超光影圖像引擎

來源：OPPO官網

• 小米先后推出小米影像大腦1.0、2.0版本，并在14 Ultra發布會上升級為“首個 AI大模型計算攝影平臺”，命名 “Xiaomi AISP”。通過深度融入小米澎湃 OS，實現了對CPU、GPU、NPU和ISP等硬件算力的全面整合與優化，不僅大幅提升影像處理速度，更將畫質、色彩、景深、明暗的表現推向新高度，突出“層次感”。

Xiaomi AISP

來源：網絡

02

光譜技術多元化提升手機AI影像，市場前景廣闊

當前：多光譜幫助手機提升色彩表現

影像效果歷來是手機的核心賣點，光譜成像芯片能夠獲取的有效色彩數據，遠高于RGB圖像傳感器，從而在光源識別、白平衡優化和色彩重建方面有天然的應用優勢。

白平衡是消除色偏的過程，使照片中的白色更接近人眼看到的白色。在不同光源下，人眼可以輕松辨別白色，而自動白平衡（AWB）拍攝的照片可能會出現藍色、橙色甚至綠色的色偏。在沒有白色且色彩飽和度高的場景中，現有的AWB算法通常難以準確識別白點。應對此類場景，與光科技的多光譜成像芯片能夠獲取更豐富的光譜數據，精確分類光源，從而解決白平衡失效問題。

對純色場景拍攝，白平衡恢復效果

來源：與光科技

對激光投影圖像拍攝，實現高飽和度色彩還原

來源：與光科技

未來：光譜成像賦予手機更多實用功能

提升色彩表現只是光譜成像芯片在手機應用中的一個方面。未來，光譜成像芯片將在手機成像領域持續成為熱點。例如，膚色檢測、健康監測、物質鑒別、AIGC等應用，預計在不久的將來就能在手機上實現。這些創新應用將大大擴展手機的功能和用戶體驗，推動手機成像技術進入新的發展階段。

膚色還原：在人像攝影中，更準確地捕捉人物膚色細節，從而幫助調整膚色色溫，呈現更加自然和真實的膚色效果。

采用與光科技光譜成像模組拍攝，精準還原膚色光譜

來源：與光科技

皮膚檢測：通過手機拍攝即可對皮膚進行檢測，例如，拍攝紅區圖識別皮膚干燥、敏感等癥狀，拍攝棕區圖提前發現皮膚暗沉、色斑等問題，方便用戶進行皮膚管理。

采用與光科技光譜成像模組對皮膚紅區圖、棕區圖拍攝

來源：與光科技

材質識別：檢測和區分不同材質的光譜特征，如紋理、顏色、反射率等。可以在手機上集成區分金屬、塑料、紡織品等不同材質的功能。

采用與光科技光譜成像模組拍攝區分真假水果，實現材質識別功能

來源：與光科技

AIGC：光譜成像能夠提供圖像生成所需的更準確的環境光、顏色、紋理等信息，例如采用光譜成像準確還原口紅和皮膚的顏色，使得線上試裝效果更貼近真實。光譜有望成為AIGC全新的物理輸入維度。可用于提升圖像增強識別、圖像編輯功能、以及AR體驗等。

口紅試裝示意圖

來源：網絡、與光科技整理

未來，隨著光譜功能在手機中的滲透率持續提升，光譜成像芯片在手機領域市場空間廣闊。根據敏感性分析，廣發證券發展研究中心提出手機光譜成像芯片市場規模未來有望提升至5~10億美金。

手機光譜成像芯片市場規模敏感性測算

來源：廣發證券發展研究中心

03

芯片化光譜技術快速發展

當然，產品化的創新與發展，離不開科學技術的持續探索和進步，科學家們對于芯片化光譜技術的攻關，已經持續了近半個世紀。

光譜反映了光波與物質相互作用的豐富信息，每種物質都有特征吸收、發射或散射光譜，因此光譜也被稱為物質的“指紋”，通過光譜分析可以鑒別物質并確定其化學組成。

光譜的構成

來源：網絡

隨著遙感技術的興起，人們期望同時探測物體的圖像和光譜信息，這催生了光譜成像技術，它能夠獲得包含二維空間和光譜信息的三維數據立方體，超越人眼感知能力，在疾病診療、精準農業、食品安全、天文探測等諸多領域有著重要的應用前景。如下圖中，與光科技創始團隊采用自研的光譜成像芯片對活體大鼠實時光譜成像，通過光譜重構算法恢復光譜圖像和包含601個波段的數據立方體，圖中選取了選擇了5個單波長光譜圖像，實現了大鼠腦部血紅蛋白及其衍生物的特征光譜的動態變化觀測。

與光科技創始團隊對大鼠腦血管光譜成像，同時獲取圖像和光譜信息

來源：Cui K, et al.Optica 9, 461-468 (2022)

傳統光譜成像技術基于傳統棱鏡色散、光柵衍射或干涉原理，需要精密的器件和足夠的光程來將不同波長的光分開，一般采用空間掃描或波長掃描的模式，無法實時獲取視野場景中各像素點的光譜信息。從原理上導致光譜成像儀器，體積龐大、價格昂貴，成像速度緩慢，是光譜成像技術長期存在的痛點。

根據光譜分辨能力的不同，可以將光譜成像劃分為多光譜成像、高光譜成像和超光譜成像。具體來說，通常采用工作中心波長與分辨率的比值來進行區分。

• 多光譜成像（Multispectral imaging）：對應的λ/Δλ~10，在可見光波段對應幾個波長通道，一般用于地帶分類領域。

• 高光譜成像（Hyperspectral imaging）：對應的λ/Δλ~100，在可見光波段對應數十個波長通道，被廣泛應用于遙感、農業等領域。

• 超光譜成像（Ultraspectral imaging）：對應的λ/Δλ~1000，在可見光波段對應數百個波長通道，通常用于大氣微粒探測、天文觀測等領域。

光譜成像分辨率示意圖

來源：Vines & Zhang Grass Research 2022, 2:1

得益于加工技術的進步和計算機能力的提升，芯片化光譜技術得到快速發展。早期微型光譜儀的發展主要依賴于20世紀80年代到21世紀初微制造領域的突破，光刻和蝕刻工藝的進步以及MEMS技術的持續發展使得復雜的微型色散器件、濾光器件和傅里葉變換系統的制造成為可能。

過去十年，計算能力的大幅度增強、計算成本的大幅度降低、壓縮感知和深度學習等數學工具的發展為片上光譜儀的發展注入了新的活力。由于光譜儀的性能不僅可以通過增強硬件設備實現，也可以通過軟件的優化實現，因此計算光譜儀成為了最具有發展前景的研究方向。近年來，研究人員相繼提出了一系列新型光譜儀，例如量子點光譜儀、納米線光譜儀、超表面光譜儀等。

1980s~至今，關鍵微型化光譜儀技術發展

來源：Yang et al., Science 371, eabe0722 (2021)

簡單來說，光譜成像分為分光和成像部分，分光部分完成光譜維獲取，成像實現對目標的空間維成像。在分光部分，與光科技布局了多種光譜分光技術，其中創始團隊的超表面技術被《Science》綜述論文引用為領域內最領先的研究成果之一（如上圖）。在成像部分，與光科技采用CMOS圖像傳感器采集調制光信號，通過自主研發的光譜重建算法，實現空間陣列化的光譜成像。此外，與光科技與圖像傳感器廠商深度合作，共同拓寬CIS的光譜性能邊界，致力于開拓更廣闊的光譜應用市場。

與光科技的計算光譜成像芯片成果，源于清華大學微納光電子學實驗室，由清華大學電子工程系黃翊東教授領銜。團隊提出了基于超表面寬帶調制和計算光譜重建的片上光譜成像，研制出國際首款實時超光譜成像芯片，為實現消費級的光譜芯片提供了一種極具前景的方案。

超表面光譜成像芯片及光譜重構算法示意圖

來源：Yang, J. et al. Chip 2, 100045 (2023)

與光科技創始團隊進一步利用ADMM-net實現了對戶外駕駛場景的實時光譜成像，光譜成像速率達到約36幀/秒，天空和白色車輛的光譜具有明顯的差異，有望解決自動駕駛場景中同色異譜的識別問題。此外，具有視頻幀率的高空間分辨快速光譜成像，也展示出與光的實時光譜成像芯片在機器視覺領域的巨大應用潛力。

戶外駕駛場景的實時光譜成像結果

來源：Yang, J. et al. Chip 2, 100045 (2023)

黃翊東，清華大學學術委員會副主任、長江學者特聘教授、美國國家工程院外籍院士、國際光學委員會副主席，曾任清華大學電子工程系主任和清華大學天津電子信息研究院院長。黃翊東教授帶領團隊致力于“光芯片“研究20余年，取得了一系列領先的研究成果。黃翊東教授始終堅持通過創新走在前沿，在全球范圍內創造不會被卡脖子的引領技術。

黃翊東教授

來源：清華大學電子工程系

崔開宇，清華大學電子工程系長聘副教授、周炳琨學者，國家級青年人才。主要的學術方向為基于半導體周期微納結構的光電子器件，特別是基于光子晶體、光聲晶體、超表面的新型智能感知光電子器件。崔開宇副教授致力于讓光譜芯片成果從實驗室走向實際應用，帶領團隊在生物醫學、自動駕駛等領域開展了諸多探索。

崔開宇長聘副教授

來源：清華大學電子工程系

04 拓寬光譜芯片應用邊界，讓光譜感知無處不在

隨著新興技術的迅速發展，CMOS圖像傳感器市場的競爭格局正在發生深刻變化。除了傳統的像素尺寸和分辨率比拼，光譜成像也有望擴充CIS的性能邊界，助力國內芯片企業進軍高價值創新市場。

與光科技協同上下游廠商，在多領域共同推進光譜芯片的技術創新和產業升級。在開發環節，與材料供應商、設備制造商和科研機構合作，提升光譜芯片的性能；在生產環節，與制造商和測試廠商共同優化工藝流程，確保產品的一致性和高質量；在應用環節，與終端設備廠商、軟件開發商和行業用戶攜手，探索光譜芯片在消費電子、醫療健康、自動駕駛、農業食品、安防監控等領域的廣泛應用。

目前，與光科技已經和國內外的主流手機品牌建立了穩固的供應及合作關系，同時具備光譜硬件和光譜算法的開發能力，提供計算光譜的閉環解決方案，充分發揮光譜技術在手機AI影像中的作用和潛力。與光科技致力于推動光譜芯片技術的快速發展，持續為各行業帶來更多創新解決方案，提升光譜芯片產業鏈的整體競爭力并拓寬市場空間，助力客戶與合作伙伴共贏發展。

與光科技光譜成像芯片實拍

來源：與光科技

與光科技產品矩陣

來源：與光科技

主要參考資料：

楊家偉, 崔開宇, 熊健, 饒世杰, 馮雪, 劉仿, 張巍, 黃翊東. 基于超表面的實時超光譜成像芯片[J]. 光學學報, 2023, 43(16): 1623004. DOI：10.3788/AOS230901

Jian Xiong, Xusheng Cai, Kaiyu Cui, Yidong Huang, Jiawei Yang, Hongbo Zhu, Wenzheng Li, Bo Hong, Shijie Rao, Zekun Zheng, Sheng Xu, Yuhan He, Fang Liu, Xue Feng, and Wei Zhang, "Dynamic brain spectrum acquired by a real-time ultraspectral imaging chip with reconfigurable metasurfaces," Optica 9, 461-468 (2022). DOI: 10.1364/OPTICA.440013

Yang, J. et al. Deep-learning based on-chip rapid spectral imaging with high spatial resolution. Chip 2, 100045 (2023). DOI: 10.1016/j.chip.2023.100045

Spectral sensor及其在手機領域的應用，大話成像微信公眾號

華為P50 Pocket超光譜超級影像單元分析，知乎

Deep Fusion(深度融合)是什么？Deep Fusion有多優秀，知乎

OPPO 發布全新影像旗艦 Find X6 系列，引領移動影像進入全主攝時代，OPPO官網

2篇Science論文，這個團隊對微型光譜儀有獨到見解，納米人公眾號

左超, 陳錢. 計算光學成像：何來，何處，何去，何從？[J]. 紅外與激光工程, 2022, 51(2): 20220110. DOI: 10.3788/IRLA20220110

廣發電子 | 創新系列1：光譜分析進入手機，攝像頭產業鏈增添新活力，廣發證券研究公眾號

您對本文有什么看法？歡迎在傳感器專家網公眾號本內容底下留言討論，或在中國最大的傳感社區：傳感交流圈中進行交流。

您對本文有什么看法？歡迎留言分享！

順手轉發&點擊在看，將中國傳感產業動態傳遞給更多人了解！

星標的內容=你在乎的內容，根據微信公眾號推薦原則，沒有在傳感器專家網公眾號主頁【設為星標】，將無法及時獲得傳感器行業最新資訊！

聲明：本文內容系作者個人觀點，不代表傳感器專家網觀點或立場。如有侵權或其他事宜，請微信聯系：MM380702。更多觀點，歡迎大家留言評論。如有投稿爆料采訪需求，請發郵箱：sensorexpert@sensorexpert.com.cn。

? ?