從最初的百萬像素手機，到如今幾千萬甚至過億像素的單反相機和智能手機，各種成像設備迭代的背后，是人們對完美畫質的無盡追求。畢竟在人眼這臺像素高達5.76億的超級相機面前，一切都還是不夠真實。

相機的發展始終離不開ISP技術的支撐，對于傳統ISP技術而言，夜景和高動態范圍一直是非常有挑戰性的場景，尤其是夜間動態場景下的噪聲大、運動拖影、模糊，以及高光過曝和低光信息丟失等問題，不僅無法滿足大眾越來越高的影像記錄需求，也一直困擾著視頻監控、交通管理等行業的發展。

但技術的不斷突破總能顛覆我們的想象，當人們仍在挑剔著傳統ISP的種種瑕疵時，AI的飛速發展給了我們更多可能。AI-ISP技術的出現，讓極低照度環境下的高清全彩成像成為可能，攝像頭開始從之前的“看得見”，逐漸走向“看得清”甚至“看得懂”。

“真黑光”時代正式向我們走來。

真黑光，賦能智能IoT

先來說說什么是真黑光，根據夜視效果的不同，我們可以用不同的名稱來區分相機的夜景性能，如暗光、星光、超星光、黑光等。這種名稱并沒有統一標準，但關注點都在于某一個弱光亮度下是否可以保持全彩效果。一般來說，黑光級意味著攝像機可以在0.01lux及以下照度的條件下工作。

傳統方式下，要實現黑光效果，基本是通過使用大版面的sensor、低分辨率的sensor（一般低分辨率sensor的單個像素尺寸大）、增大模組光圈、降低視頻幀率來增大進光量，從而在夜晚獲取更多光照和色彩信息。但使用以上方法后，在極暗場景下色彩飽和度無法實現100%，運動物體還是容易產生透視或鬼影的效果，且提高版面、增大光圈還會造成成本的增加，都不能真正的滿足行業需求。

換句話說，在極暗環境下，“魚和熊掌不可兼得”。

但即便這樣，也并非全無辦法，愛芯元智自主研發的愛芯智眸AI-ISP的出現，讓黑光全彩成像走進了現實。實測顯示，愛芯智眸AI-ISP加持下的相機能在<0.01Lux的低照度下，無需白光補光或紅外補光，即可做到25～30幀的實時色彩還原，色彩飽和度≥100%，并可以保證運動物體無明顯拖影、透視或鬼影。愛芯元智也認為，只有同時滿足以下6大要素，才能被稱為“真黑光”，才能真正幫助用戶在極暗場景下實現更好的視頻效果。

正是基于“真黑光”的突破，智慧城市、智能IoT有了更豐富的應用場景。在路口、高山、池塘、農田等夜晚極暗的環境下，無需犧牲畫質，就能提升視頻亮度，讓攝像機依舊拍出畫面層次感好、顏色還原準確的彩色視頻；此外，該技術還可以實現全場景的視頻效果，在池塘、農田這一類無法進行補光的地方，同樣實現更精準的智能判斷。

關鍵模塊AI化，以端側有限算力

實現AI-ISP最佳效果

愛芯智眸AI-ISP如何能實現“真黑光”？7月19日，在第五屆世界半導體大會“2023年長三角集成電路產業創新發展論壇”上，愛芯元智ISP系統專家張興就愛芯智眸AI-ISP的架構創新展開了介紹。

ISP的全稱是Image signal processor，即圖像信號處理器，它能將圖像傳感器獲取的信號轉換為人、機器可以識別和分辨的信息，對圖像質量非常重要。形象地來說，ISP相當于人眼成像系統中的大腦，它會把由鏡頭sensor收集來的影像進行加工、提升和處理，最終得到一個真實甚至更好的成像質量。

傳統ISP是將 CIS sensor輸出的Raw數據接入后，按照一定pipeline順序將Raw數據轉換成人眼可見的YUV數據，對于圖像的處理是基于數學建模和人類對圖像的樸素理解而實現。作為近年來新出現的技術概念，AI-ISP則是在傳統ISP pipeline基礎上，將傳統數學建模方法解決不好的問題，利用AI神經網絡，通過更豐富的參數模擬人腦，建立更復雜的模型，從而超越傳統ISP的天花板，實現更好的圖像效果。

目前，愛芯智眸AI-ISP是通過AI賦能 ISP Pipeline里最關鍵的四個模塊——HDR、3DNR、RLTM和Demosaic，即通過AI 訓練的方式不斷提升這四大模塊的性能，打破傳統ISP成像的“天花板”。

之所以選擇將關鍵模塊AI化，是因為端側的算力往往是有限的，考慮到實際落地中的功耗以及成本問題，對整個Pipeline進行AI處理并不現實。可以說，愛芯智眸AI-ISP更接近于真正的產品化，其通過對重要模塊的AI化，將有限的算力集中于最關鍵、人眼最可知的功能中，實現整個AI-ISP的最佳效果。

因此，在實際應用中，愛芯智眸AI-ISP 通過迭代視覺模型即可提升性能，快速實現芯片產品畫質的升級換代。這意味著，愛芯元智用一顆芯片就能實現對不同場景、不同市場的覆蓋，這既能降低AI綜合應用成本，也是對生產力的極大提升。

當前，愛芯元智不僅在繼續優化和迭代HDR、3DNR、RLTM和Demosaic相關的AI 算法，也在探索將傳統ISP pipeline上的其他模塊進行AI 化。此外，結合愛芯智眸AI-ISP的高算力要求，愛芯元智還同步自研了愛芯通元混合精度NPU，進一步加快AI開發的落地效率。

至于愛芯智眸AI-ISP與“真黑光”之間的關系，張興表示，在0.01lux.的黑光時代，僅從鏡頭和sensor的提升已經不能解決實質問題，而傳統ISP已經無法滿足黑光的技術提升需求，也因此出現了很多魚目混珠的情況，比如說降幀，增加補光燈等方法，“愛芯認為，一個合格的黑光全彩相機要保證在0.01lux場景下，不需要通過補光，可以實時（25-30）fps，正確分辨運動物體，并正確還原顏色”。而這，正是愛芯智眸AI-ISP所具備的差異化優勢。

事實上，也恰恰是愛芯智眸AI-ISP在2020年正式切入市場，從而引領了“黑光全彩相機”這個新品類的快速發展。

今年以來，大模型的火熱帶領AI發展步入新階段，愛芯元智認為，基于圖像處理的實時性、可靠性的高要求，以及隱私保護的需求，未來AI將從云端逐漸落地到端側邊緣側，這也將對端側算力提出更高要求。目前，愛芯元智第三代、第四代芯片所搭載的愛芯通元混合精度NPU都支持Transformer大模型部署。隨著大模型的發展，愛芯元智也在積極探索通過大模型實現更好的AI-ISP效果。

可以看到，伴隨著極暗、高動態、光污染等各種極限場景下的更高成像要求，AI-ISP在人工智能視覺成像領域正變得越來越重要。以技術創新解決低照和高動態的行業核心痛點，愛芯智眸AI-ISP打造的黑光全彩相機等新品類，也正在為人們解鎖更多視界，未來或將引領一個全新成像時代的到來。

審核編輯：劉清