攝影圈里常說,“底大一級壓死人”。
這一般是指數(shù)碼相機(jī)的CMOS圖像傳感器的尺寸越大,成像效果越好。它是相機(jī)的關(guān)鍵成像部件,也是塑造影像競爭力的核心。
也因此,我們看到隨著智能手機(jī)競爭越來越激烈,以及影像技術(shù)在手機(jī)中的地位越來越高,傳感器技術(shù)成為很多手機(jī)廠商的必爭之地,是差異化競爭所在。
然而手機(jī)往往追求輕薄和低功耗,使得手機(jī)圖像傳感器的尺寸天然存在物理限制。如何解決這一矛盾,成為業(yè)界的重要方向。
近日,商湯智能產(chǎn)業(yè)研究院發(fā)布《AI傳感器:智能手機(jī)影像新核心》白皮書,提出在智能手機(jī)市場緩慢步入瓶頸期的趨勢下,影像功能成為產(chǎn)業(yè)破局焦點(diǎn),而AI軟件與CMOS圖像傳感器硬件的融合,將是智能手機(jī)影像能力持續(xù)提升的破題之道。
圖像傳感器步入AI時(shí)代
過去幾年,AI算法讓手機(jī)的影像能力得到了不小的提升,但在這種方案中,圖像傳感和AI算法的運(yùn)行,在不同的硬件上完成,圖像傳感器提供圖像信號(hào),處理器或者AI加速芯片執(zhí)行AI算法。這會(huì)造成能耗資源的浪費(fèi),并且難以處理一些需要及時(shí)響應(yīng)的場景。
白皮書指出,融入了AI技術(shù)的CMOS圖像傳感器,可以最大化地發(fā)揮原始光信號(hào)的價(jià)值。
在設(shè)備獲取視覺信號(hào)的伊始,AI傳感器就可以進(jìn)行優(yōu)化和處理,增強(qiáng)真實(shí)世界感知、提高圖像和視頻的質(zhì)量、豐富內(nèi)容細(xì)節(jié),同時(shí)最大限度地降低了設(shè)備功耗,并增強(qiáng)了數(shù)據(jù)安全性。
白皮書指出,自20世紀(jì)50年代光學(xué)倍增管(Photo Multiplier Tube, PMT)出現(xiàn)以來,圖像傳感器便隨著技術(shù)的發(fā)展而持續(xù)演進(jìn)。
如今,隨著AI技術(shù)的加持,CMOS圖像傳感器的發(fā)展開始進(jìn)入AI軟件定義的時(shí)代,將成像系統(tǒng)的整體能力推向新的高度。
讓手機(jī)成為“個(gè)人智能影像工作室”
憑借領(lǐng)先的AI技術(shù)和軟硬件整合能力,商湯已經(jīng)在超分辨率、AI超畫質(zhì)、夜景影像、高動(dòng)態(tài)范圍、超清人像、影像虛化、RGB ToF 3D等關(guān)鍵影像場景,積累了大量算法能力。
同時(shí)早在2019年,商湯就與全球領(lǐng)先的圖像傳感器廠商開展緊密合作,將AI算法和傳感器硬件直接融合。目前,商湯AI傳感器已完成多款產(chǎn)品,并成功落地多款高端旗艦手機(jī)。
憑借AI算法、AI傳感器和AI ISP的三位一體,商湯實(shí)現(xiàn)了AI技術(shù)對整個(gè)智能手機(jī)智能影像系統(tǒng)的一體化賦能。
一方面,通過AI技術(shù)充分挖掘鏡頭模組、各種新型傳感器等硬件的潛力,最大化利用成像設(shè)備的底層特性,實(shí)現(xiàn)最優(yōu)的成像質(zhì)量。
另一方面,利用AI技術(shù)將成像系統(tǒng)中的各個(gè)獨(dú)立部件有機(jī)結(jié)合在一起,充分聯(lián)動(dòng),使原本獨(dú)立運(yùn)作的成像模塊成為協(xié)同合作的成像平臺(tái)。
從上至下分別為超分辨率、AI超畫質(zhì)、夜景影像效果對比,左邊為傳統(tǒng)方案拍攝效果,右邊為商湯賦能后拍攝效果,圖片均為原圖的局部放大
商湯的解決方案,讓手機(jī)攝影的質(zhì)量得到了全面提升。
例如,通過AI對多種光源不同特性的學(xué)習(xí),了解自然光譜特性,進(jìn)而根據(jù)實(shí)際應(yīng)用場景,帶來AI降噪、AI超分辨率,提升成像質(zhì)量;在特殊拍攝模式下,AI夜景增強(qiáng)、AI人像增強(qiáng),更為智能手機(jī)賦予了多樣的“魔幻場景”。
這些體驗(yàn),讓搭載了AI傳感器的智能手機(jī),成為每個(gè)人專屬的“個(gè)人智能影像工作室”,消費(fèi)者日常使用時(shí),也能輕松拍出媲美專業(yè)影像器材的高質(zhì)量作品。
機(jī)器“認(rèn)知”世界的基礎(chǔ)設(shè)施
面向未來,AI傳感器的價(jià)值不僅在于提升智能手機(jī)的影像能力,它更將成為機(jī)器“認(rèn)知”世界的基礎(chǔ)設(shè)施,為更多物聯(lián)網(wǎng)終端賦予智能感知與內(nèi)容增強(qiáng)的能力。
在全球40億手機(jī)用戶的龐大基數(shù)下,AI傳感器的廣泛應(yīng)用,將大幅降低世界建模成本,成為連接物理世界與虛擬世界的橋梁,加速“元宇宙”的構(gòu)建。
在新興應(yīng)用場景中,AI傳感器也將扮演重要角色。例如,在智能汽車領(lǐng)域,AI傳感器將成為車輛感知世界的核心部件;在智慧城市領(lǐng)域,AI傳感器更將為挖掘視頻信息的價(jià)值發(fā)揮重要作用。
Gartner 數(shù)據(jù)顯示,2022年CMOS圖像傳感器的出貨量將會(huì)超84億顆,到2026年則會(huì)超過107億顆,成長為百億出貨量規(guī)模的半導(dǎo)體細(xì)分市場。
秉承在AI傳感器技術(shù)領(lǐng)域的長期布局,商湯將緊密攜手合作伙伴,加速AI傳感器的市場滲透,共同以AI軟件重新“定義”圖像傳感器趨勢,賦予硬件更多創(chuàng)新可能性。
審核編輯 :李倩
-
CMOS
+關(guān)注
關(guān)注
58文章
5680瀏覽量
235137 -
圖像傳感器
+關(guān)注
關(guān)注
68文章
1883瀏覽量
129447 -
AI
+關(guān)注
關(guān)注
87文章
30117瀏覽量
268406
原文標(biāo)題:商湯發(fā)布白皮書:AI傳感器不僅是影像利器,更是機(jī)器認(rèn)知世界的基礎(chǔ)設(shè)施
文章出處:【微信號(hào):WW_CGQJS,微信公眾號(hào):傳感器技術(shù)】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論