電子發燒友報道(文/黃晶晶)2021年3月,小米發布澎湃C1 ISP芯片,搭載于小米折疊屏MIX Fold。
2021年9月,vivo發布V1 ISP 芯片,搭載于vivo X70系列手機。
OPPO自研的ISP芯片也正在路上。據悉,將于2022年搭載在OPPO最新一代手機上亮相。
那么,手機廠商為什么都選擇自研ISP芯片?ISP之后他們還會自研什么芯片呢?
為什么自研ISP芯片
小米、OV為了自研芯片高薪挖人的消息早就傳遍了行業。有的應屆畢業生已經開到40萬元年薪。芯片是復雜、且高技術含量的研發。小米手機部ISP架構師左坤隆博士曾表示,他帶領上百人研發團隊,從2019年開始著手設計,各種試驗重復了上千次。并最終實現了C1的量產。在最近vivo ISP芯片發布會上,vivo介紹說300人研發團隊、花費24個月才終于推出這顆V1芯片。
為什么手機廠商都開始自研影像芯片呢?安謀科技高級產品經理柴衛華在接受電子發燒友網采訪時表示,旗艦智能手機的SoC處理器已經趨于同質化,通用手機SoC成為了手機巨頭們提升競爭力的瓶頸。為了打破這種同質化,讓自家產品形成差異化,同時手機廠商對于畫質有著極致追求,于是各家手機廠商都開始研發ISP芯片。
小米和vivo的ISP芯片有什么不同?
圖像信號處理器技術的主要作用是對前端圖像傳感器輸出的信號做后期處理,主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等。ISP 技術在很大程度上決定了攝像機的成像質量,依賴于 ISP 才能在不同的光學條件下都能較好地還原現場細節。
澎湃C1是小米首款專業影像芯片,主要功能是3A提升,即“AF”更快且更精準度的對焦性能,大幅提升暗光、小物體及平坦區域的對焦能力;“AWB”更精準的AWB白平衡算法,復雜混合環境光源精準還原;“AE”更準確的曝光策略,更好的夜景及高動態場景表現。
vivo VI是服務高速計算成像的專業影像芯片,是一顆全定制的特殊規格集成電路芯片。位于主芯片和顯示面板之間,可以搭配不同主芯片和顯示屏,與主芯片ISP之間采用高速雙向互聯,以極低延時進行數據交互。起到擴充ISP高速成像算力,釋放主芯片ISP負載的作用,同時服務用戶在預覽和錄像的需求。
V1作為專業定制芯片在處理特定功能時具有三大特性,高性能、低延時、低功耗。比如夜景視頻的拍攝,通過V1進行降噪和插幀,可以用計算量大的算法模塊,即MEMC技術進行運動補償,在V1協助下主芯片在低光錄像時以低功耗運行全高清60幀的MEMC去噪和插幀,提升了夜景影像效果。并且配合主芯片的降噪功能,進行二次提亮二次降噪。
由此可以得到主芯片ISP與定制ISP V1的1+1大于2的效果。由于將軟件算法轉移至V1專用硬件電路中,在高速處理同等成像計算算法時,V1專用硬件電路的功耗降低50%。
可以看到,小米澎湃C1側重對焦、白平衡、曝光等方面的優化,V1主要是智能降噪、智能插幀,V1芯片在X70 Pro上發揮三大落地價值,包括夜景、視頻、游戲MEMC幀率增強。
小米、OPPO ISP IP供應商曝光,ISP IP賦能還將深化
ISP的產業鏈既有IP供應商包括芯原、安謀科技、翱捷科技,也有ISP芯片廠商華晶科、興芯微等。最近翱捷科技就表示公司的ISP IP已經與OPPO、小米達成授權合作。據供應鏈消息,vivo也采用了第三方IP。
翱捷科技的ISP單元采用新型多pipeline架構,具有低功耗、低帶寬、高并行計算能力、高度靈活性的優勢。ISP單元同時集成了高動態圖像視頻處理能力、二維和三維圖像去噪和增強能力和鏡頭畸變矯正等能力,使得公司ISP單元圖像分辨率、顏色還原能力、圖像動態范圍處于業界領先水平。
翱捷科技表示,目前已與國內知名手機廠商OPPO、小米就ISP授權達成合作。通過IP授權業務,公司實現了自研IP的成果轉化。同時與知名手機廠商建立了互信基礎,為雙方未來在智能手機基帶芯片方面合作創造了良好條件。據悉,高性能ISP設計技術的IP授權業務方面,2020年1-9月營收達到5131萬元。
芯原目前擁有用于集成電路設計的GPU IP、 NPU IP、 VPU IP、 DSP IP、 ISP IP五類處理器IP。根據 IPnest 報告,芯原 GPU IP(含 ISP)市場占有率排名全球前三,2019 年全球市場占有率約為 11.8%。
芯原 Vivante圖像信號處理器 IP(ISP IP)技術支持圖像傳感器的多曝光高動態范圍合成、原始圖像高級三維降噪、局部色調映射、非局部均值降噪、多攝像頭支持和多核內存共享等,并具備高性能低功耗鏡頭畸變矯正功能。
不過,芯原相關負責人對筆者表示,芯原主要用戶包括安防監控、汽車輔助駕駛、智慧家庭以及AIoT等含攝像頭的產品。至于有些在進行的客戶則不方便透露。
去年12月,安謀科技發布了“玲瓏”i3/i5 ISP處理器。它在降噪、清晰度和寬動態等指標上達到業界領先水平,具有高畫質、低延時、可配置能力強、擴展兼容性高等特點,可廣泛適用于安防監控、AIoT 及智能汽車等領域的視頻、圖像處理工作,能夠滿足不同場景的多樣化數據處理需求。柴衛華對筆者表示,目前玲瓏ISP已經有多家面向不同應用場景的客戶芯片導入。
下一步會是什么芯片?手機SoC、下一代ISP……
此前,小米的左坤隆博士在接受央視采訪時已經明確提到了小米自研芯片的后續規劃。他說:“ISP只是起點,小米還是要回到手機心臟器件SoC的研發中。”OPPO、vivo關于手機SoC也總有著不少令外界關注的潛在動作。
手機廠商研發手機SoC已經不是新鮮事,例如華為、蘋果、三星他們都有自己的芯片。如今,隨著華為的淡出,小米、OV等都希望在智能手機上沖擊更高的市占,小米更是打出了要三年成為全球第一的目標。那么,對手機SoC的追求和突破,會是這些廠商致勝未來的重要因素。
除了手機SoC之外,柴衛華認為手機廠商仍將持續優化手機影像的效果和體驗,但從目前來看,他們借助ISP進行了局部優化,還有許多可優化的空間。因此,在首批推出ISP芯片之后,預計應該還會有進一步的ISP芯片研發計劃。
如果看蘋果的自研之路,手機處理器、電源芯片、GPU等無所不有,小米、OPPO、vivo等的自研芯片之路必將會予以借鑒。
如今,手機廠商已經在天時(沖擊市占)、地利(國產化)、人和(吸納人才)盤踞大量優勢,ISP才只是開始。
2021年9月,vivo發布V1 ISP 芯片,搭載于vivo X70系列手機。
OPPO自研的ISP芯片也正在路上。據悉,將于2022年搭載在OPPO最新一代手機上亮相。
那么,手機廠商為什么都選擇自研ISP芯片?ISP之后他們還會自研什么芯片呢?
為什么自研ISP芯片
小米、OV為了自研芯片高薪挖人的消息早就傳遍了行業。有的應屆畢業生已經開到40萬元年薪。芯片是復雜、且高技術含量的研發。小米手機部ISP架構師左坤隆博士曾表示,他帶領上百人研發團隊,從2019年開始著手設計,各種試驗重復了上千次。并最終實現了C1的量產。在最近vivo ISP芯片發布會上,vivo介紹說300人研發團隊、花費24個月才終于推出這顆V1芯片。
為什么手機廠商都開始自研影像芯片呢?安謀科技高級產品經理柴衛華在接受電子發燒友網采訪時表示,旗艦智能手機的SoC處理器已經趨于同質化,通用手機SoC成為了手機巨頭們提升競爭力的瓶頸。為了打破這種同質化,讓自家產品形成差異化,同時手機廠商對于畫質有著極致追求,于是各家手機廠商都開始研發ISP芯片。
小米和vivo的ISP芯片有什么不同?
圖像信號處理器技術的主要作用是對前端圖像傳感器輸出的信號做后期處理,主要功能有線性糾正、噪聲去除、壞點去除、內插、白平衡、自動曝光控制等。ISP 技術在很大程度上決定了攝像機的成像質量,依賴于 ISP 才能在不同的光學條件下都能較好地還原現場細節。
澎湃C1是小米首款專業影像芯片,主要功能是3A提升,即“AF”更快且更精準度的對焦性能,大幅提升暗光、小物體及平坦區域的對焦能力;“AWB”更精準的AWB白平衡算法,復雜混合環境光源精準還原;“AE”更準確的曝光策略,更好的夜景及高動態場景表現。
vivo VI是服務高速計算成像的專業影像芯片,是一顆全定制的特殊規格集成電路芯片。位于主芯片和顯示面板之間,可以搭配不同主芯片和顯示屏,與主芯片ISP之間采用高速雙向互聯,以極低延時進行數據交互。起到擴充ISP高速成像算力,釋放主芯片ISP負載的作用,同時服務用戶在預覽和錄像的需求。
V1作為專業定制芯片在處理特定功能時具有三大特性,高性能、低延時、低功耗。比如夜景視頻的拍攝,通過V1進行降噪和插幀,可以用計算量大的算法模塊,即MEMC技術進行運動補償,在V1協助下主芯片在低光錄像時以低功耗運行全高清60幀的MEMC去噪和插幀,提升了夜景影像效果。并且配合主芯片的降噪功能,進行二次提亮二次降噪。
由此可以得到主芯片ISP與定制ISP V1的1+1大于2的效果。由于將軟件算法轉移至V1專用硬件電路中,在高速處理同等成像計算算法時,V1專用硬件電路的功耗降低50%。
可以看到,小米澎湃C1側重對焦、白平衡、曝光等方面的優化,V1主要是智能降噪、智能插幀,V1芯片在X70 Pro上發揮三大落地價值,包括夜景、視頻、游戲MEMC幀率增強。
小米、OPPO ISP IP供應商曝光,ISP IP賦能還將深化
ISP的產業鏈既有IP供應商包括芯原、安謀科技、翱捷科技,也有ISP芯片廠商華晶科、興芯微等。最近翱捷科技就表示公司的ISP IP已經與OPPO、小米達成授權合作。據供應鏈消息,vivo也采用了第三方IP。
翱捷科技的ISP單元采用新型多pipeline架構,具有低功耗、低帶寬、高并行計算能力、高度靈活性的優勢。ISP單元同時集成了高動態圖像視頻處理能力、二維和三維圖像去噪和增強能力和鏡頭畸變矯正等能力,使得公司ISP單元圖像分辨率、顏色還原能力、圖像動態范圍處于業界領先水平。
翱捷科技表示,目前已與國內知名手機廠商OPPO、小米就ISP授權達成合作。通過IP授權業務,公司實現了自研IP的成果轉化。同時與知名手機廠商建立了互信基礎,為雙方未來在智能手機基帶芯片方面合作創造了良好條件。據悉,高性能ISP設計技術的IP授權業務方面,2020年1-9月營收達到5131萬元。
芯原目前擁有用于集成電路設計的GPU IP、 NPU IP、 VPU IP、 DSP IP、 ISP IP五類處理器IP。根據 IPnest 報告,芯原 GPU IP(含 ISP)市場占有率排名全球前三,2019 年全球市場占有率約為 11.8%。
芯原 Vivante圖像信號處理器 IP(ISP IP)技術支持圖像傳感器的多曝光高動態范圍合成、原始圖像高級三維降噪、局部色調映射、非局部均值降噪、多攝像頭支持和多核內存共享等,并具備高性能低功耗鏡頭畸變矯正功能。
不過,芯原相關負責人對筆者表示,芯原主要用戶包括安防監控、汽車輔助駕駛、智慧家庭以及AIoT等含攝像頭的產品。至于有些在進行的客戶則不方便透露。
去年12月,安謀科技發布了“玲瓏”i3/i5 ISP處理器。它在降噪、清晰度和寬動態等指標上達到業界領先水平,具有高畫質、低延時、可配置能力強、擴展兼容性高等特點,可廣泛適用于安防監控、AIoT 及智能汽車等領域的視頻、圖像處理工作,能夠滿足不同場景的多樣化數據處理需求。柴衛華對筆者表示,目前玲瓏ISP已經有多家面向不同應用場景的客戶芯片導入。
下一步會是什么芯片?手機SoC、下一代ISP……
此前,小米的左坤隆博士在接受央視采訪時已經明確提到了小米自研芯片的后續規劃。他說:“ISP只是起點,小米還是要回到手機心臟器件SoC的研發中。”OPPO、vivo關于手機SoC也總有著不少令外界關注的潛在動作。
手機廠商研發手機SoC已經不是新鮮事,例如華為、蘋果、三星他們都有自己的芯片。如今,隨著華為的淡出,小米、OV等都希望在智能手機上沖擊更高的市占,小米更是打出了要三年成為全球第一的目標。那么,對手機SoC的追求和突破,會是這些廠商致勝未來的重要因素。
除了手機SoC之外,柴衛華認為手機廠商仍將持續優化手機影像的效果和體驗,但從目前來看,他們借助ISP進行了局部優化,還有許多可優化的空間。因此,在首批推出ISP芯片之后,預計應該還會有進一步的ISP芯片研發計劃。
如果看蘋果的自研之路,手機處理器、電源芯片、GPU等無所不有,小米、OPPO、vivo等的自研芯片之路必將會予以借鑒。
如今,手機廠商已經在天時(沖擊市占)、地利(國產化)、人和(吸納人才)盤踞大量優勢,ISP才只是開始。
聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。
舉報投訴
-
智能手機
+關注
關注
66文章
18440瀏覽量
179877 -
soc
+關注
關注
38文章
4122瀏覽量
217955 -
ISP
+關注
關注
6文章
476瀏覽量
51745 -
小米
+關注
關注
69文章
14329瀏覽量
143874
發布評論請先 登錄
相關推薦
全球首款!RoboSense全自研專用SoC芯片M-Core獲AEC-Q100認證
10月,RoboSense速騰聚創全自研SoC芯片M-Core獲得AEC-Q100車規級可靠性認證,成為全球首款通過該認證的激光雷達專用SoC
蘋果自研5G芯片或于明年亮相
蘋果公司正加速推進其自研5G芯片的研發進程,有望最快在明年推出首款自研5G調制解調器。這一舉措對高通而言,無疑構成了巨大的挑戰。
全球首款!RoboSense全自研專用SoC芯片M-Core獲AEC-Q100認證
RoboSense速騰聚創全自研SoC芯片M-Core獲得AEC-Q100車規級可靠性認證,成為全球首款通過該認證的激光雷達專用SoC
蘋果加速自研芯片進程,iPhone SE 4將首發自研5G基帶
階段,標志著蘋果在擺脫外部5G基帶供應方面邁出了重要一步。盡管蘋果與高通之間的5G基帶供應協議一直延續至2027年,但海通國際證券分析師Jeff Pu的研究報告指出,iPhone SE 4將首次采用蘋果自研的5G基帶芯片,這也是
比亞迪最快于11月實現自研算法量產,推進智駕芯片自研進程
10月21日市場傳出消息,比亞迪正計劃整合其新技術院下的自研智能駕駛團隊,目標是在今年11月實現自研智能駕駛算法的量產,并持續推進智能駕駛芯片
小鵬自研智駕芯片:面向L4+AI大模型,集成40核+NPU+ISP
電子發燒友網報道(文/梁浩斌)新能源汽車時代,車企自研芯片的路線,盡管目的各不相同,但已經成為新勢力車企的共識。最早從比亞迪為了供應鏈自主化而自研
4nm!小米 SoC芯片曝光!
來源:天天IC 編輯:感知芯視界 Link 爆料稱,小米正在開發內部芯片,但此前有報道稱該公司已放棄開發手機處理器,因為這是一項成本高昂的項目。新的爆料顯示, 小米將在2025年上半年
三星電子內部或自研XR設備專用芯片
8月14日最新消息,韓國權威媒體《首爾經濟日報》(Sedaily)于本月8日披露,三星電子正積極自研針對擴展現實(XR)設備的專用芯片,該項目由去年從英特爾引進的資深芯片設計專家Nee
國產車企自研智駕芯片加速落地,蔚來小鵬等領跑賽道
在智能汽車產業加速變革的浪潮中,中國車企正以前所未有的決心和速度推進核心技術自研,特別是在智能駕駛芯片這一關鍵領域,蔚來、小鵬等頭部企業已邁出堅實步伐,自
自研自動駕駛芯片競賽,索喜成為關鍵合作伙伴
目前汽車領域在手訂單大約3000億日元,主要是自動駕駛和HPC還有激光雷達、毫米波雷達、攝像頭(應該是ISP)傳感器芯片。
發表于 03-20 11:02
?1599次閱讀
傳音控股旗下Infinix宣布推出首款自研電源管理芯片Cheetah X1
傳音控股旗下智能手機公司Infinix Mobile日前宣布推出首款自研電源管理芯片Cheetah X1。
英偉達缺貨?OpenAI選擇自研芯片
?電子發燒友網報道(文/周凱揚)在生成式AI和大模型帶來的AI洪流下,不少大廠都不約而同地選擇了自研AI芯片。即便這意味著組建新的團隊,花費大量的資金,但從長遠發展的角度來看,自
谷歌自研手機SoC測試訂單交由京元電
近日,谷歌在半導體委外策略上迎來了一次重大轉變,其自研手機系統單芯片(SoC)“Tensor”首次釋出測試訂單給臺灣的京元電。這一舉動打破了
評論