隨著科技進步,我們的生活發生了翻天覆地的變化。過去幾年音視頻技術發展迅速,直播行業異軍突起,在社交、娛樂、教育、醫療等領域高歌猛進。當前,對音視頻技術的需求又將到達一個新高度。
HarmonyOS作為一款全新的面向全場景的分布式操作系統,不斷創新,致力于為開發者提供更好、更高效的使用體驗。接下來讓我們一起學習了解下HarmonyOS中的多媒體框架的相關知識吧!
多媒體框架介紹結構:
相機(Camera)
播放(Player)
音頻(Audio)
一
相機(Camera)
1、相機框架設計目標:簡單易用、效果一致、性能優先
簡單易用是指相機框架從面向用戶、場景和一些功能的高級API的設計,去屏蔽一些底層復雜的硬件操作,從而簡化應用層的編程。
效果一致是指相機框架通過對應用層接口的統一管控,以及對廠商擴展的歸一,來確保對所有包含相機的應用提供同樣的展示質量和效果。
性能優先是指相機框架通過內部軟硬協同的設計,提升拍照啟動、預覽和拍照過程中的性能體驗。
2、相機框架介紹:
如下圖所示,左側綠色模塊是目前已經開源或者開放的能力。其中包含一些鏡頭管理能力,例如鏡頭查詢、生命周期管理,除此之外,也將支持一些基礎的預覽、拍照和錄像功能。
為了進一步降低拍照過程中對于前臺資源的占用,后期將考慮提供開源和開放的離線拍照的架構設計。
從分層架構的角度,相機框架的框架層提供了開發者可以感知的API來簡化編程,服務層主要通過一些高性能、高畫質的設計,提升對開發者服務的質量和體驗效果。
針對芯片適配層,對不同廠商的芯片適配接口提供歸一的抽象,做比較兼容的設計,確保芯片廠商接入系統的時候花費最低的成本,同時也保證兼容性。
3、工作流程介紹:
下圖是相機模塊運行態的業務流程圖。
當需要下發相機的命令時,無論是啟動預覽或者預覽之后的其他命令,再或者是其他變量下發到底層系統的操作的命令,當接收到時,將會被轉化為對底層的控制,然后再由相機框架通過一定方式將處理結果回傳給應用和開發者。
如下圖所示,此流程在代碼實現上分為五個步驟:
第一步:創建工作session;
第二步:配置輸入鏡頭、輸出流格式;
第三步:啟動會話;
第四步:操作會話,變焦、聚焦等操作可在此步驟進行控制;
第五步:釋放會話,此步驟用于釋放所占用的系統資源。
二
播放(Player)
1、播放框架設計目標:低消耗、簡單易用、靈活擴展
低消耗是指播放框架在播放資源的消耗和功耗上是最優的。
簡單易用是指播放框架提供了兩種接口形式:JS和結合ArkUI提供的UI控件接口,便于開發者使用。
靈活擴展是指播放框架針對服務類目的引擎,可增強、可擴展、可替換。
2、播放框架介紹:
播放框架主要提供較為通用的,但控制能力豐富的音、視頻的播放和錄制功能。中間件的核心是基于引擎提供各種各樣的服務的能力。
目前提供了兩套引擎,分別是GStreamer引擎和HiStreamer引擎,功能都比較齊全。
在硬件適配層,即HDF層,提供兼容設計。播放框架內部輕量化的Histreamer引擎,基于傳統的pipeline,通過插件化機制增強相關的音視頻的編解碼和解析能力,該引擎最典型的特征就是小。當開發者使用的時候,播放MP3,最低可做到600K以下。
另外引擎本身可跨多系統支持。除此之外,MP3,AAC,H264,HTTP,HLS等當前常用的音頻格式都是完全支持的,開發者可以通過一鍵化的方式靈活切換引擎。
三
音頻(Audio)
1、音頻框架設計目標:接口統一、效果一致、高性能、統一焦點控制和架構歸一
接口統一是指同一套音頻接口體系,支持不同場景的音頻使用方式,例如音頻低時延播放、高清音頻和低功耗等。
效果一致是指音頻框架提供給所有應用的一致性的效果體驗。
高性能是指音頻的低時延播放。
統一焦點控制是指音頻框架對音頻播放、錄制的焦點的強管控。
架構歸一是指音頻框架適用于大、中、小的各種設備。
2、音頻框架介紹:
音頻框架主要采用CS的架構,支持多個音頻同時運行。
音頻模塊分為三個,分別是Audio Renderer、Audio Capturer、Audio Manager。
其中,Audio Renderer提供了渲染音頻文件和控制播放的接口,開發者可以通過本接口在輸出設備中播放音頻文件并管理播放任務。Audio Capturer提供了獲取原始音頻文件的方法,開發者可以通過該接口調用實現對音頻數據的采集。Audio Manager提供了音頻流類型、音量、音頻設備管理等接口,開發者可以通過調用該接口實現對相關音頻對象的管理。
以上是多媒體框架的相關介紹內容,如果您想了解更多關于HarmonyOS相關知識,請參考HarmonyOS應用開發平臺(https:// developer.harmonyos.com/),那里有更多更詳細的介紹,提供循序漸進的學習路徑,便于開發者快速掌握相關知識,構建屬于自己的HarmonyOS應用,我們期待您的加入。
END
想了解更多HarmonyOS技術?
后臺留言給我們
立刻安排!
歡迎點擊|閱讀原文|
了解更多HarmonyOS框架知識
原文標題:HarmonyOS多媒體框架介紹
文章出處:【微信公眾號:HarmonyOS開發者】歡迎添加關注!文章轉載請注明出處。
-
HarmonyOS
+關注
關注
79文章
1967瀏覽量
30035
原文標題:HarmonyOS多媒體框架介紹
文章出處:【微信號:HarmonyOS_Dev,微信公眾號:HarmonyOS開發者】歡迎添加關注!文章轉載請注明出處。
發布評論請先 登錄
相關推薦
評論