精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

OpenHarmony 3.2 Beta多媒體系列——音視頻播放框架

OpenAtom OpenHarmony ? 來源:未知 ? 2022-11-21 21:35 ? 次閱讀

點擊藍字 ╳ 關注我們


開源項目 OpenHarmony
是每個人的 OpenHarmony

巴延興

深圳開鴻數字產業發展有限公司

資深OS框架開發工程師


以下內容來自嘉賓分享,不代表開放原子開源基金會觀點

一、簡介

媒體子系統為開發者提供一套接口,方便開發者使用系統的媒體資源,主要包含音視頻開發、相機開發、流媒體開發等模塊。每個模塊都提供給上層應用對應的接口,本文會對音視頻開發中的音視頻播放框架做一個詳細的介紹。

二、目錄

foundation/multimedia/media_standard
├── frameworks                        #框架代碼
│ ├── js
│ │ ├── player
│ ├── native
│ │ ├── player #native實現
│ └── videodisplaymanager #顯示管理
│ ├── include
│ └── src
├── interfaces
│ ├── inner_api #內部接口
│ │ └── native
│ └── kits #外部JS接口
├── sa_profile #服務配置文件
└── services
├── engine #engine代碼
│ └── gstreamer
├── etc #服務配置文件
├── include #頭文件
└── services
├── sa_media #media服務
│ ├── client #media客戶端
│ ├── ipc #media ipc調用
│ └── server #media服務端
├── factory #engine工廠
└── player #player服務
├── client #player客戶端
├── ipc #player ipc調用
└──server#player服務端

三、播放的總體流程



四、Native接口使用

OpenHarmony系統中,音視頻播放通過N-API接口提供給上層JS調用,N-API相當于是JS和Native之間的橋梁,在OpenHarmony源碼中,提供了C++直接調用的音視頻播放例子,在foundation/multimedia/player_framework/test/nativedemo/player目錄中。
void PlayerDemo::RunCase(const string &path)
{
player_ = OHOS::CreatePlayer();
if (player_ == nullptr) {
cout << "player_ is null" << endl;
return;
}
RegisterTable();
std::shared_ptr cb = std::make_shared();
cb->SetBufferingOut(SelectBufferingOut());


int32_t ret = player_->SetPlayerCallback(cb);
if (ret != 0) {
cout << "SetPlayerCallback fail" << endl;
}
if (SelectSource(path) != 0) {
cout << "SetSource fail" << endl;
return;
}
sptr producerSurface = nullptr;
producerSurface = GetVideoSurface();
if (producerSurface != nullptr) {
ret = player_->SetVideoSurface(producerSurface);
if (ret != 0) {
cout << "SetVideoSurface fail" << endl;
}
}
SetVideoScaleType();
if (SelectRendererMode() != 0) {
cout << "set renderer info fail" << endl;
}
ret = player_->PrepareAsync();
if (ret != 0) {
cout << "PrepareAsync fail" << endl;
return;
}
cout << "Enter your step:" << endl;
DoNext();
}
首先根據RunCase可以大致了解一下播放音視頻的主要流程,創建播放器,設置播放源,設置回調方法(包含播放過程中的多種狀態的回調),設置播放顯示的Surface,這些準備工作做好之后,需要調用播放器的PrepareASync方法,這個方法完成后,播放狀態會變成Prepared狀態,這時就可以調用播放器的play接口,進行音視頻的播放了。
RegisterTable()方法中,將字符串和對應的方法映射到Map中,這樣后續的DoNext會根據輸入的命令,來決定播放器具體的操作。
void PlayerDemo::DoNext()
{
std::string cmd;
while (std::cin, cmd)) {
auto iter = playerTable_.find(cmd);
if (iter != playerTable_.end()) {
auto func = iter->second;
if (func() != 0) {
cout << "Operation error" << endl;
}
if (cmd.find("stop") != std::npos && dataSrc_ != nullptr) {
dataSrc_->Reset();
}
continue;
} else if (cmd.find("quit") != std::npos || cmd == "q") {
break;
} else {
DoCmd(cmd);
continue;
}
}
}


void PlayerDemo::RegisterTable()
{
(void)playerTable_.emplace("prepare", std::bind(&Player::Prepare, player_));
(void)playerTable_.emplace("prepareasync", std::bind(&Player::PrepareAsync, player_));
(void)playerTable_.emplace("", std::bind(&Player::Play, player_)); // ENTER -> play
(void)playerTable_.emplace("play", std::bind(&Player::Play, player_));
(void)playerTable_.emplace("pause", std::bind(&Player::Pause, player_));
(void)playerTable_.emplace("stop", std::bind(&Player::Stop, player_));
(void)playerTable_.emplace("reset", std::bind(&Player::Reset, player_));
(void)playerTable_.emplace("release", std::bind(&Player::Release, player_));
(void)playerTable_.emplace("isplaying", std::bind(&PlayerDemo::GetPlaying, this));
(void)playerTable_.emplace("isloop", std::bind(&PlayerDemo::GetLooping, this));
(void)playerTable_.emplace("speed", std::bind(&PlayerDemo::GetPlaybackSpeed, this));
}
以上的DoNext方法中核心的代碼是func()的調用,這個func就是之前注冊進Map中字符串對應的方法,在RegisterTable方法中將空字符串""和"play"對綁定為Player::Play方法,默認不輸入命令參數時,是播放操作。

五、調用流程

左右滑動查看更多


本段落主要針對媒體播放的框架層代碼進行分析,所以在流程中涉及到了IPC調用相關的客戶端和服務端,代碼暫且分析到調用gstreamer引擎。
首先Sample通過PlayerFactory創建了一個播放器實例(PlayerImpl對象),創建過程中調用Init函數。
int32_t PlayerImpl::Init()
{
playerService_ = MediaServiceFactory::GetInstance().CreatePlayerService();
CHECK_AND_RETURN_RET_LOG(playerService_ != nullptr, MSERR_UNKNOWN, "failed to create player service");
return MSERR_OK;
}
MediaServiceFactory::GetInstance()返回的是MediaClient對象,所以CreateplayerService函數實際上是調用了MediaClient對應的方法。
std::shared_ptr MediaClient::CreatePlayerService()
{
std::lock_guard lock(mutex_);
if (!IsAlived()) {
MEDIA_LOGE("media service does not exist.");
return nullptr;
}


sptr object = mediaProxy_->GetSubSystemAbility(
IStandardMediaService::MEDIA_PLAYER, listenerStub_->AsObject());
CHECK_AND_RETURN_RET_LOG(object != nullptr, nullptr, "player proxy object is nullptr.");


sptr playerProxy = iface_cast(object);
CHECK_AND_RETURN_RET_LOG(playerProxy != nullptr, nullptr, "player proxy is nullptr.");


std::shared_ptr player = PlayerClient::Create(playerProxy);
CHECK_AND_RETURN_RET_LOG(player != nullptr, nullptr, "failed to create player client.");


playerClientList_.push_back(player);
return player;
}
這個方法中主要通過PlayerClient::Create(playerProxy)方法創建了PlayerClient實例,并且將該實例一層層向上傳,最終傳給了PlayerImpl的playerService_變量,后續對于播放器的操作,PlayerImpl都是通過調用PlayerClient實例實現的。
int32_t PlayerImpl::Play()
{
CHECK_AND_RETURN_RET_LOG(playerService_ != nullptr, MSERR_INVALID_OPERATION, "player service does not exist..");
MEDIA_LOGW("KPI-TRACE: PlayerImpl Play in");
return playerService_->Play();
}


int32_t PlayerImpl::Prepare()
{
CHECK_AND_RETURN_RET_LOG(playerService_ != nullptr, MSERR_INVALID_OPERATION, "player service does not exist..");
MEDIA_LOGW("KPI-TRACE: PlayerImpl Prepare in");
return playerService_->Prepare();
}


int32_t PlayerImpl::PrepareAsync()
{
CHECK_AND_RETURN_RET_LOG(playerService_ != nullptr, MSERR_INVALID_OPERATION, "player service does not exist..");
MEDIA_LOGW("KPI-TRACE: PlayerImpl PrepareAsync in");
return playerService_->PrepareAsync();
}
對于PlayerImpl來說,playerService_指向的PlayerClient就是具體的實現,PlayerClient的實現是通過IPC的遠程調用來實現的,具體地是通過IPC中的proxy端向遠端服務發起遠程調用請求。
我們以播放Play為例:
int32_t PlayerClient::Play()
{
std::lock_guard lock(mutex_);
CHECK_AND_RETURN_RET_LOG(playerProxy_ != nullptr, MSERR_NO_MEMORY, "player service does not exist..");
return playerProxy_->Play();
}
int32_t PlayerServiceProxy::Play()
{
MessageParcel data;
MessageParcel reply;
MessageOption option;


if (!data.WriteInterfaceToken(PlayerServiceProxy::GetDescriptor())) {
MEDIA_LOGE("Failed to write descriptor");
return MSERR_UNKNOWN;
}


int error = Remote()->SendRequest(PLAY, data, reply, option);
if (error != MSERR_OK) {
MEDIA_LOGE("Play failed, error: %{public}d", error);
return error;
}
return reply.ReadInt32();
}
proxy端發送調用請求后,對應的Stub端會在PlayerServiceStub::OnRemoteRequest接收到請求,根據請求的參數進行對應的函數調用。播放操作對應的調用Stub的Play方法。
int32_t PlayerServiceStub::Play()
{
MediaTrace Trace("binder::Play");
CHECK_AND_RETURN_RET_LOG(playerServer_ != nullptr, MSERR_NO_MEMORY, "player server is nullptr");
return playerServer_->Play();
}
這里最終是通過playerServer_調用Play函數。playerServer_在Stub初始化的時候通過PlayerServer::Create()方式來獲取得到。也就是PlayerServer。
std::shared_ptr PlayerServer::Create()
{
std::shared_ptr server = std::make_shared();
CHECK_AND_RETURN_RET_LOG(server != nullptr, nullptr, "failed to new PlayerServer");


(void)server->Init();
return server;
}
最終我們的Play調用到了PlayerServer的Play()。在媒體播放的整個過程中會涉及到很多的狀態,所以在Play中進行一些狀態的判讀后調用OnPlay方法。這個方法中發起了一個播放的任務。
int32_t PlayerServer::Play()
{
std::lock_guard lock(mutex_);


if (lastOpStatus_ == PLAYER_PREPARED || lastOpStatus_ == PLAYER_PLAYBACK_COMPLETE ||
lastOpStatus_ == PLAYER_PAUSED) {
return OnPlay();
} else {
MEDIA_LOGE("Can not Play, currentState is %{public}s", GetStatusDescription(lastOpStatus_).c_str());
return MSERR_INVALID_OPERATION;
}
}


int32_t PlayerServer::OnPlay()
{
auto playingTask = std::make_shared>([this]() {
MediaTrace::TraceBegin("PlayerServer::Play", FAKE_POINTER(this));
auto currState = std::static_pointer_cast(GetCurrState());
(void)currState->Play();
});


int ret = taskMgr_.LaunchTask(playingTask, PlayerServerTaskType::STATE_CHANGE);
CHECK_AND_RETURN_RET_LOG(ret == MSERR_OK, ret, "Play failed");


lastOpStatus_ = PLAYER_STARTED;
return MSERR_OK;
}
在播放任務中調用了PlayerServer::Play()
int32_t PlayerServer::Play()
{
return server_.HandlePlay();
}
在Play里面直接調用PlayerServer的HandlePlay方法,HandlePlay方法通過playerEngine_調用到了gstreamer引擎,gstreamer是最終播放的實現。
int32_t PlayerServer::HandlePlay()
{
int32_t ret = playerEngine_->Play();
CHECK_AND_RETURN_RET_LOG(ret == MSERR_OK, MSERR_INVALID_OPERATION, "Engine Play Failed!");


return MSERR_OK;
}

六、總結

本文主要對OpenHarmony 3.2 Beta多媒體子系統的媒體播放進行介紹,首先梳理了整體的播放流程,然后對播放的主要步驟進行了詳細地分析。
媒體播放主要分為以下幾個層次:

(1)提供給應用調用的Native接口,這個實際上通過OHOS::CreatePlayer()調用返回PlayerImpl實例。

(2)PlayerClient,這部分通過IPC的proxy調用,向遠程服務發起調用請求。

(3)PlayerServer,這部分是播放服務的實現端,提供給Client端調用。

(4)Gstreamer,這部分是提供給PlayerServer調用,真正實現媒體播放的功能。





原文標題:OpenHarmony 3.2 Beta多媒體系列——音視頻播放框架

文章出處:【微信公眾號:OpenAtom OpenHarmony】歡迎添加關注!文章轉載請注明出處。

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 鴻蒙
    +關注

    關注

    57

    文章

    2313

    瀏覽量

    42748
  • OpenHarmony
    +關注

    關注

    25

    文章

    3661

    瀏覽量

    16159

原文標題:OpenHarmony 3.2 Beta多媒體系列——音視頻播放框架

文章出處:【微信號:gh_e4f28cfa3159,微信公眾號:OpenAtom OpenHarmony】歡迎添加關注!文章轉載請注明出處。

收藏 人收藏

    評論

    相關推薦

    如何在音頻播放時插播音頻

    ZDP14x0系列芯片是內置開源GUI引擎的圖像顯示專用驅動芯片,內部集成16MB/64MB顯示內存、2D圖形加速器、音視頻解碼器等豐富多媒體功能。不僅支持音視頻
    的頭像 發表于 11-25 15:40 ?333次閱讀
    如何在音頻<b class='flag-5'>播放</b>時插播音頻

    dm368錄制音視頻后用vlc播放不同步是怎么回事?

    目前我們用其他的開發板 能夠錄制音視頻,但是用vlc播放的時候發現每次都是視頻播放完成了音頻還要播放一會,隨著錄制時間加上,延后的這個時間
    發表于 10-15 06:56

    盤點那些常見音視頻接口

    我們熟知的一些常見音視頻接口,發展至今在日常使用中已經漸漸少了。但是在工業領域的音視頻連接,依然能看到其身影。這些看似消失的接口,它們現在發展成什么樣子了?本期我們將做一個大盤點。
    的頭像 發表于 09-09 14:34 ?461次閱讀

    常見音視頻接口的靜電浪涌防護和濾波方案

    音視頻接口在現代多媒體設備中扮演著至關重要的角色,它們確保了音視頻信號在不同設備間的順暢傳輸,各種類型的音視頻接口滿足了多樣化的應用場景需求。 在
    的頭像 發表于 06-25 11:28 ?606次閱讀

    分享一款高清HDMI音視頻采集編碼卡,支持雙碼流

    “靈卡CAS”系列HDMI音視頻采集卡。獨具匠心的設計與功能配置,適用于各種規模的商務會議、多媒體教育以及數字化展示等各類場景。
    的頭像 發表于 05-07 11:43 ?354次閱讀
    分享一款高清HDMI<b class='flag-5'>音視頻</b>采集編碼卡,支持雙碼流

    【RTC程序設計:實時音視頻權威指南】音視頻的編解碼壓縮技術

    音視頻所載有的信息在通過傳輸的時候就需要壓縮編碼。 其中,文本壓縮是指通過使用各種算法和技術,將文本數據表示為更緊湊的形式,以減少存儲空間。 霍夫曼編碼是一種無損壓縮算法,它可以根據字符出現
    發表于 04-28 21:04

    鴻蒙媒體開發【簡述】

    媒體系統架構 媒體系統提供用戶視覺、聽覺信息的處理能力,如音視頻信息的采集、壓縮存儲、解壓播放等。在操作系統實現中,通常基于不同的媒體信息處
    發表于 02-28 17:53

    OpenHarmony4.0源碼解析之媒體框架

    媒體框架簡介 媒體框架 multimedia_player_framework 主要提供音視頻的錄制與
    的頭像 發表于 02-26 22:05 ?772次閱讀
    <b class='flag-5'>OpenHarmony</b>4.0源碼解析之<b class='flag-5'>媒體</b><b class='flag-5'>框架</b>

    音視頻解碼生成:打造你的專屬高清影院體驗

    在數字化時代,人們對觀影體驗的要求越來越高。音視頻解碼生成技術,作為現代多媒體播放的核心,正是為了滿足這種需求而不斷發展和完善的。通過這項技術,我們可以輕松打造屬于自己的高清影院體驗。 一、高清畫質
    的頭像 發表于 02-25 14:47 ?385次閱讀

    音視頻解碼生成:打造極致觀影體驗的關鍵技術

    在現代多媒體時代,音視頻解碼生成技術已成為提供極致觀影體驗的核心要素。它不僅能夠確保音視頻數據的高效傳輸,還能保證播放的流暢性和畫質清晰度,為用戶帶來身臨其境的觀影享受。 1. 解碼生
    的頭像 發表于 02-25 14:43 ?435次閱讀

    音視頻解碼器優化技巧:提升播放體驗的關鍵步驟

    隨著數字多媒體內容的爆炸式增長,音視頻解碼器在現代技術生活中扮演著至關重要的角色。從流暢的在線視頻播放到高質量的本地文件解碼,解碼器的性能直接影響了我們的觀看體驗。那么,如何優化
    的頭像 發表于 02-21 14:45 ?751次閱讀

    音視頻解碼器硬件加速:實現更流暢的播放效果

    隨著多媒體內容的日益豐富和高清化,傳統的軟件解碼已經難以滿足人們對流暢播放體驗的需求。因此,音視頻解碼器硬件加速技術的出現,為提升播放效果帶來了革命性的改變。 硬件加速的原理 硬件加速
    的頭像 發表于 02-21 14:40 ?911次閱讀
    <b class='flag-5'>音視頻</b>解碼器硬件加速:實現更流暢的<b class='flag-5'>播放</b>效果

    音視頻解碼生成在多媒體制作中的應用

    音視頻解碼生成是多媒體制作中不可或缺的一部分,它扮演著將編碼的音視頻數據轉化為可播放、可編輯的內容的關鍵角色。在多媒體制作的全過程中,
    的頭像 發表于 02-21 14:39 ?353次閱讀

    音視頻解碼生成與流媒體傳輸的結合

    音視頻解碼生成與流媒體傳輸是現代數字媒體技術中兩個不可或缺的部分,它們的結合為用戶提供了高質量、實時性的多媒體體驗。 1. 解碼生成與流媒體
    的頭像 發表于 02-21 14:36 ?367次閱讀

    萬興科技發布國內首個音視頻多媒體大模型“天幕”

    萬興科技近日正式發布了國內首個音視頻多媒體大模型——萬興“天幕”,并宣布大模型研發中心將正式落戶馬欄山。
    的頭像 發表于 02-04 11:42 ?1248次閱讀