精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發帖/加入社區
會員中心
創作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

開源項目:根據語音自動生成動畫人物口型

如意 ? 來源:量子位 ? 作者:量子位 ? 2020-12-23 15:26 ? 次閱讀

只需要輸入一段語音,代碼會自動生成與之相對的動畫唇形。

還是毫無違和感的那種。

這是一個在GitHub上擁有501星的開源項目,叫做Rhubarb Lip Sync。

它既可以是Windows和OS X命令行工具,也可以作為軟件的插件使用,能夠根據語音記錄自動創建2D嘴型動畫。

它可以用于計算機游戲、動畫卡通中的角色,或者用于其他需要基于現有錄音、對嘴部進行動畫處理的的影視項目。

那么,它是怎么實現如此效果的呢?

運作原理

首先,了解一下動畫人物說話的六種嘴型。

上述六種嘴型是由漢娜·巴貝拉(Hanna-Barbera)發明,已經成為2D動畫嘴型的制作標準,被迪士尼和華納兄弟等影視公司在多部影視作品采用。

大多數的發音,都可以用這六種嘴型表示出來。

因此,Rhubarb Lip Sync工作的步驟如下:

輸入一段語音

Lip Sync識別這段語音

使用六個基本嘴形和最多三個擴展嘴形與語音匹配

輸出一個固定格式的文件

假如我說個奇怪的方言,它也能輸出相應的嘴型動畫嗎?

當然不是。

目前,Rhubarb Lip Sync只提供了兩個語音識別系統:

PocketSphinx:只能識別英語,準確率更高。

Phonetic :能識別所有語言,因為它是依據個人的聲音和音節判別的,但準確率不如前者。

那么,這個小工具可以跟哪些視頻軟件融合使用呢?

可適用于多款軟件

Adobe After Effects

可以在下載Rhubarb Lip Sync,并且安裝到AE上,可以直接在AE上運行這個軟件。

Moho and OpenToonz

Rhubarb Lip Sync能夠生成.dat文件,這種文件可以被Moho and OpenToonz識別,并導入使用。

Spine by Esoteric Software

Rhubarb Lip Syn for Spine是一個圖形工具,可讓導入Spine項目,執行自動唇形同步,然后將結果重新導入Spine。

Vegas Pro by Magix

Rhubarb Lip Syn 還附帶了兩個用于Vegas Pro(以前稱為Sony Vegas)的插件腳本,可直接在Vegas中使用。

趕快把這個小工具推薦給你喜歡做視頻的朋友吧~

源代碼地址:

https://github.com/DanielSWolf/rhubarb-lip-sync

最新版本的下載地址:

https://github.com/DanielSWolf/rhubarb-lip-sync/releases

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/AdobeAfterEffects/README.adoc

https://github.com/DanielSWolf/rhubarb-lip-sync/blob/master/extras/EsotericSoftwareSpine/README.adoc
責編AJX

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規問題,請聯系本站處理。 舉報投訴
  • 語音識別
    +關注

    關注

    38

    文章

    1725

    瀏覽量

    112551
  • 開源
    +關注

    關注

    3

    文章

    3254

    瀏覽量

    42408
  • 源代碼
    +關注

    關注

    96

    文章

    2944

    瀏覽量

    66670
收藏 人收藏

    評論

    相關推薦

    如何自動生成verilog代碼

    介紹幾種自動生成verilog代碼的方法。
    的頭像 發表于 11-05 11:45 ?206次閱讀
    如何<b class='flag-5'>自動</b><b class='flag-5'>生成</b>verilog代碼

    8月全志芯片開源項目分享合集

    ,接收機則是連接串口通過SBUS和T113直接連接,收到指令信號后由4路PWM直接給電機控制輸出,以實現自穩飛行的功能。 太極派LVGL版USB口袋顯示屏 作者:新范者1986 上一期開源項目
    發表于 09-02 10:25

    關于Makefile自動生成-autotools的使用

    的Makefile并非日常任務,但遇見需要構建大型軟件項目時,利用工具自動生成Makefile就顯得尤為關鍵。接下來,我們將重點介紹一款自動化構建工具——Autoto
    的頭像 發表于 07-25 15:50 ?1466次閱讀
    關于Makefile<b class='flag-5'>自動</b><b class='flag-5'>生成</b>-autotools的使用

    曠視AI開源新突破:上傳照片即可生成表情包視頻!

    為了展示其泛化性,MegActor甚至可以將VASA中的人物肖像和視頻組合生成,得到生動的表情視頻。即使與阿里EMO的官方案例相比,MegActor也能生成近似的效果。
    的頭像 發表于 07-12 11:20 ?328次閱讀
    曠視AI<b class='flag-5'>開源</b>新突破:上傳照片即可<b class='flag-5'>生成</b>表情包視頻!

    Transformer模型在語音識別和語音生成中的應用優勢

    隨著人工智能技術的飛速發展,語音識別和語音生成作為人機交互的重要組成部分,正逐漸滲透到我們生活的各個方面。而Transformer模型,自其誕生以來,憑借其獨特的自注意力機制和并行計算能力,在
    的頭像 發表于 07-03 18:24 ?969次閱讀

    微軟網頁版PPT新增語音識別及字幕生成功能

    據報道,微軟計劃于今年六月份推出網頁版PowerPoint全新語音識別功能。此項功能將能夠監控PowerPoint視頻中的聲音,進而自動生成字幕。
    的頭像 發表于 05-16 14:36 ?369次閱讀

    抖音嚴打不當虛擬人物AI生成行為,優化平臺生態環境

    據悉,去年8月抖音發布了《人工智能生成內容的平臺規范及行業倡議》,強調禁止利用AI技術制作虛擬人物進行低質量創作。今年3月27日,抖音安全中心又發布公告表示,發現少數賬號依然存在使用AI技術生成虛擬
    的頭像 發表于 03-27 14:54 ?598次閱讀

    生成式 AI 制作動畫:周期短、成本低!

    工作室和特效公司正廣泛采用生成式AI技術進行背景生成、角色創作和動作合成。這種技術的應用不僅提高了動畫制作的效率,還使得動畫作品在視覺效果和創意上有了更大的突破。
    的頭像 發表于 03-18 08:19 ?3511次閱讀
    <b class='flag-5'>生成</b>式 AI 制作<b class='flag-5'>動畫</b>:周期短、成本低!

    谷歌Gemini AI模型因人物圖像生成問題暫停運行

    據報道,部分用戶發現Gemini生成的圖片存在明顯錯誤,如特斯拉創始人和其他名人變成了黑人模樣。谷歌已決定暫停該模型的人物圖像生成功能以待改善。
    的頭像 發表于 02-25 09:59 ?556次閱讀

    如何禁止vivado自動生成 bufg

    在Vivado中禁止自動生成BUFG(Buffered Clock Gate)可以通過以下步驟實現。 首先,讓我們簡要了解一下什么是BUFG。BUFG是一個時鐘緩沖器,用于緩沖輸入時鐘信號,使其更穩
    的頭像 發表于 01-05 14:31 ?1981次閱讀

    開源FPGA項目有哪些

    請問開源FPGA項目有哪些?
    發表于 12-26 12:09

    開源項目】基于ESP32的語音識別控制AI小夜燈

    一、項目簡介 使用ESP32-S3N8R8模塊作為主控芯片,S3內核增加了用于加速神經網絡計算和信號處理等的指令,這使得我們可以使用它來快速解析訓練好的語音模型進行語音識別的功能。 二、原理解
    發表于 12-19 14:05

    開源項目】基于ESP32制作的小小光立方,可以使用wifi連接到電腦

    0805貼片制作的小小光立方,可以使用wifi連接到電腦,可以電腦上位機控制,很多動畫,很多音頻效果 項目說明: 1、使用esp32 和 STC51 芯片制作的光立方 2、使用0805貼片燈珠
    發表于 12-19 13:51

    在 NVIDIA ACE 中使用 AI 動畫語音功能打造逼真的虛擬形象

    NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine(ACE) 的一系列技術,增強了 AI 虛擬形象和數字人的真實感和可訪問性,這些新的動畫語音功能實現了更自然的對話
    的頭像 發表于 12-15 15:50 ?543次閱讀
    在 NVIDIA ACE 中使用 AI <b class='flag-5'>動畫</b>和<b class='flag-5'>語音</b>功能打造逼真的虛擬形象

    如何在NVIDIA ACE中使用AI動畫語音功能打造逼真的虛擬形象呢?

    NVIDIA 近日公布了 NVIDIA Avatar Cloud Engine(ACE)的一系列技術,增強了 AI 虛擬形象和數字人的真實感和可訪問性,這些新的動畫語音功能實現了更自然的對話和情感表達。
    的頭像 發表于 12-15 15:48 ?626次閱讀
    如何在NVIDIA ACE中使用AI<b class='flag-5'>動畫</b>和<b class='flag-5'>語音</b>功能打造逼真的虛擬形象呢?