精品国产人成在线_亚洲高清无码在线观看_国产在线视频国产永久2021_国产AV综合第一页一个的一区免费影院黑人_最近中文字幕MV高清在线视频

0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

除了刷屏的Sora,國內(nèi)外還有哪些AI視頻生成工具

Carol Li ? 來源:電子發(fā)燒友網(wǎng) ? 作者:李彎彎 ? 2024-02-26 08:42 ? 次閱讀



電子發(fā)燒友網(wǎng)報道(文/李彎彎)近日,OpenAI發(fā)布的文生視頻模型Sora全網(wǎng)刷屏。相比之前的文生視頻模型,Sora無論是視頻時長,還是畫面精細(xì)度,細(xì)節(jié)完整性,或是多鏡頭拍攝,都更為突出。Sora的發(fā)布也讓AI生成視頻有了突破性進(jìn)展。

過去一年多,全球科技公司都在發(fā)布各種大模型,然而AI生成內(nèi)容更多集中在文本和圖片方面,AI視頻生成方面卻進(jìn)展緩慢。從當(dāng)前的形勢來看,AI視頻生成在今年或許會有一番新景象。那么目前國內(nèi)外都有哪些AI視頻生成工具,效果如何呢?

Sora

OpenAI發(fā)布的新型視頻生成模型Sora,其核心能力是能夠生成長達(dá)一分鐘的高清視頻,這一時長遠(yuǎn)超之前的生成模型。而且,Sora生成的視頻不僅畫質(zhì)卓越,細(xì)節(jié)豐富,而且?guī)矢摺⑦B續(xù)性好,幾乎達(dá)到了無縫銜接的效果。

從OpenAI官網(wǎng)展示的一個視頻來看,輸入提示詞“一位時尚女士走在東京的街道上,街道上充滿了溫暖的霓虹燈和動畫城市標(biāo)志。她穿著黑色皮夾克、紅色長裙和黑色靴子,拿著一個黑色錢包。她戴著太陽鏡,涂著紅色口紅。她走路自信而隨意。街道潮濕且反光,形成了五顏六色燈光的鏡面效果。許多行人四處走動。”

生成的視頻,無論是運(yùn)鏡還是人物、地面、背景的細(xì)節(jié),還有拉進(jìn)鏡頭后人物面部上的皺紋、毛發(fā)、墨鏡上的反光,都幾乎可以以假亂真,畫面穩(wěn)定不錯位。在長達(dá)60秒的視頻里,畫面隨鏡頭的大幅度運(yùn)動并沒有出現(xiàn)錯位的情況,整體風(fēng)格保持了驚人的一致性。

據(jù)IDC中國預(yù)測,Sora將率先在短視頻、廣告、互動娛樂、影視制作和媒體等行業(yè)中得到應(yīng)用。在這些領(lǐng)域,利用Sora的多模態(tài)大模型能力,可以輔助內(nèi)容行業(yè)的工作者更高效地創(chuàng)作視頻,不僅加快了生產(chǎn)速度,還提高了產(chǎn)出數(shù)量,并為用戶帶來前所未有的視覺體驗(yàn)。這將助力企業(yè)實(shí)現(xiàn)成本降低、效率提升,并進(jìn)一步優(yōu)化用戶體驗(yàn)。

Pika 1.0

在OpenAI發(fā)布視頻生成模型Sora之前,去年11月29日,美國AI初創(chuàng)公司Pika labs發(fā)布的文生視頻產(chǎn)品Pika 1.0呈現(xiàn)的效果在當(dāng)時也相當(dāng)驚艷。Pika labs是一家成立于去年4月份的初創(chuàng)公司,創(chuàng)始人郭文景和聯(lián)合創(chuàng)始人兼CTO Chenlin Meng,都是斯坦福大學(xué)AI Lab博士生。一位專注于NLP(自然語言處理)和圖形學(xué),另一位主攻計算機(jī)視覺方向。

據(jù)介紹,該公司推出的視頻生成模型Pika 1.0能夠生成和編輯3D動畫、動漫、卡通和電影。視頻生成方面,可以通過文字生成視頻,也可以圖片生成視頻。比如,只需輸入提示詞“馬斯克穿著太空服,3D動畫”,一個動畫版本、穿著太空服準(zhǔn)備乘坐火箭上太空的馬斯克即可生成,外形、動作、背景等元素均十分逼真,可以媲美花大成本制作的3D動畫影像。

Pika 1.0還可以通過原有視頻生成更高質(zhì)量的視頻。該公司當(dāng)時展示了一個騎馬的黑白原視頻,通過Pika 1.0生成了物種不同風(fēng)格的動畫,幾乎涵蓋現(xiàn)有電影和動畫大部分風(fēng)格,看上去質(zhì)量效果非常好。除了視頻生成,Pika 1.0還能夠進(jìn)行視頻編輯,用戶只需要選定編輯區(qū)域,就能根據(jù)文本提示詞修改特定區(qū)域。

在當(dāng)時來看,Pika 1.0的出現(xiàn)可以說效果好于之前的文生視頻模型。然而隨著現(xiàn)在Sora的出現(xiàn),Pika或許會感覺到壓力。Pika公司創(chuàng)始人郭文景表示,“我們覺得這是一個很振奮人心的消息,我們已經(jīng)在籌備升級中,將直接對標(biāo) Sora。”

Gen-2

相比于OpenAI和Pika,成立于2018年的AI初創(chuàng)公司Runway應(yīng)該是最早探索視頻生成領(lǐng)域的企業(yè)。2022年2月,Runway發(fā)布了Gen-1,可以對原視頻進(jìn)行風(fēng)格化的編輯。3月該公司又發(fā)布了生成式AI視頻模型Gen-2,允許用戶輸入文本提示生成四秒長視頻,8月,Runway添加了一個選項(xiàng),可以將 Gen-2 中人工智能生成的視頻延長至 18 秒。

在隨后的幾個月,Runway還對Gen-2 做了幾次更新。之后更是推出動態(tài)筆刷Motion Brush,它是Runway視頻生成工具Gen-2的一部分。Runway動態(tài)筆刷是一種利用人工智能技術(shù)讓靜止圖片中的物體動起來的功能,你只需要在圖片上用畫筆涂抹你想要動起來的部分,Runway就會自動識別物體的運(yùn)動軌跡和特征,生成逼真的動態(tài)效果。該工具的發(fā)布引起業(yè)界不小的關(guān)注。

在Pika 1.0和Sora出現(xiàn)之前,Runway的Gen-2模型被認(rèn)為是AI視頻制作的頂尖模型,它制作出來的視頻效果逼真、流暢、高清。隨著OpenAI Sora的發(fā)布,Runway接下來或許會有新動作,在Sora發(fā)布之后,Runway CEO第一時間在X上發(fā)推特稱“game on(競爭開始了)”。

Stable Video Diffusion

在圖片生成領(lǐng)域遙遙領(lǐng)先的Stability AI,去年11月發(fā)布了其最新的AI模型Stable Video Diffusion,這款模型能夠通過現(xiàn)有圖片生成視頻,是基于之前發(fā)布的Stable Diffusion文本轉(zhuǎn)圖片模型的延伸,不過當(dāng)時,這款模型并不是對所有人開放的。

據(jù)介紹,Stable Video Diffusion當(dāng)時還處于Stability AI所謂的“研究預(yù)覽”階段。想要使用這款模型的人必須同意一些使用條款,其中規(guī)定了Stable Video Diffusion的預(yù)期應(yīng)用場景(例如教育或創(chuàng)意工具、設(shè)計和其他藝術(shù)過程等)和非預(yù)期的場景(例如對人或事件的事實(shí)或真實(shí)的表達(dá))。

從網(wǎng)友對比反饋來看,Stable Video Diffusion生成視頻的效果可以與當(dāng)時被看好的的Runway 和Pika Labs 的AI生成視頻相媲美。不過局限性在于,Stability AI的視頻生成模型,不能生成沒有運(yùn)動或緩慢的攝像機(jī)平移的視頻,也不能通過文本進(jìn)行控制,也不能渲染文字(至少不能清晰地渲染),也不能一致地“正確地”生成人臉和人物。

寫在最后

目前來看,在視頻生成方面,表現(xiàn)比較優(yōu)秀的幾個模型就是上文提到的OpenAI發(fā)布的Sora,以及Pika labs、Runway、Stability AI發(fā)布的視頻模型。其中Sora無論是在時長,還是運(yùn)鏡、畫面細(xì)節(jié)等方面都更為突出。Stability AI的模型目前還不能進(jìn)行文本生成視頻。

除了這幾款視頻生成工具之外,還有一些企業(yè)在文生視頻方面也有動作,包括Adobe,該公司宣布已收購AI視頻生成創(chuàng)業(yè)公司Rephrase.ai;谷歌,其團(tuán)隊(duì)已經(jīng)發(fā)布發(fā)布了視頻生成模型VideoPoet。

國內(nèi)的字節(jié)跳動、百度、阿里在這方面也有動作。字節(jié)跳動此前就推出了一款視頻模型Boximator,可以通過文本精準(zhǔn)控制生成視頻中人物或物體的動作。不過近日,字節(jié)跳動對此回應(yīng)稱,Boximator是視頻生成領(lǐng)域控制對象運(yùn)動的技術(shù)方法研究項(xiàng)目,目前還無法作為完善的產(chǎn)品落地,距離國外領(lǐng)先的視頻生成模型在畫面質(zhì)量、保真率、視頻時長等方面還有很大差距。

另外值得關(guān)注的是,2月23日消息,谷歌資深科學(xué)家、VideoPoet項(xiàng)目負(fù)責(zé)人蔣路已加入字節(jié)跳動旗下短視頻社交平臺TikTok。字節(jié)跳動接下來在視頻生成方面的研究還是可以期待一下。

早前就傳出百度文心大模型視頻生成功能在內(nèi)測中,不過目前還沒進(jìn)展的消息。阿里在去年底也上線了Animate Anyone模型,通過一張圖片就能生成視頻,當(dāng)時有網(wǎng)友用一張照片生成了一段跳舞視頻,每一個動作都十分自然,幾乎可以亂真,在網(wǎng)絡(luò)上引起大量傳播。

總的來說,目前國內(nèi)外已經(jīng)有不少企業(yè)在探索視頻生成領(lǐng)域,包括國內(nèi)的字節(jié)跳動、百度、阿里,雖然已經(jīng)逐漸有一些進(jìn)展。不過相比OpenAI、Pika labs、Runway等的視頻模型,還存在差距。

聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • OpenAI
    +關(guān)注

    關(guān)注

    9

    文章

    1042

    瀏覽量

    6404
  • 大模型
    +關(guān)注

    關(guān)注

    2

    文章

    2322

    瀏覽量

    2479
  • Sora
    +關(guān)注

    關(guān)注

    0

    文章

    76

    瀏覽量

    190
收藏 人收藏

    評論

    相關(guān)推薦

    阿里云視頻生成技術(shù)創(chuàng)新!視頻生成使用了哪些AI技術(shù)和算法

    照片就能讓 EMO 合成演戲唱歌視頻。 ? 阿里云在視頻生成領(lǐng)域的創(chuàng)新 ? EMO(Emote Portrait Alive)是一個由阿里巴巴集團(tuán)智能計算研究院開發(fā)的框架,一個音頻驅(qū)動的 AI 肖像
    的頭像 發(fā)表于 05-08 00:07 ?3320次閱讀

    智譜AI正研發(fā)對標(biāo)Sora的國產(chǎn)文生視頻模型

    智譜AI,這家國內(nèi)估值超過200億的AI大模型獨(dú)角獸企業(yè),正全力投入研發(fā)一款與OpenAI的Sora相媲美的國產(chǎn)文生視頻模型。據(jù)公司內(nèi)部人士
    的頭像 發(fā)表于 05-07 09:22 ?499次閱讀

    OpenAI視頻生成工具Sora將于年內(nèi)正式向公眾推出

    OpenAI的首席技術(shù)官M(fèi)ira Murati在近期采訪中透露,公司正計劃在今年晚些時候正式向公眾正式推出其視頻生成工具Sora。Murati表示,盡管具體的推出時間可能需要幾個月,但OpenAI正在積極準(zhǔn)備,并期待在未來能夠?yàn)?/div>
    的頭像 發(fā)表于 03-19 11:41 ?839次閱讀

    新火種AI|圍攻光明頂:Sora效應(yīng)下的AI視頻生成競賽

    Sora的出現(xiàn),讓AI視頻生成領(lǐng)域真正“活”了起來
    的頭像 發(fā)表于 03-16 11:12 ?601次閱讀

    OpenAI表示Sora還有很長的路要走

    近日,OpenAI發(fā)布的Sora視頻生成器在技術(shù)圈內(nèi)引起了廣泛關(guān)注。盡管其初步展示的效果令人印象深刻,但該工具目前仍處在研究階段,距離實(shí)際應(yīng)用還有相當(dāng)?shù)木嚯x。
    的頭像 發(fā)表于 02-27 17:38 ?685次閱讀

    OpenAI文生視頻模型Sora要點(diǎn)分析

    近日,美國人工智能公司OpenAI發(fā)布了首個視頻生成模型Sora。不同于此前許多AI大模型文生圖或視頻時,會出現(xiàn)人物形象前后不一致等問題
    的頭像 發(fā)表于 02-22 16:37 ?1001次閱讀
    OpenAI文生<b class='flag-5'>視頻</b>模型<b class='flag-5'>Sora</b>要點(diǎn)分析

    OpenAI 在 AI 生成視頻領(lǐng)域扔出一枚“王炸”,視頻生成模型“Sora

    ABSTRACT摘要2月16日凌晨,也就是中國大年初七,OpenAI在AI生成視頻領(lǐng)域扔出一枚“王炸”,宣布推出全新的生成式人工智能模型“Sora
    的頭像 發(fā)表于 02-22 08:25 ?345次閱讀
    OpenAI 在 <b class='flag-5'>AI</b> <b class='flag-5'>生成</b><b class='flag-5'>視頻</b>領(lǐng)域扔出一枚“王炸”,<b class='flag-5'>視頻生成</b>模型“<b class='flag-5'>Sora</b>”

    openai發(fā)布首個視頻生成模型sora

    美國當(dāng)?shù)貢r間2024年2月15日 ,OpenAI正式發(fā)布文生視頻模型Sora ,并發(fā)布了48個文生視頻案例和技術(shù)報告 ,正式入局視頻生成領(lǐng)域 。So
    的頭像 發(fā)表于 02-21 16:45 ?1176次閱讀

    馬斯克稱特斯拉視頻生成技術(shù)超過Sora

    特斯拉CEO埃隆·馬斯克在社交媒體平臺上發(fā)表言論,聲稱特斯拉所掌握的視頻生成技術(shù)超越了OpenAI最新發(fā)布的Sora模型。馬斯克自信地表示,特斯拉在這一領(lǐng)域的技術(shù)實(shí)力堪稱全球頂尖,甚至超越了OpenAI這一人工智能領(lǐng)域的佼佼者。
    的頭像 發(fā)表于 02-20 14:16 ?572次閱讀

    OpenAI發(fā)布Sora模型,瞬間生成高清大片

    近日,人工智能領(lǐng)域的領(lǐng)軍企業(yè)OpenAI發(fā)布了一款名為“Sora”的視頻生成AI模型,再次展示了其在AI技術(shù)領(lǐng)域的創(chuàng)新實(shí)力。Sora以其出色
    的頭像 發(fā)表于 02-20 13:33 ?753次閱讀

    探索OpenAI Sora視頻AI生成技術(shù)及其應(yīng)用如何使用指南

    OpenAI的Sora現(xiàn)已擴(kuò)展其能力范圍,進(jìn)入視頻生成領(lǐng)域,標(biāo)志著人工智能技術(shù)在多媒體內(nèi)容創(chuàng)作上的一個重大突破。Sora視頻AI功能使得用
    的頭像 發(fā)表于 02-20 12:01 ?1398次閱讀

    OpenAI新年開出王炸,視頻生成模型Sora問世

    近日,OpenAI在AI生成視頻領(lǐng)域取得重大突破,發(fā)布了全新的生成式人工智能模型“Sora”。該模型在
    的頭像 發(fā)表于 02-20 11:46 ?737次閱讀

    AI視頻年大爆發(fā)!2023年AI視頻生成領(lǐng)域的現(xiàn)狀全盤點(diǎn)

    2023年,也是AI視頻元年。過去一年究竟有哪些爆款應(yīng)用誕生,未來視頻生成領(lǐng)域面臨的難題還有哪些?
    的頭像 發(fā)表于 02-20 10:40 ?1132次閱讀
    <b class='flag-5'>AI</b><b class='flag-5'>視頻</b>年大爆發(fā)!2023年<b class='flag-5'>AI</b><b class='flag-5'>視頻生成</b>領(lǐng)域的現(xiàn)狀全盤點(diǎn)

    OpenAI發(fā)布文生視頻模型Sora,引領(lǐng)AI視頻生成新紀(jì)元

    在人工智能(AI)領(lǐng)域掀起新一輪革命浪潮的,正是OpenAI最新推出的文生視頻大模型——Sora。這款被業(yè)界廣泛贊譽(yù)的模型,以其“逼真”和“富有想象力”的視頻生成能力,徹底顛覆了傳統(tǒng)
    的頭像 發(fā)表于 02-19 11:03 ?884次閱讀

    OpenAI發(fā)布首個視頻生成模型Sora

    OpenAI近日宣布推出其全新的文本到視頻生成模型——Sora。這一突破性的技術(shù)將視頻創(chuàng)作帶入了一個全新的紀(jì)元,為用戶提供了前所未有的創(chuàng)作可能性。
    的頭像 發(fā)表于 02-18 10:07 ?1002次閱讀