Adobe即將推出基於Firefly的生成式AI視訊工具

Adobe生成式AI視訊工具

據路透社週一(4月24)報道,Adobe宣佈計劃在Premiere Pro和After Effects中加入AI視訊合成工具。這是繼上週宣佈人工智慧驅動的基於文字的視訊編輯將於5月進入Premiere Pro之後的又一訊息。

Adobe的生成式視訊效果將由Adobe Firefly提供。Firefly是一種影象合成模式,此前我們已經介紹過,它將擴充套件到包括視訊和音訊生成工具。Premiere Pro是Adobe的旗艦視訊編輯應用程式,是組裝電視節目和好萊塢電影的流行行業工具。

目前,執行某些特殊效果或編輯任務可能是勞動密集型的。Adobe旨在通過生成式AI的協助來簡化這一過程。在其部落格上釋出的演示影片中,Adobe展示了 “Firefly for Video” 生成背景音樂、生成聲音效果、改變視訊中的視覺季節、對 “molten”一詞生成視覺效果、定位並提亮一個人的臉,以及通過文字命令生成音訊指令碼。

在其宣傳部落格中,Adobe提到了我們可能期望從其新的人工智慧工具中獲得的功能,包括上面列出的一些功能(如生成聲音效果和音樂),但也包括基於文字的顏色增強、文字和標誌動畫、自動故事板建立和創新 “co-pilots”,據稱這些工具可以生成如何幫助使用者掌握編輯技能。

如果這些基於文字的視訊編輯工具看起來很熟悉,那是因為Runway在9月預告了類似的功能,儘管Runway還沒有以預告中的保真度兌現這些承諾。同樣,在產品釋出之前,對Adobe的營銷視訊持謹慎態度可能是明智的。

(只有時間才能告訴我們,Adobe Firefly是否能夠生成威爾-史密斯吃義大利麵條的視訊,並與開源視訊合成模型ModelScope設計的傑作相媲美)。

在上週的一個單獨但相關的公告中,Adobe宣佈它正在將基於文字的視訊編輯整合到Adobe Premiere Pro中,這將允許編輯根據自動檢測到的從視訊剪輯中提取的語音指令碼來修剪和重新安排視訊。以下是Adobe對該功能的描述

Premiere Pro是唯一的專業編輯軟體,納入了基於文字的編輯,通過使視訊編輯像複製和貼上文字一樣簡單,徹底改變了創作者的工作方式。在Adobe Sensei的支援下,基於文字的編輯可以自動分析和轉錄片段,因此編輯、製作人和助理可以簡單地將句子複製和貼上到他們想要的任何順序,並立即看到它們出現在時間線上。轉錄本可以在轉錄視窗中進行搜尋,以確定準確的單詞和短語。

Adobe最初在10月預覽了類似的基於文字的視訊編輯能力,作為 “Blink專案 “的一部分,儘管現在Adobe說這些功能來自其 “Adobe Sensei” 框架。目前還不清楚這種區別是技術上的還是僅僅是品牌上的。值得注意的是,一家名為Descript的公司為視訊和播客編輯提供了類似的功能。

Adobe說它的視訊Firefly功能將在 “今年晚些時候” 開始推出,同時還允許人們註冊試用Firefly,它目前正在進行封閉測試。同時,Adobe承諾,基於文字的視訊編輯將於5月進入Adobe Premiere Pro。

評論留言