您的位置: 首頁 > 推薦

上線文生視頻功能 騰訊大模型再追趕

出處:北京商報 作者:魏蔚 網(wǎng)編:王巍 2024-12-04

11月底就被“劇透”的騰訊混元大模型文生視頻功能,在12月3日正式上線。目前該模型已上線騰訊元寶App,用戶可在AI應(yīng)用中的“AI視頻”板塊申請試用,企業(yè)客戶通過騰訊云提供服務(wù)接入,目前API(應(yīng)用程序編程接口)同步開放內(nèi)測申請。自O(shè)penAI發(fā)布Sora,國內(nèi)外的視頻生成式大模型輪番搶鏡,在國內(nèi)快手和字節(jié)跳動正面交鋒,阿里云、MiniMax、美圖等也有備而來,和同行相比,騰訊混元不算快節(jié)奏。

在提示框輸入一段描述,就可以生成一段視頻,從使用流程看,騰訊混元大模型的文生視頻功能和類似產(chǎn)品無異。在這部分,混元給用戶提供了轉(zhuǎn)場視頻、多動作視頻、超寫實視頻三種靈感提示。

北京商報記者體驗發(fā)現(xiàn),用戶可以選擇寫實、動畫、電影、黑白、賽博朋克5種視頻風(fēng)格及5種比例。高級指令部分的選擇更多,包括景別、光線、鏡頭運動等,其中景別包括特寫、近景等5種,鏡頭運動包括固定鏡頭、手持?jǐn)z影、拉近鏡頭等14種。

根據(jù)騰訊提供的評測報告,騰訊混元視頻生成模型與國內(nèi)兩個同類模型的持續(xù)時間都是5秒,在文本對齊方面的得分分別是61.8%、62.6%、60.1%,運動質(zhì)量方面分別是66.5%、61.7%、62.9%,視覺質(zhì)量方面分別是95.7%、95.6%、97.7%。和GENN-3 alpha(Web)相比,騰訊混元視頻生成模型的持續(xù)時間少一秒,文本對齊高14.1個百分點,運動質(zhì)量高11.8個百分點,視覺質(zhì)量持平。

騰訊混元多模態(tài)生成技術(shù)負(fù)責(zé)人凱撒介紹,混元基于跟Sora類似的DiT架構(gòu),在架構(gòu)設(shè)計上進(jìn)行了升級?;煸曨l生成模型適配新一代文本編碼器提升語義遵循,其語義跟隨能力可以更好地應(yīng)對多個主體描繪,實現(xiàn)更細(xì)致的指令和畫面呈現(xiàn);采用統(tǒng)一的全注意力機(jī)制,使每幀視頻的銜接更流暢,實現(xiàn)主體一致的多視角鏡頭切換;通過圖像視頻混合VAE(3D變分編碼器),讓模型在細(xì)節(jié)表現(xiàn)有明顯提升,特別是小人臉、高速鏡頭等場景。

當(dāng)天,騰訊宣布開源該視頻生成大模型,該模型已在Hugging Face平臺及Github上發(fā)布,包含模型權(quán)重、推理代碼、模型算法等完整模型,企業(yè)與個人開發(fā)者可免費使用和開發(fā)生態(tài)插件。目前,騰訊混元已開源旗下文生文、文生圖和3D生成大模型。

對于為何選在此時上線文生視頻功能,凱撒的回答是:“內(nèi)部一直在進(jìn)行視頻生成能力的打磨,現(xiàn)在上線水到渠成。”業(yè)內(nèi)人士更關(guān)心的是,該功能和同行的幾個月時間差對騰訊的壓力,“視頻生成的成熟度還沒有到外界想象的那么高,從技術(shù)上看還沒有到大規(guī)模商業(yè)化的程度,還在要自己做技術(shù)打磨的階段”,凱撒說。

在和北京商報記者交流時,比達(dá)分析師李錦清表示,“文生視頻的實現(xiàn)難度更高,但商業(yè)空間更大,短期內(nèi)競爭門檻不會馬上建立,行業(yè)和企業(yè)有共性或特性的問題要解決,比如數(shù)據(jù)就是個檻”。

根據(jù)GIR(GlobalInfo Research)調(diào)研,2023年全球文生視頻大模型收入大約720萬美元,預(yù)計2030年達(dá)到22.19億美元,2024—2030年期間,年復(fù)合增長率CAGR有望達(dá)到56.6%。

北京商報記者 魏蔚

右側(cè)廣告
新聞排行

本網(wǎng)站所有內(nèi)容屬北京商報社有限公司,未經(jīng)許可不得轉(zhuǎn)載。 商報總機(jī):010-64101978 媒體合作:010-64101871

商報地址:北京市朝陽區(qū)和平里西街21號 郵編:100013 法律顧問:北京市中同律師事務(wù)所(010-82011988)

網(wǎng)上有害信息舉報  違法和不良信息舉報電話:010-84276691 舉報郵箱:bjsb@bbtnews.com.cn

ICP備案編號:京ICP備08003726號-1  京公網(wǎng)安備11010502045556號  互聯(lián)網(wǎng)新聞信息服務(wù)許可證11120220001號