3 月 6 日消息,從騰訊混元微信公眾號獲悉,騰訊混元發布圖生視頻模型并對外開源,同時上線對口型與動作驅動等玩法,并支持生成背景音效及 2K 高質量視頻。
基于圖生視頻的能力,用戶只需上傳一張圖片,并簡短描述希望畫面如何運動、鏡頭如何調度等,混元即可按要求讓圖片動起來,變成 5 秒的短視頻,還能自動配上背景音效。此外,上傳一張人物圖片,并輸入希望 " 對口型 " 的文字或音頻,圖片中的人物即可 " 說話 " 或 " 唱歌 ";使用 " 動作驅動 " 能力,還能一鍵生成同款跳舞視頻。
目前用戶通過混元 AI 視頻官網(https://video.hunyuan.tencent.com/)即可體驗,企業和開發者可在騰訊云申請使用 API 接口使用。
此次開源的圖生視頻模型,是混元文生視頻模型開源工作的延續,模型總參數量保持 130 億,模型適用于多種類型的角色和場景,包括寫實視頻制作、動漫角色甚至 CGI 角色制作的生成。
開源內容包含權重、推理代碼和 LoRA 訓練代碼,支持開發者基于混元訓練專屬 LoRA 等衍生模型。目前在 Github、HuggingFace 等主流開發者社區均可下載體驗。
混元開源技術報告披露,混元視頻生成模型具備靈活的擴展性,圖生視頻和文生視頻在相同的數據集上開展預訓練工作。在保持超寫實畫質、流暢演繹大幅度動作、原生鏡頭切換等特性的基礎上,讓模型能夠捕捉到豐富的視覺和語義信息,并結合圖像、文本、音頻和姿態等多種輸入條件,實現對生成視頻的多維度控制。
目前,混元開源系列模型已經完整覆蓋文本、圖像、視頻和 3D 生成等多個模態,在 Github 累計獲得超 2.3 萬開發者關注和 star。
本站內容除特別聲明的原創文章之外,轉載內容只為傳遞更多信息,并不代表本網站贊同其觀點。轉載的所有的文章、圖片、音/視頻文件等資料的版權歸版權所有權人所有。本站采用的非本站原創文章及圖片等內容無法一一聯系確認版權者。如涉及作品內容、版權和其它問題,請及時通過電子郵件或電話通知我們,以便迅速采取適當措施,避免給雙方造成不必要的經濟損失。聯系電話:010-82306118;郵箱:aet@chinaaet.com。