官方网站-首页官方网站-首页

腾讯混元发布并开源图生视频模型:可生成 5 秒短视频,还能自动配上背景音效

2025-03-07 09:28:42 558

  3 月 6 日消息,从腾讯混元微信公众号获悉,腾讯混元发布图生视频模型并对外开源,同时上线对口型与动作驱动等玩法,并支持生成背景音效及 2K 高质量视频。

腾讯混元发布并开源图生视频模型:可生成 5 秒短视频,还能自动配上背景音效

  基于图生视频的能力,用户只需(xū)上(shàng)传(chuán)一(yī)张(zhāng)图片,并简短描述希望画面如何运动、镜头如何调度等,混元即可按要求让图片动起来,变成 5 秒的短视频,还能自动配上背景音效。此外,上传一张人物图片,并输入希望“对口型”的文字或音频,图片中的人物即可“说话”或“唱歌”;使用“动作驱动”能力,还能一键生成同款跳舞视频。

  目前用户通过混元 AI 视频官网(https://video.hunyuan.tencent.com/)即可体验,企业和开发者可在腾讯云申请使用 API 接口使用。

  此次开源的图生视频模型,是混元文生视频模型开源工作的延续,模型总参数量保持 130 亿,模型适用于多种类型的角色和场景,包括写实视频制作、动漫角色甚至 CGI 角色制作的生成。

  开源内容包含权重、推理代码和 LoRA 训练代码,支持开发者基于混元训练专属 LoRA 等衍生模型。目前在 Github、HuggingFace 等主流开发者社区均可下载体验。

  混元开源技术报告披露,混元视频生成模型具备灵活的扩展性,图生视频和文生视频在相同的数据集上开展预训练工作。在保持超写实画质、流畅演绎大幅度动作、原生镜头切换等特性的基础上,让模型能(néng)够(gòu)捕(bǔ)捉(zhuō)到(dào)丰(fēng)富(fù)的(de)视(shì)觉(jué)和(hé)语(yǔ)义(yì)信(xìn)息(xi),并(bìng)结(jié)合(hé)图(tú)像(xiàng)、文本(běn)、音(yīn)频(pín)和(hé)姿(zī)态(tài)等(děng)多(duō)种(zhǒng)输(shū)入(rù)条(tiáo)件(jiàn),实(shí)现(xiàn)对(duì)生(shēng)成(chéng)视(shì)频(pín)的(de)多(duō)维(wéi)度(dù)控(kòng)制(zhì)

  目(mù)前(qián),混(hùn)元(yuán)开(kāi)源(yuán)系(xì)列(liè)模(mó)型(xíng)已(yǐ)经(jīng)完(wán)整(zhěng)覆(fù)盖(gài)文本(běn)、图(tú)像(xiàng)、视(shì)频(pín)和(hé) 3D 生(shēng)成(chéng)等(děng)多(duō)个(gè)模(mó)态(tài),在(zài) Github 累(lèi)计(jì)获(huò)得(de)超(chāo) 2.3 万(wàn)开(kāi)发(fā)者(zhě)关注(zhù)和 star。