火爆了，Deepsek如何制作萌娃唱歌视频
嗨，我是开心，一个35+中年少女，利用业余时间深耕自媒体AI视频，剪辑制作。
最近是不是经常在抖音刷到萌娃开口说话和唱歌的视频如这样的
一个视频点赞都好几万。
这种视频的制作方法超极简单，今天我给大家分享一下，喜欢的话可以收藏起来试着制作一下，挺好玩的。
第一，我们需要一张萌娃的照片，如果自己有孩子照片也可以用。
打开Deepsek输入一段提示词
帮我生成一张三岁左右萌娃照片，提示词是这样的：头顶扎着双马尾，穿红色喜庆衣服，背景也是红色的，非常可爱
复制上面文案
"一个超可爱的3岁亚裔女童，圆圆的脸颊，闪亮的杏仁眼，灿烂的笑容，穿着带有金色刺绣图案的红色缎面传统新年服饰。头发梳成两个高马尾，用红丝带系着，站在有微妙金色光粒子的温暖红色背景前。柔和的漫射光线营造出温馨的节日氛围，8K超高清细节，皮克斯风格的3D渲染，带有柔和的阴影和鲜艳的色彩。"
打开即梦
点击最下方想象粘贴文案
点击生成
这里会一次生成四张图片，选择自己喜欢的
点击超清
再选择图片点击数字人
我们先做第一种
萌娃开口说话
输入你想说的内容
选择喜欢的音色
点击立即生成即可
这样一张萌娃开口说话的视频就完成了
第二种萌娃唱歌视频
首先我们需要准备一段音频
打开抖音搜索你喜欢的音乐
选择分享
选择保存本地
这样一段音频就有了
再回到即梦
导入保存好的音频
选择一个喜欢的声音
视频制作完成下面看看效果
是不是很简单
2025希望越来越好，付出的努力终将成为自己抵御生活的利剑，斩断所有不如意。
加油
夸克、浙大开源OmniAvatar，一张图+一段音，就能生成长视频
近期，夸克技术团队和浙江大学联合开源了OmniAvatar，这是一个创新的音频驱动全身视频生成模型，只需要输入一张图片和一段音频，OmniAvatar即可生成相应视频，且显著提升了画面中人物的唇形同步细节和全身动作的流畅性。此外，还可通过提示词进一步精准控制人物姿势、情绪、场景等要素。
OmniAvatar已开源：
Model：https://huggingface.co/OmniAvatar/OmniAvatar-14BCode：https://github.com/Omni-Avatar/OmniAvatarArxiv：https://arxiv.org/abs/2506.18866Project Page：https://omni-avatar.github.io/以下，是OmniAvatar在播客、唱歌、交互、动态背景等场景下的部分案例。
https://mp.weixin.qq.com/s/kSuN83WsDsQYmNs89e_wdg
实验表明，OmniAvatar在唇形同步、面部及半身视频生成、文本控制等多个维度上，均取得领先表现，并更好地平衡了视频质量、准确度、审美三要素。
此外，OmniAvatar专门针对长视频生成进行了优化，可以更好地保持人物一致性和时间连贯性。
模型能力
图片+音频=全身视频
当前，音频驱动人体运动的技术已取得显著进展，但大多数方法仍集中在面部运动，缺乏全身驱动的能力，且难以进行精确的提示词控制。
OmniAvatar以Wan2.1-T2V-14B为基础模型，利用LoRA方法进行微调，有效地引入了音频特征。这种结合不仅保留了Wan2.1-T2V-14B在视频生成方面的强大能力，还提高了模型对音频输入的适应性和生成质量。
OmniAvatar架构图
接下来，我们将通过一些具体案例，更详细地展示模型在多种场景下的能力。
OmniAvatar能够根据输入的音频和提示词，生成虚拟人物视频，其中，人物的唇形运动与音频内容吻合，场景则反映了提示词内容：
视频加载中...
通过调整提示词，还可实现对人物情绪的精确控制：
视频加载中...
在带有镜头运动的场景中，OmniAvatar仍能够保持面部、动作和背景的自然流畅，展现了模型在动态场景下的强大适应能力：
视频加载中...
对于长视频生成，OmniAvatar通过参考图像嵌入策略和帧重叠技术，确保了视频的连贯性和人物身份的一致性：
视频加载中...
像素级多层次音频嵌入策略
精准唇部运动+自然肢体动作
大多数现有方法通常依赖交叉注意力机制来引入音频特征，虽然效果良好，但会引入大量额外的计算开销，并且容易过度关注音频与面部特征之间的关系。
针对这一问题，团队提出了一种基于像素的音频嵌入策略，使音频特征可以直接在模型的潜在空间中以像素级的方式融入。通过这一方法，不仅可以自然地将唇部运动与音频内容对齐，还能够确保音频信息在整个视频像素中均匀分布，从而使模型生成更协调、更自然的身体动作来匹配音频。
该策略首先使用Wav2Vec2模型提取音频特征，然后对这些特征进行分组打包和压缩，再通过音频打包模块映射到视频的潜在空间中。
接下来，为了确保模型在深层网络中能有效地学习和保留音频特征，OmniAvatar采用了一种多层级音频嵌入策略，将音频信息嵌入到DiT模块的不同阶段中。为防止音频特征对潜在空间产生过度干扰，音频嵌入仅应用于模型的第二层至中间层之间的模块 。此外，这些层的权重不共享，使模型能够在不同层次上保持独立的学习路径。
基于LoRA的优化策略
平衡微调，兼顾质量与细节
目前，针对音频条件扩散模型的方法主要遵循两种策略：一种是训练完整的模型，另一种是仅微调特定层。
在进行完整训练时，团队发现更新所有层反而会导致模型生成的连贯性和视频质量下降。具体来看，由于模型过度拟合人类语音数据集，导致泛化能力差，容易生成不切实际或静态的内容，难以捕捉细节。但另一方面，仅微调和音频特征相关的层会导致音频和视频之间的对齐效果差，唇形同步性能受损。
效果对比
为了解决这些挑战，团队提出了一种基于LoRA的平衡微调策略。该策略不同于以上两种方法，而是使用LoRA策略高效地适应模型。LoRA通过在注意力和前向传播（FFN）层的权重更新中引入低秩矩阵，使模型能够在不改变底层模型容量的情况下学习音频特征。
长视频生成
身份保留+时间一致性
长视频连续生成是音频驱动视频生成的难点，也是一项关键挑战。为此，团队提出了参考图嵌入和重叠帧策略，以实现人物的身份保留和时间一致性。
代码示例
身份保留。OmniAvatar引入了一个参考帧，作为人物身份的固定指导。具体来看，首先需提取参考帧的潜在表示；然后将这些表示多次重复，使其长度与视频帧数匹配；接下来，再在每个时间步，将这个重复的参考帧潜在表示与视频潜在表示进行连接。因此，通过参考帧设计，可有效锚定人物身份，确保在整个长视频序列中的人物一致性。
时间一致性。为了实现无缝的视频连续性，OmniAvatar采用了一种潜在重叠策略。首先，在训练时使用单帧和多帧前缀潜在变量的组合进行训练；其次，在推理过程中，对于第一批的帧，参考帧既作为前缀潜在变量，又作为身份指导；对于后续批次，则用前一组的最后帧作为潜在变量，参考帧仍保持固定用作身份指导。
One More Thing
OmniAvatar是团队在多模态视频生成上的初步尝试，并在实验数据集上得到了初步验证，但尚未达到产品级应用水平。未来，团队还将在复杂指令处理能力、多角色交互等方面进一步探索，扩大模型在更多场景中的应用。
相关问答
直播唱歌背景视频怎么弄?
1需要准备一段背景视频来配合直播唱歌。2可以通过以下方式制作背景视频:a.使用手机或相机拍摄自己喜欢的风景或场景;b.在电脑上使用视频编辑软件将拍摄的视...
手机直播唱歌用什么来做背景最好?
手机直播唱歌时,可以选择以下几种背景来增加视觉效果:1.简约背景:使用简单的纯色或渐变色作为背景,让观众更加注重歌手的表演。2.色彩丰富的背景:使用颜...
怎么拍歌手唱歌自己照片做背景?
要拍摄歌手唱歌并将其照片用作背景,可以按照以下步骤操作:选择拍摄场地和角度:找到一个可以清晰地拍摄到歌手唱歌的场地,选择一个合适的角度进行拍摄。尽量...
背景唱歌视频怎么剪辑?
在剪辑背景唱歌视频时,您可以考虑以下步骤和技巧来制作出精美的视频:1.**选择合适的视频剪辑软件**:推荐使用剪映,它是一款功能强大且易于上手的视频编辑工...
拍好的唱歌视频怎么换背景?
可以通过以下步骤来换歌曲视频背景:1.打开短视频编辑器软件,选择需要编辑的视频。2.进入编辑界面后,在底部工具栏中找到“背景音乐”或“背景素材”选项,...
么更换快手唱歌视频的背景?
可以用剪辑软件,把音乐拿出来,换个背景就好了。可以用剪辑软件,把音乐拿出来,换个背景就好了。
唱歌视频咋添加背景颜色?
关于这个问题,要在唱歌视频中添加背景颜色,您可以使用视频编辑软件。以下是一些常用的方法:1.使用视频编辑软件(如AdobePremierePro、FinalCutPro等)...
自拍唱歌背景怎么弄出来?
要想拍出好看的自拍唱歌背景,首先要选择一个有趣、美丽的背景。可以选择有特色的建筑、自然风光或者街头小巷等。然后要注意拍摄角度和光线,用好手机或相机的...
直播背景能不能用唱歌做背景?
直播背景是可以使用唱歌作为背景音乐的。实际上,很多直播主播都会选择使用背景音乐来增加直播的氛围和趣味性。唱歌作为背景音乐时,需要确保音量适中,不要影响...
唱歌视频怎么虚化背景?
1可以使用视频编辑软件对唱歌视频进行虚化处理,从而达到虚化背景的效果。2虚化背景的原理是通过模糊背景来减少背景的干扰,使主体更加突出。在视频编辑软件...