智谱AI杀入视频生成：「清影」上线，时长6秒，免费不限量
机器之心报道
机器之心编辑部
智谱大模型团队自研打造。
自从快手可灵 AI 火爆海内外，国内视频生成也如同 2023 年的文本大模型一样，越来越卷了。
刚刚，又一视频生成大模型产品宣布正式上线：智谱 AI 正式发布「清影」。只要你有好的创意（几个字到几百个字），再加上一点点耐心（30 秒），「清影」就能生成 1440x960 清晰度的高精度视频。
视频加载中...
即日起，清影上线清言 App，所有用户都可以全方位体验对话、图片、视频、代码和 Agent 生成功能。除了覆盖智谱清言的网页端和 App，你也可以在「AI 动态照片小程序」上进行操作，快速为手机里的照片实现动态效果。
智谱「清影」生成的视频时长有 6 秒，清晰度达到 1440×960，所有用户均可以免费使用。
PC 端访问链接：https://chatglm.cn/移动端访问链接：https://chatglm.cn/download?fr=web_home智谱 AI 表示，随着技术的不断发展，「清影」的生成能力很快将可以用于短视频制作，广告生成甚至电影剪辑等工作中。
在生成式 AI 视频模型的研发中，Scaling Law 继续在算法和数据两方面发挥作用。「我们积极在模型层面探索更高效的 scaling 方式。」在智谱 Open Day 上，智谱 AI CEO 张鹏表示：「随着算法、数据不断迭代，相信 Scaling Law 将继续发挥强有力作用。」
拿捏各种风格
从目前的一些 Demo，以及简单试用的情况看来，智谱 AI 的「清影」具有如下特点：
在风景、动物、科幻、人文历史等类型的视频内容上生成的表现较好；擅长生成的视频风格包括卡通风格、真实摄影风格、二次元动漫风格等；实体类型呈现效果上看，动物 > 植物 > 物品 > 建筑 > 人物。它既可以文字生成视频，也可以完成图生视频，生成的风格覆盖奇幻动画风格。
文生视频
提示词：低角度向上推进，缓缓抬头，冰山上突然出现一条恶龙，然后恶龙发现你，冲向你。好莱坞电影风。
提示词：一个法师正在海浪中施展法术，宝石将海水都聚集过来，打开了一道魔法传送门。
提示词：蘑菇变成小熊。
到真实景物：
提示词：在一片森林中，人视，参天大树遮蔽着太阳，树叶的缝隙中洒下一些阳光，丁达尔效应。
提示词：一只水豚鼠像人一样站立着，手里拿着冰激凌，开心得吃起来。
图生视频
除了文本生成视频，也可以到清影上玩图片生成视频。图生视频带来了更多的新玩法，包括表情包梗图、广告制作、剧情创作、短视频创作等。同时，基于清影的「老照片动起来」小程序也会同步上线，只需一步上传老照片，AI 就能让凝练在旧时光中的照片灵动起来。
提示词：一条自由移动的七彩鱼。
提示词：图中男子站起来，风吹着他的头发。
提示词：小黄鸭玩具漂浮在游泳池的水面，特写。
再到现代艺术：
提示词：摄像机围绕着一大堆老式电视旋转，这些电视播放着不同的节目 ——20 世纪 50 年代的科幻电影、恐怖电影、新闻、静态、70 年代的情景喜剧等，背景设在纽约博物馆的一个大型画廊里。
提示词：掏出一个苹果手机拍照。
无提示词。
你常用的表情包，智谱 AI 能把它延长成「连续剧」。
提示词：师徒四人伸出手互相击掌，脸上是困惑的表情。
视频链接：https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA
提示词：小猫张大了嘴，脸上是困惑表情，很多问号。
视频链接：https://mp.weixin.qq.com/s/fNsMxyuutjVkEtX_xRnsMA
可以看出，清影各类风格都可以拿捏，还有更多的玩法等待人们来发掘。只需要在智谱清言 PC/APP 上，点击「清影智能体」功能，就可以让你的每一个创意在瞬间化为现实。
全自研技术
All in 大模型的智谱 AI，很早就开始部署多模态生成式 AI 模型。从 2021 年开始，智谱 AI 先后发布了 CogView（NeurIPS’21）、 CogView2（NeurIPS’22）、CogVideo（ICLR’23）、Relay Diffusion（ICLR’24）、CogView3 （2024）等多项研究。
据介绍，「清影」依托于智谱 AI 大模型团队自研打造的新一代视频生成大模型 CogVideoX。
去年 11 月，其团队基于文生图模型 CogView2 打造出了文本到视频生成模型 CogVideo，并随后将其开源。
CogVideo 拥有 94 亿参数，它通过 CogView2 生成一系列初始帧，基于双向注意力模型对图像进行插帧的方法实现视频生成。此外，CogVideo 根据文本描述生成 3D 环境，可直接利用预训练模型，避免了昂贵的训练，它也支持中文的 Prompt 输入。
本次清影底座的视频生成模型是 CogVideoX，它能将文本、时间、空间三个维度融合起来，参考了 Sora 的算法设计，它也是一个 DiT 架构，通过优化，CogVideoX 相比前代（CogVideo）推理速度提升了 6 倍。
OpenAI 的 Sora 横空出世，让 AI 在视频生成方面取得了显著进展，但大多数模型在生成具有连贯性和逻辑一致性的视频内容方面仍然存在困难。
为了解决这些问题，智谱 AI 自研了一个高效的三维变分自编码器结构（3D VAE），可以将原视频空间极致压缩到 2%，使得模型训练成本大幅下降，训练难度也大大降低。
模型结构采用因果三维卷积（Causal 3D convolution）为主要模型组件，并将自编码器中常用的注意力模块移除，使得模型具备不同分辨率迁移使用的能力。
同时，在时间维度上因果卷积使得模型视频编解码具备从前向后的序列独立性， 这有助于通过微调将模型扩展到更高帧率和更长时间的场景。
除此以外，视频生成还面临这样一个问题，即视频数据大多缺乏对应的描述性文本或者描述质量低下，为此智谱 AI 自研了一个端到端的视频理解模型，用于为海量的视频数据生成详细的、贴合内容的描述，进而构建海量的高质量视频文本对，使得训练出的模型指令遵循度高。
最后值得一提的是，智谱 AI 自研了一个将文本、时间、空间融合起来的 transformer 架构，该架构没有采用传统 cross attention 模块，而是在输入阶段就将文本嵌入和视频嵌入连接起来，以便更充分地进行两种模态的交互。
然而文本和视频特征空间存在很大差异，智谱 AI 通过 expert adaptive layernorm 对两者分别进行处理，使得模型能够高效利用参数来更好地将视觉信息与语义信息对齐。
智谱 AI 表示，通过优化技术，智谱 AI 生成式视频模型的推理速度提升了 6 倍。目前生成 6s 视频，模型花费的理论时间是 30 秒钟。
如今随着「清影」的上线，视频生成赛道又出现了智谱 AI 这位重磅玩家。
除了人人都能尝试的应用之外，清影 API 也同步上线大模型开放平台 bigmodel.cn，企业和开发者可以通过调用 API 的方式，体验和使用文生视频以及图生视频的模型能力。
随着各家公司 AI 视频生成功能的不断上线，今年的生成式 AI 竞赛已经进入白热化阶段。对于大多数用户来说，选择也更多了：现在，无论是完全没有视频制作基础的人，还是专业的内容创作者，都能借助大模型能力实现视频创作。
视频创作革命！6款必火AI神器，文生图动，一键生成电影级视频！
AI工具层出不穷，每日关注，助你轻松掌握高效创作神器！ 欢迎来到荣茂AI笔记，分享普通人也能用的AI心得！
近期，不少朋友对AI视频生成工具表现出浓厚兴趣，经过深入调研，我精心筛选出6款极具创意与实用性的AI视频创作神器。。每款工具都独具匠心，能够极大地拓展视频创作的边界，提升创作效率与品质。以下推荐不分先后，欢迎大家体验并分享你的创作心得。
1.即梦AI Dreamina
支持平台：网页版
即梦Dreamina，作为“剪映”匠心打造的AI创作神器，汇聚了丰富多样的智能化创作工具。该平台支持用户仅凭文字描述自动生成精美图片与动态视频，同时具备将静态图片一键转化为生动视频的先进功能。这一创新设计极大地拓宽了用户的创作边界，让灵感与创意的实现变得前所未有的便捷与高效，全面升级了用户的创作享受与工作效率。
即梦Dreamina的核心功能亮点纷呈，具体包括：
文字生成图片：用户可灵活选择心仪的参考图，细致调整模型、精细度，并自定义图片的理想尺寸与比例，轻松将文字创意转化为视觉盛宴。
文字或图片生成视频：这一功能赋予用户高度自定义权，从运镜技巧、运动速度到生成时长、视频比例，每一细节均可按需设定。更贴心的是，还支持添加首帧与尾帧图片，为视频创作增添个性化开场与收尾，让故事更加完整动人。
智能画布：即梦Dreamina的智能画布功能，让用户的想象力得以自由驰骋。通过简单的提示词，即可在画布上实时绘制出独特图像，实现创意的即时可视化，激发无限可能。
活动与探索：平台不仅提供了丰富多样的官方活动，鼓励用户参与创作挑战，还精心准备了使用示例与教程，旨在帮助每一位创作者更好地掌握即梦Dreamina的强大功能，探索创作的无限边界，让创作之旅更加顺畅愉悦。
而且平台还会不定期做一些有奖励的官方活动，比如前段时间进行的“即梦Dreamina剪映未来影像计划 - AI短片挑战赛”，可以关注，有机会的小伙伴参与一下，检测一下自己的应用水平
2.可灵
支持平台：网页端、安卓和 iOS APP（快影APP）需要提交审核，排队审批
可灵AI，一款由快手大模型团队倾力打造的尖端视频创作利器，依托于自主研发的先进可灵大模型（Kling）技术，展现了前所未有的视频生成能力。该工具能够轻松生成长达三分钟、分辨率高达1080p的超清视频内容，同时赋予用户自由调整视频宽高比的灵活性，满足多样化的创作需求与个性化表达。可灵AI的推出，标志着视频创作领域正式迈入智能化、高效化的新时代。
目前该工具处于内测阶段，用户需通过网页端或快影APP提交申请，通过审批后方可体验。建议尽早提交申请。
"文生视频"革新体验：画质飞跃，一键生成10秒精彩瞬间，每日畅享三次"高表现"模式特权，尽享细腻视觉盛宴。
"图生视频"创意升级：画质显著提升，解锁自定义首尾帧功能，让您的创意无缝衔接，每一次创作都独一无二。
"运镜控制"大师级操控：引入多样化镜头控制选项，内置多款大师级镜头模式预设，轻松驾驭复杂场景，让视频动效更加专业流畅。
3.星火绘境
支持平台：网页版
星火绘镜由科大讯飞推出，作为一个人工智能驱动的短视频创作工具，它能够将用户输入的文字描述自动转化为视频内容，如短剧、预告片、音乐视频等。该平台涵盖了从生成剧本、分镜头设计到最终形成完整的视频短片的全过程。它特别适合于内容创作者、市场营销人员和教育工作者，因为它可以快速地将创意或故事以视频的形式呈现，简化了视频的制作流程，并且支持一键分享到多个社交媒体平台。
星火绘境的核心功能包括：
“MV速创”：输入歌词或故事，快速生成个性化音乐视频。
“故事短片”：设定剧情和角色，AI自动生成独特故事短片。
4.Pixeling
支持平台：网页版
由前沿科技创新企业“智象未来”（HiDream.ai）匠心打造，是一款集图片与视频生成于一体的全方位AI创作平台。该平台依托于公司自主研发的先进“生成式视觉多模态基础模型”，将AI技术的边界推向新的高度，旨在为全球创作者提供前所未有的高质量视觉内容生成体验。
Pixeling的核心功能亮点纷呈，主要包括：
创意即现：文字直转图片与视频：用户仅需输入简洁的中英文描述，或上传一张参考图片，Pixeling便能迅速捕捉您的创意精髓，智能生成与之匹配的精美图片或动态视频，让想象即刻成真。
视频精修大师：智能编辑与优化：内置强大的视频编辑工具箱，包括智能重绘以重塑画面风格、智能拓图以扩展视频场景、以及图片增强技术提升画质，全方位助力用户轻松优化现有视频素材，让每一帧都尽善尽美。
高清视界，触手可及：支持4K超高清画面生成，确保Pixeling输出的每一段内容都能呈现细腻入微的画质，Pixeling凭借其强大的功能，无论是用于专业展示还是个人分享，都能确保您的作品在视觉上脱颖而出
精细调控，随心所欲：提供全局与局部可控功能，让用户能够自由调整生成内容的每一个细节。无论是整体氛围的营造，还是局部元素的微调，都能实现精准把控，满足用户对创作成果的个性化需求。
5.WHEE
支持平台：网页端、安卓和 iOS APP
WHEE，作为美图公司倾力打造的AI视觉创作利器，革新了视觉内容生产的边界。它集文生视频、图生视频、文生图、图生图、画面拓展及局部修改等多元化功能于一体，为用户开启了一个前所未有的创意空间。
用户只需简单输入一段文字描述或上传一张图片作为起点，WHEE便能依托其强大的AI算法，迅速分析并生成与之相契合、风格各异的视频作品。这种跨模态的创作能力，不仅让文字与图像之间的转换变得轻松自如，更赋予了静态图片以动态生命，让创意无限延伸。
不仅如此，WHEE还内置了智能剪辑和编辑工具，能够根据用户的个性化需求，对生成的视频进行精细调整和优化。无论是剪辑节奏的调整、滤镜效果的添加，还是字幕的配搭、背景音乐的选择，WHEE都能帮助用户轻松实现，让每一段视频作品都能精准传达用户的意图与情感。
美图公司凭借其在图像处理领域的深厚积累，将WHEE打造成为了一款集高效性、便捷性与创新性于一体的AI视觉创作工具。无论是专业设计师、内容创作者，还是普通用户，都能通过WHEE轻松释放创意，享受视觉创作的乐趣。
WHEE，作为美图公司倾力打造的AI视觉创作神器，其核心功能全面且强大，为用户带来前所未有的创意盛宴。
以下是其几大核心亮点的精彩呈现：
文生视频与图生视频：WHEE独步业界，支持用户通过输入富有想象力的提示词或直接上传图片，瞬间转化为生动有趣的视频作品。无论是描绘梦幻场景的文字，还是记录生活瞬间的图片，都能在WHEE的魔法下跃然屏上，赋予视觉以动态的生命力。
文生图与图生图：这一功能让创意无界限。用户只需简单输入关键词或上传一张图片，WHEE便能智能解析并生成与之相关的精美图片。无论是抽象概念的具象化，还是图片的再创作，WHEE都能轻松应对，满足用户多样化的视觉需求。
线稿上色与涂鸦生图：为艺术爱好者量身定制，WHEE允许用户自由地对线稿进行上色，将黑白草图转变为色彩斑斓的艺术作品。同时，涂鸦生图功能更是激发了用户的无限创意，通过简单的涂鸦即可生成独一无二的图像，让创作过程充满乐趣与挑战。
AI改图与扩图：针对图片后期处理，WHEE提供了强大的AI技术支持。用户可以对现有图片进行智能修改和优化，轻松调整色彩、亮度、对比度等参数，让图片更加完美。此外，扩图功能更是解决了图片尺寸不足的困扰，能够在保留原有画质的同时，智能扩展图片的尺寸和内容，满足用户在不同场景下的使用需求。
6.Runway
支持平台：网页版
Runway 是一款基于人工智能的创意工具和平台，它提供了一系列强大的功能，旨在帮助用户在视觉内容创作、设计和开发过程中提高效率和创新能力。
Runway是一款来自国外的创意工具平台，为方便操作，建议使用浏览器自带的翻译功能将其翻译成中文。
Runway 平台集多种创意与生产力工具于一身，其核心亮点涵盖：
智能视频创作与编辑系统：集成前沿AI技术，赋予用户创作动画、应用丰富转场效果及视觉特效的能力，同时配备一套全面的视频编辑工具，让视频制作既高效又富有创意。
图片生成与创意编辑平台：支持一键生成高质量图片，并提供全面的编辑功能，包括独特的风格转换选项，让用户能够轻松打造个性化视觉作品。
3D 艺术创作与交互空间：内嵌强大的3D创作引擎，支持从模型生成、精细编辑到高保真渲染的全过程，更可构建并探索互动式的实时3D场景，为创作者开启无限想象空间。
音频创作与精细编辑工作室：集成全面的音频处理工具，涵盖语音合成、个性化音乐创作及专业音效设计，满足从基础到高级的音频制作需求。
开放API接口：提供强大的API支持，旨在简化开发者集成流程，促进Runway平台与各类创意软件及服务的无缝对接，共同推动创意产业的繁荣发展。
今天 和大家总结分享了6 款国内外热门文本转视频的 AI 工具，各有各的特点，赶紧试试吧！有问题可以在下方留言！
请大家注意！后续我们会对这些平台作单个介绍，请您继续关注！
以上是今天的AI笔记思考，觉得不错的点个赞再走，谢谢阅读。AI工具千千万，精挑细选是关键！关注荣茂AI笔记，专门分享李荣茂团队使用AI赋能普通人的心得经验！训练AI，提高效率，重新定义自己，打破能力天花板！
相关问答
手机视频抠图有那些软件方便使用，推荐哈谢谢!-ZOL问答
抠视频这个功能需要很高的技术,就我知道,目前手机上只有“美册”可以制作,美册里面有个功能叫“视频抠像”,导入视频就能帮你智能抠取人像,比AEPR简单太多,即便...
短视频发布平台有哪些-ZOL问答
随着社会经济的不断发展,也加快了生活的节奏、碎片化也是这个时代的特征,生活忙碌的大家都很难专注于看过长的视频或者文章。人们希望通过简短的几分钟视频...
拍快手短视频加魔法笑声怎么做?
要在快手上拍摄短视频并加入魔法笑声,可以按照以下步骤操作:1.打开快手APP,进入首页。2.点击右下角的“+”按钮,选择“拍摄”选项。3.拍摄你想要的短视...
怎么用手机把图片库中的照片制作成视频-ZOL问答
短视频软件用微视就行了里面有很多的魔法特效更新速度也很快每天看短视频,还能领红包,还经常有一些活动,送王者荣耀和平精英手游皮肤下载铃声多多,里面就可以制...
云开APP:便捷云服务，一键解锁智能生活新体验[秒懂科普]私服...
新效果:每次使用门派封印法术连续3回合命中目标后,你的随机一种“符之术”封印命中等级增加500点,你使用其他门派法术或者阵亡时此效果消失。“有一颗感恩的心...
长视频剪辑手机软件哪个更好-ZOL问答
在手机剪辑软件市场上,快影和某音旗下的剪映都是备受关注的产品。这两个应用程...添加音乐和特效等手段来创作自己独特的视频作品。此外,快影还支持实时预览功...
今日头条肿么制作小视频?-ZOL问答
1、用该软件开你要剪辑的视频。2、将视频拖到“视频轨”。3、把时间箭头移动到要裁剪的位置。4、然后右键“视频轨”,在弹出的小菜单栏点击“剪切素材”。5...
十几秒搞笑无水印视频素材从哪里找-ZOL问答
拥有相当丰富的视频素材,还可以将这些素材一键下载,各个平台、不同类型都能快速找到。哔哩哔哩。B站好多人都在使用的一款软件,B站上的关于鬼畜或者搞笑的视频素...
什么手机软件可以将日常相片p成证件照-ZOL问答
《天天P图手机版》是一款非常好图片编辑软件。功能包括美化图片、自然美妆、疯狂变妆、魔法抠图等七个模块。简单实用的图片编辑功能,让手机也可轻松制作单反...
(全方面已更新(今日.网易)_47777最快开奖现最新版APPv8.0.16-...
\">简介通过尝试制作各种美食,并利用精美的卡通画风营造清晰可爱的游戏氛围...记录美好生活的视频平台。●记录美好在47777最快开奖现智能匹配音乐、一键卡点...
