为图像模型加入运动模块的开源动画生成方法——这是 AnimateDiff 最主要的用途,也是本文讨论的前提。

看文档和设置项时遇到的术语,这里用一两句话解释清楚。

术语表

  • 文生视频:根据文字描述直接生成视频片段,时长通常较短。
  • 图生视频:以一张图片为首帧生成运动画面,便于控制画面内容。
  • 运镜:镜头的移动方式,如推、拉、摇、移,可以写进提示词。
  • 数字人:由 AI 驱动口型与表情的虚拟出镜人物,需注意肖像授权。
  • 补帧:在原有帧之间生成中间帧,使画面更流畅或做慢动作。
  • 横转竖:把横屏视频自动裁切成竖屏并跟踪主体。

和 AnimateDiff 相关的补充

  • 开源项目:AnimateDiff 的产品形态,决定了安装、权限和数据存放方式。
  • 同类产品:Wan、Deforum、Runway。
  • 所属方向:视频与动效。

把概念用起来

多语言版本

准备材料:一条已完成的中文短视频。

为这条视频准备英文版本:翻译字幕、保留品牌名不译、标出需要重新配音或调整画面文字的位置。

检查点:标出了画面内文字。

延伸练习

培训视频

准备材料:一份内部操作手册。

把这份手册改写成 3 分钟培训视频的口播稿,分成 6 个小节,每节一句要点总结,语言口语化。

检查点:每节都有要点总结。

长视频切片

适用情况:手头有一段 40 分钟的直播回放或访谈时。

从这段视频里找出 5 个适合做 60 秒竖屏短视频的片段,每段给出起止时间、一句钩子标题和推荐字幕重点。

检查点:每段都能独立看懂。

文生视频镜头

准备材料:一个具体的画面构想。

生成一段 5 秒视频:清晨的城市天台,镜头缓慢推近一杯冒热气的咖啡,暖色调,浅景深,无人物,无文字。

验收标准:镜头运动符合描述。

常见问题:字幕和口型对不上

先校对转写文本,再生成字幕;配音后重新对齐时间轴。

常见问题:导出后画质下降

检查导出码率和平台推荐参数,避免二次压缩。

常见问题:生成的人物动作扭曲

缩短片段时长,减少复杂动作,改用图生视频控制首帧。

概念补充:图生视频

以一张图片为首帧生成运动画面,便于控制画面内容。

概念补充:文生视频

根据文字描述直接生成视频片段,时长通常较短。

适合人群:HR 与招聘

HR 与招聘可以用 AnimateDiff 处理岗位描述撰写、面试题与评估表等工作。需要注意:简历筛选不得以性别、年龄等因素做歧视性判断,候选人信息需妥善保管。

适合人群:视频剪辑师

视频剪辑师可以用 AnimateDiff 处理粗剪与选段、字幕与调色等工作。需要注意:确认音乐和素材授权,客户素材不随意上传公共平台。

适合人群:音乐人

音乐人可以用 AnimateDiff 处理编曲灵感、分轨练习等工作。需要注意:AI 生成音乐的版权归属以平台条款为准,发行前确认。

注意事项

所有示例输出均为示意,不代表真实统计或效果承诺;请以自己的测试结果为准。

本文基于 AnimateDiff 公开的定位与通用用法编写,具体功能、套餐与可用地区以官方页面为准,产品更新后界面和名称可能变化。

延伸阅读