W
AI-Wiki
CONCEPT

参考图引导视频生成

定义

参考图引导视频生成是指在视频生成或视频编辑任务中,将图片作为额外条件输入,并在提示词中用“@图片 N”等引用明确其作用,以引导模型生成或改写目标视频的视觉结果。参考图可用于约束 Logo、人物脸部与姿态、道具、服装、场景材质及 UI 界面。

它不是只上传图片即可自动得到确定结果:需要同时说明每张参考图对应的对象、出现镜头、动作或替换规则,以及需要保持不变的镜头、节奏和构图。

在本文档中的语境

本文档展示的是 Doubao Seedance 2.5 中图片与文字联合驱动视频的用法。一类是从多张图片和文字描述直接生成连续视频;另一类是在已有视频上通过 Prompt 执行增删改,并额外输入参考图来约束编辑后的场景和服饰。

多图生成:为不同视觉资产分工

像素武侠竖版视频示例引用了 6 张图片,并让每张图承担不同角色:

  • 图片 1:提供“江湖风云”水墨风格 Logo,首镜头在浅蓝背景上静止展示约 1 秒。
  • 图片 2:提供武侠男性角色的像素脸部特写;角色从画面底部滑入、眨眼看向镜头后向下离场。
  • 图片 3:在角色离场后替换原 Logo 位置,显示蓝色“武功秘籍”像素书。
  • 图片 4:提供像素武侠小人的站姿与相关画面元素;角色跃起顶出蓝色菱形问号标,落地后保持该站姿并打招呼。
  • 图片 5:作为角色向右奔跑时的姿态参考。
  • 图片 6:提供最终进入画面的 UI 界面;角色从右上方跳入,在“三月廿七日”大字右下方张开双臂定格。

文本还规定全片统一浅蓝底色和像素武侠美术风格,要求一镜到底的连续位移与跟随;元素过渡自然、动作衔接流畅,画面不得卡顿或闪烁,文字与 UI 应清晰稳定。由此可见,多张参考图不仅能指定“画什么”,还可分别控制资产身份、姿态、画面位置和镜头内的出现顺序。

视频编辑中的参考图

文档明确说明:视频编辑可通过 Prompt 对画面内容进行增删改,并支持额外输入参考图引导编辑结果

武打编辑示例以两人武打素版视频为基础,要求保留原视频动作与节奏,将其改写为冷兵器对决前的空手试探氛围。图片 1 用于指定平整石质地面,并辅助约束中世纪石堡平台、古老庭院平地、山间堡垒外平台或简洁石砖决斗场等场地;背景要求古堡墙体、风、雾与远处山线。

同一示例中,深色衣服男子的服饰替换为图片 2,浅色衣服男子的服饰替换为图片 3。也就是说,参考图可分别绑定视频中不同人物,而不是只作为全局风格参考。

关键机制

  1. 对象绑定:在提示词中按编号引用图片,并说明其对应的 Logo、角色、道具、服装、场景或 UI。

  2. 时序控制:说明参考元素在哪个镜头出现、如何进入或离场、何时被另一元素替换,以及最终定格位置。

  3. 保留约束:编辑已有视频时可要求保留构图、机位、光线、表演节奏或原始动作,避免参考图导致无关内容被重写。

  4. 局部替换与整体强化并行:人物服饰和场景可按参考图替换;同时可另行要求风吹衣摆、轻雾、少量尘土、冷色金属反光、轻微颗粒和调色等环境与质感强化。

细节与边界

  • 参考图用于引导结果,不等于无需文字描述;原文对镜头、运动、风格、稳定性和保留项均给出了明确指令。

  • 同一对象可同时受到图像和文字约束。例如角色动作可参照姿态图,同时要求眨眼、打招呼、预备跑与向右离场。

  • 视频编辑中应明确“不改变”的部分。示例要求动作保持不变、不改变原始节奏;人物年龄渐变示例还要求一镜到底、不跳切、不闪烁,五官随年龄渐变而不漂移。

  • 若要获得可读的画面资产,应直接写出文字与 UI 清晰稳定等质量约束;仅指定参考图不足以表达这些要求。

相关条目