W
AI-Wiki
CONCEPT

ReferenceLatent 图片编辑

定义

ReferenceLatent 图片编辑,是指在 ComfyUI 等扩散模型工作流中,把输入图片编码后的 latent 作为参考信息注入到采样条件里,使模型在“已有图像”的结构约束下执行文本编辑指令。

它不是单纯的文生图:普通文生图通常从空 latent 或随机噪声出发,根据提示词生成一张新图;ReferenceLatent 图片编辑则从原图的 latent 参考出发,在保留原图构图、主体、姿态、身份、光影和风格的前提下,按文本指令新增、替换或调整局部内容。

换句话说,它的目标不是“重新画一张相似图”,而是“在原图基础上改动指定部分,并尽量不要动不该动的部分”。

在本文档中的语境

来源文章用 FLUX.3 Image Klein 在 ComfyUI 中实测了 ReferenceLatent 图片编辑范式。作者原本使用 zimage、Krea2 系列做文生图,图片编辑则依赖 qwen-image-2.1;在看到 ComfyUI 0.41.0 支持 FLUX.3 Image Klein 后,将该模型接入自己的 AI 工具集进行测试。

测试环境包括:

  • GPU:RTX 4090D 24GB。
  • ComfyUI:0.41.0。
  • diffusion 模型:flux3_image_klein_sd_int8_convrot.safetensors,大小 5.4GB。
  • 文本编码器:qwen3vl_4b_int8_convrot.safetensors,大小 4.5GB。
  • VAE:flux2-vae.safetensors。
  • 模型来源:ModelScope 仓库 black-forest-labs/flux-3-image-klein-comfy。

文章中同时搭建了两个模板:

  • 文生图模板:UNETLoader → CLIPLoader(type=flux3) → EmptyFlux2LatentImage → KSampler(euler/simple, cfg=1, steps=15)。
  • 图片编辑模板:LoadImage → ReferenceLatent 把原图 latent 注入正负两条条件分支 → SamplerCustomAdvanced。

本文条目讨论的是后一种图片编辑模板,也就是 ReferenceLatent 参与的图像约束式编辑,而非 Klein 的纯文生图能力。

关键机制

1. LoadImage 提供原图

编辑流程首先通过 LoadImage 载入待编辑图片。该图片可以是前一轮生成的风格图、人物照片、家庭合影、白底证件照,也可以是经过预处理后的竖版图片。

在来源文章的实测中,底图来源包括:

  • 上一轮生成的 10 张“山水村居”艺术风格图。
  • Klein 文生图得到的 10 张多样化人物底图,覆盖不同性别、年龄、族裔、职业和景别。
  • 4 张白底证件照风格的中国美女源图。

2. ReferenceLatent 注入原图 latent

ReferenceLatent 的核心作用,是把原图 latent 注入到条件分支中。来源文章明确给出的图片编辑工作流是:

LoadImage → ReferenceLatent 将原图 latent 注入正负两条条件分支 → SamplerCustomAdvanced。

这里的“正负两条条件分支”意味着原图 latent 不是只作为一个简单输入图像存在,而是进入了正向与负向条件控制路径,用于约束采样过程。这样模型既能理解文本指令要求修改什么,也能持续参考原图中应保留的结构与视觉信息。

3. SamplerCustomAdvanced 执行受约束采样

最后由 SamplerCustomAdvanced 在文本提示、模型能力和原图 latent 参考之间进行采样。采样目标包含两类同时存在的要求:

  • 编辑目标:执行指令中要求新增、替换或改变的内容。
  • 保真目标:保留原图中没有被要求修改的主体、身份、姿态、脸部特征、画风、重要装饰、构图和光影。

ReferenceLatent 图片编辑的难点正在于二者的平衡:如果编辑约束太弱,模型可能不听指令;如果原图约束太弱,模型可能把人物、场景或风格重绘掉,出现“换脸”“换装”“构图漂移”等问题。

来源文章中的任务覆盖

在 FLUX.3 Image Klein 的实测中,ReferenceLatent 图片编辑覆盖了多类任务。

风格图编辑

作者先用同一个“山水村居”场景生成 10 张 1920×1080 的艺术风格图,再把这些图作为底图逐张执行编辑指令。图片编辑任务包括:

编辑类型案例结果
加物水墨画山顶加宝塔、像素画加篝火5/5
换物向日葵替换为薰衣草田2/2
天空替换水彩白天替换为晚霞1/1
天气替换赛博朋克雨景替换为雪景1/1
时间替换装饰艺术白昼替换为夜晚1/1

其中两个案例体现了 ReferenceLatent 范式的保真价值:

  • 水墨山顶加宝塔:模型只在最高峰顶精准添加一座塔,水墨的墨色浓淡保持一致,原图中的朱红印章仍在原位,没有被擦掉或重绘。
  • 赛博朋克雨夜改雪景:雨夜场景被改成雪景后,霓虹倒影不是机械保留,而是变成了积雪反光,符合新的天气物理逻辑。

人物编辑专项

人物编辑是来源文章中特别强调的高难度测试,因为它不仅要改动局部元素,还要避免把主体身份改掉。作者先生成 10 张多样化人物底图,再执行 10 条编辑指令,覆盖 8 类人物编辑能力。

文中给出的典型案例包括:

  • 小女孩双马尾改为齐耳短发加发卡,同时保留雀斑数量和逆光发丝边缘。
  • 家庭合影加入金毛幼犬,要求四人一狗光影统一,并且父母孩子“零漂移”。

作者对这一轮的总结是:身份保持,平均 10 秒一张;整轮没有出现一次“换装换脸”。这说明在该实测条件下,ReferenceLatent 范式对人物主体保真有明显帮助,尤其适合需要保留脸部 identity、姿态和家庭合影人物关系的编辑任务。

文章也指出了例外:球衣上的 AI 伪文字在编辑后有轻微形变,这是扩散模型处理文字的常见问题;低分辨率时脸部也可能有些崩。这些问题不属于身份保持本身,但会影响商业成片质量。

竖版写真与证件照编辑

最后一轮更接近商业场景:作者使用 4 张白底证件照风格的中国美女源图,执行 10 条编辑指令,输出统一 1080×1920 竖版。由于 Klein 只吃 16 的倍数,实际生成为 1088×1920,再用 lanczos 精调到目标尺寸。

这一轮包含证件照换背景和换服装等任务:

  • 白底替换为西湖柳堤背景,同时让发丝边缘、皮肤受光与新背景光线一致。
  • 红汉服加古庭院的双替换:服装与背景同时改变,绣花纹样精细,背景透视正确,脸部 identity 保持不变。

这类案例说明 ReferenceLatent 图片编辑不只是“抠图换背景”,而是在重建背景、服装、光照和边缘融合时仍参考原图主体,使人物脸部与姿态不被大幅重绘。

编辑目标与保真目标的平衡

ReferenceLatent 图片编辑的核心评价标准可以拆成两组。

编辑目标

模型需要按文本指令完成明确改变,例如:

  • 加物:在水墨山顶加宝塔,在像素画中加篝火。
  • 换物:把向日葵换成薰衣草田。
  • 换天:把水彩白天改为晚霞。
  • 换天气:把赛博朋克雨夜改成雪景。
  • 换时间:把装饰艺术白昼改为夜晚。
  • 改发型:把双马尾改成齐耳短发并加入发卡。
  • 合影加宠物:在家庭合影中加入金毛幼犬。
  • 换背景:把白底证件照改成西湖柳堤背景。
  • 换服装与场景:把白底人像改成红汉服加古庭院。

保真目标

模型同时需要保留不该变的内容,例如:

  • 原人物身份和脸部特征。
  • 人物姿态、景别和构图关系。
  • 家庭合影中父母和孩子的位置与外貌。
  • 原画风,例如水墨、水彩、像素风、新艺术风、赛博朋克风等。
  • 重要装饰,例如水墨画中的朱红印章。
  • 原图光影或与新场景相匹配的光影一致性。
  • 发丝边缘、皮肤受光、逆光轮廓等细节。

来源文章对 Klein 的评价之所以偏正面,重点不只是它能执行编辑,而是它在多个案例中同时做到“改得动图”和“保得住脸”。

性能与工程细节

在来源文章的实测环境中,ReferenceLatent 图片编辑的速度表现如下:

  • 1920×1080 图片编辑平均约 10.0 秒一张。
  • 人物编辑专项平均约 10 秒一张。
  • 竖版写真全链路中,上传底图平均 30ms,任务提交平均 497ms,服务端 15 步生成约 10–11 秒,端到端一次通过样本平均 11 秒。
  • 服务端纯推理占端到端耗时约 96%,工程链路本身耗时很小。

这些数据依赖作者的本地环境、模型量化版本、ComfyUI 版本和 RTX 4090D 24GB 显卡,不能直接泛化为所有硬件上的结果,但能说明在消费级 24GB 显存上,该范式具备实用级吞吐。

细节与边界

不是所有内容都适合交给 latent 保留

ReferenceLatent 会倾向保留原图内容,因此如果输入图里有预处理产生的无意义区域,模型可能把它当作应该保留的内容。来源文章中出现过一次失败:方图 pad 成竖版后,上下白边被模型当成原图内容;执行背景替换时,新背景只填充中间区域,上下白条原样保留。

解决方法是在指令中显式声明:白区是待替换的 padding,新背景需要铺满 9:16 全画布。修改提示后重跑,两张图全部修复。

因此,竖版编辑优先使用原生竖图作为底图;如果必须 pad,就要在指令中说明 padding 不是要保留的内容,并声明全画布替换范围。

人物保真强,但文字仍是短板

来源文章的人物专项测试没有出现“换装换脸”,但并不意味着所有细节都绝对稳定。作者提到球衣上的 AI 伪文字在编辑后有轻微形变,这属于扩散模型处理文字的通病。对于要求精确文字、品牌标识或版式复现的任务,仍需谨慎。

提示词仍然重要

虽然 ReferenceLatent 提供了原图约束,但提示词仍会影响稳定性。来源文章给出的使用建议包括在编辑指令中加入类似 keep the face/pose unchanged 的约束,用来进一步提升人物脸部和姿态的稳定性。

对于全画布替换、背景扩展、服装替换等任务,也应明确哪些区域要变、哪些区域不变,避免模型错误理解保留范围。

与蒸馏模型采样参数相关

来源文章中的 Klein 工作流使用了较简单的采样参数:cfg=1、15 步、euler。作者认为蒸馏模型 15 步已经收敛,继续加步数只会浪费时间。这一点与 蒸馏图像模型采样参数 相关:在蒸馏图像模型中,传统高 CFG 或大量步数未必带来更好编辑结果。

与普通文生图的区别

维度普通文生图ReferenceLatent 图片编辑
起点空 latent 或随机噪声已有图片的 latent 参考
主要输入文本提示词原图 + 文本编辑指令
目标生成新图在原图基础上定向修改
关键风险不符合提示、风格不稳定指令执行不足或主体漂移
评价重点画质、语义命中、风格编辑命中 + 身份/结构/光影保真

因此,ReferenceLatent 图片编辑更适合需要“沿用原图资产”的场景,例如人物写真修图、电商换背景、证件照换场景、家庭合影加元素、风格图局部改造等。

相关条目