← 开源项目https://github.com/black-forest-labs/flux-3-image-klein
black-forest-labs/flux-3-image-klein
已整理这是一个用于本地运行 FLUX 3 Image Klein 图像模型的参考推理项目,可以生成图片、编辑图片,并按指定区域控制画面布局。适合希望自托管开放权重图像模型、进行图像创作、编辑或研究实验的用户使用。
项目简介
这是一个用于本地运行 FLUX 3 Image Klein 图像模型的参考推理项目,可以生成图片、编辑图片,并按指定区域控制画面布局。适合希望自托管开放权重图像模型、进行图像创作、编辑或研究实验的用户使用。
官方仓库资料
- 主要语言
- Python
- 许可证
- Apache-2.0
- 默认分支
- main
- Stars
- 150
- Forks
- 10
- Open Issues
- 5
- 仓库状态
- 正常运行
- 派生仓库
- 非 Fork
- 数据采样
- 2026/10/27 18:50:14
- 资料抓取
- 2026/10/27 18:50:14
- 首次收录
- 2026/10/27 18:50:14
Topics:仓库未提供
AI 整理 · 基于已抓取的官方资料
核心功能
- 支持文本生成图像
- 支持图像编辑,最多可使用 10 张参考图
- 支持通过 bounding boxes 进行布局控制
- 提供命令行工具运行生成、编辑和布局任务
- 提供 Python API 调用示例
- 提供本地 Web Demo,包含 Layout、Text to image、Edit 三个标签页
- 默认集成 prompt upsampler,用于将简短提示词扩展为模型更适合的详细提示词
- 支持 BF16、FP8,以及在 Blackwell GPU 上支持 NVFP4
- 可选安全检查,用于检测提示词、参考图和输出中的 NSFW 内容、版权角色、品牌和公众人物
适用场景
- 根据文字描述生成图像
- 对已有图片进行局部或整体编辑
- 结合多张参考图进行图像合成或内容迁移
- 用边界框指定对象在画面中的位置
- 在本地搭建图像生成 Demo
- 通过 Python 代码集成图像生成和编辑能力
- 在研究、微调或 LoRA 训练场景中使用 Base 模型
使用方式
installation: - 创建 Python 3.12 虚拟环境并安装项目:python3.12 -m venv .venv && . .venv/bin/activate
- 安装 BF16/FP8 版本:pip install -e . --extra-index-url https://download.pytorch.org/whl/cu130
- 安装支持 NVFP4 的版本:pip install -e '.[nvfp4]' --extra-index-url https://download.pytorch.org/whl/cu130 --extra-index-url https://flashinfer.ai/whl/cu130 weights: - 下载快速模型、prompt upsampler 和 NSFW 分类器:hf download black-forest-labs/flux-3-image-klein --local-dir weights/flux-3-image-klein --exclude 'variants/*'
- 下载 prompt upsampler:hf download black-forest-labs/flux-3-image-klein-pup --local-dir weights/pup
- 下载 NSFW 分类器:hf download Falconsai/nsfw_image_detection --local-dir weights/nsfw-classifier
- 如需完整权重,还需下载 black-forest-labs/flux-3-image-klein-base 和完整的 flux-3-image-klein 权重 cli_examples: - 文本生成图像:python scripts/cli.py "A man walking with his dog, afternoon sun" --model distilled --out out.png --seed 7
- 编辑图像:python scripts/cli.py "put a red bandana around the dog's neck" --image examples/inputs/3.png --out out.png --seed 22
- 使用多张参考图:python scripts/cli.py "print the dog from the second image onto the mug" --image examples/inputs/2.png --image examples/inputs/3.png --out out.png --seed 23
- 使用边界框控制布局:python scripts/cli.py "hot-air balloons over a green valley at sunrise" --boxes examples/inputs/balloons_boxes.json --out out.png --seed 1 python_api: - 从 flux3.generate 导入 Models 和 generate
- 用 Models 加载模型和 prompt upsampler
- 调用 generate 生成或编辑图像;generate 支持 boxes、width、height、steps、guidance、pup、safety 等参数 demo: - 启动本地 Demo:python scripts/app.py
- 默认地址为 http://127.0.0.1:7860
- 可使用 --share 生成公开链接
- Demo 支持 --offload、--fp8、--nvfp4 和 --no-pup 等参数
技术特点
- 仓库语言为 Python
- 模型包含 distilled 版本和 Base 版本;README 中说明 distilled 版本为 16 steps、无 CFG,Base 版本为 50 steps、CFG 4
- 模型分辨率支持最高到 4K
- README 中说明 fast model 加 prompt upsampler 约 52 GB,完整下载约 107 GB
- WEIGHTS_DIR 可用于指定权重根目录,默认是 ./weights
- 量化 DiT 位于各模型仓库的 variants/fp8r 和 variants/nvfp4 目录下
- FP8 需要 Ada、Hopper 或 Blackwell GPU
- NVFP4 需要 Blackwell GPU 和 [nvfp4] 安装方式,且 README 说明不能与 --offload 同用
- 边界框格式为 JSON 列表,bbox 使用 [y_min, x_min, y_max, x_max],数值范围为 0 到 1,原点在左上角
- 生成的图片会带有对应 JSON,记录 prompt、尺寸、steps、guidance 和 seed
- 安全检查默认关闭,可通过 CLI 的 --safety 或 Demo 的 Advanced/Safety checks 开启
- 保存的图片会带有 EXIF 标签:Software: AI generated,Make: Black Forest Labs
- 代码使用 Apache License 2.0;FLUX 3 Image Klein 权重使用 FLUX Kommunity License;prompt upsampler 使用 Apache 2.0
限制与边界
- README 明确提示不要在不使用 prompt upsampler 的情况下直接使用模型,否则结果会明显变弱
- 本仓库代码没有 int8 路径;没有 FP8 的 GPU,如 RTX 30 系列及更早型号,README 建议使用 ComfyUI 中的 int8 文件
- NVFP4 仅适用于 Blackwell GPU
- 本地运行需要下载较大的权重文件
- 安全检查默认关闭,需要用户手动开启
- README 中的性能评价包含内部评测结果,具体效果和速度会受硬件、模型版本和运行配置影响
README
README 介绍了 FLUX 3 Image Klein 的参考推理代码、模型能力、安装方法、权重下载、CLI/Python/Demo 用法,以及 prompt upsampler、边界框格式、运行平台、基准测试、显存需求、安全检查和许可证信息。项目重点是用一个模型完成文本生成图像、最多 10 张参考图的图像编辑,以及基于边界框的布局控制,并反复强调应默认使用 prompt upsampler。
关联 Wiki 词条
暂无已建立的词条关联。