W
AI-Wiki
CONCEPT

文本到 3D 关卡灰盒生成流水线

定义

文本到 3D 关卡灰盒生成流水线,是指把一段自然语言关卡描述转化为可编辑 3D 灰盒场景或场景骨架的自动化流程。它通常把“先生成视觉参考、再程序化生成几何骨架、最后导出给引擎继续编辑”串成一条可复现链路,用于快速把关卡创意落到可打开、可检查、可替换资产的 3D 场景中。

这里的“灰盒”不是最终美术成品,也不是可直接游玩的完整关卡。它强调的是关卡早期原型:有层级结构、地形、建筑体块、道具占位、光照、相机和可复现布局,但真实美术资产、碰撞、物理、导航、触发器、玩法逻辑等仍需要后续制作。

在来源文章的例子中,这类流水线的输入是一段文字描述,输出是一组标准文件:scene.blend、scene.fbx、scene.glb 和 layout.json。这些产物可被继续编辑、导入不同引擎,或用 layout.json 复现物件布局。

在本文档中的语境

在本文档语境中,文本到 3D 关卡灰盒生成流水线主要用于描述 dsh-scene-skeleton-pipeline 这类工具化流程:它不是单个文生图模型,也不是单个 3D 生成模型,而是把多种工具编排起来完成“文字到场景骨架”的管线。

来源文章《dsh-scene-skeleton-pipeline 介绍 - 今日头条文章摘要》以 DSH(DeepSeek Harness) 生态里的一个编排插件为例说明这一概念。该插件把 ComfyUI 出图、Blender 无头建模和可选的 Unity 装配串联起来:用户输入一段文字,ComfyUI 先生成概念图,Blender 再生成引擎无关的场景骨架,必要时再由 Unity 适配器按布局文件装配到 Unity 工程中。

因此,本文中的“流水线”重点不是“AI 一步生成完整游戏关卡”,而是“把概念、布局、灰盒建模和引擎装配拆成可检查的阶段”,让设计者可以在每一步保存、校验、替换和继续编辑。

关键机制与组成

1. 文本提示作为入口

流水线的入口是一段自然语言描述,例如“生成一座带台阶、四角有石柱的日式庭院”。文字描述用于表达场景主题、空间关系、对象类型和摆放要求。

来源插件支持两类与文字有关的用法:

  • 直接把提示词交给主流水线,由流水线生成概念图并创建灰盒场景。
  • 通过 plan_scene_layout 先让模型生成带 position 和 size 的布局计划,再交给 Blender 按坐标和尺寸摆放物件。

2. ComfyUI 生成概念图

在来源案例中,文字提示会先进入 ComfyUI。ComfyUI 的作用是生成一张概念图,作为后续灰盒场景的视觉参考。

需要注意的是,概念图在该流水线里主要是“参考”,不是几何重建的来源。来源插件明确不从概念图反推 3D 几何,也不会复刻概念图里的建筑形体。因此,它不同于通常意义上试图从图片直接生成三维网格或形体的图生 3D 流程。

来源插件对 ComfyUI 还有明确限制:

  • 它不接管 ComfyUI 生命周期,用户需要自己先把 ComfyUI 跑起来。
  • 它只支持 ComfyUI 的 POST /prompt API 格式工作流,不支持 ComfyUI 的 UI 格式工作流。
  • 默认单机地址为 127.0.0.1,来源示例要求 ComfyUI 监听 http://127.0.0.1:8188,也可通过 comfyUrl 配置。

3. Blender 无头模式生成场景骨架

概念图生成后,来源插件使用 Blender 无头模式生成引擎无关的场景骨架。所谓“无头模式”,在该来源语境中是指不通过桌面交互界面手工建模,而由流水线调用 Blender 自动创建场景。

Blender 阶段生成的是可继续编辑的灰盒,而不是最终资产。来源文章描述的默认生成方式是用 scenic-bpy 的声明式 spec 创建参数化庭院,并把场景组织为几个主要分组:

  • Terrain:地形相关内容。
  • Buildings:建筑、柱墙、拱门等结构类内容。
  • Props:树、长椅、灯柱等道具类内容。

在验收时,用户可以直接打开 scene.blend,看到 SceneSkeleton_Root 之下挂着 Terrain、Buildings、Props 三组,以及方向光和相机。

4. 可选 Unity 装配

来源插件还可以追加 Unity 装配。Unity 适配器并不是重新规划场景,而是按 layout.json 中记录的实际摆放结果进行装配。

这意味着 Blender 与 Unity 之间不靠人工记忆或截图对齐,而靠布局契约传递层级、物件、变换、光照和相机信息。Unity 装配是可选环节;即使不使用 Unity,scene.fbx、scene.glb 和 layout.json 也可作为其他引擎或工具的输入。

5. layout.json 作为布局契约

layout.json 是来源案例中非常关键的产物。它记录 Blender 实际摆放后的场景信息,是 Blender 与下游引擎之间的契约。

来源文章区分了两种数据:

  • plan:表示“要摆什么”,通常由 plan_scene_layout 根据文字描述生成。
  • layout.json:表示“实际摆成什么样”,由 Blender 按实际结果写出。

layout.json 记录的内容包括分组、每个实例的资产与变换、光照与相机。相关概念可参见 layout.json 场景布局契约。

坐标系方面,来源插件从 v0.1.0 起默认使用 z-up,layout.json 直接写 Blender 原生坐标,可原样回灌 Blender 复现场景。若希望 Unity 直接消费,可把 layoutAxis 配为 y-up。来源文章还说明这是一个 breaking change:早期版本只有 y-up 一种口径;下游解析 layout.json 时应先读取 axis 字段,没有该字段的历史文件按 y-up 处理。

标准产物

来源案例中的标准输出包括四类文件:

  • scene.blend:Blender 原生场景文件,可直接打开继续编辑。
  • scene.fbx:可导入多种引擎和 DCC 工具的交换格式。
  • scene.glb:可用于跨工具查看、交换或导入的 glTF 二进制格式。
  • layout.json:记录层级、实例、变换、光照、相机等布局信息的契约文件。

这些产物的作用不是替代完整关卡工程,而是让灰盒结果可以被复现、导入、检查和继续加工。来源文章还提到,其他引擎可以导入 scene.fbx 或 scene.glb,再按 layout.json 摆位。

与图生 3D 的区别

文本到 3D 关卡灰盒生成流水线容易与“图生 3D”混淆,但来源案例明确划清了边界。

在来源插件中,ComfyUI 生成的概念图主要用于视觉参考;Blender 阶段并不会从这张概念图反推几何,也不会尝试复刻概念图中建筑的具体形体。真正产生 3D 场景的是程序化建模、声明式 spec、参数化物件和布局计划。

因此,它更接近“文本驱动的关卡骨架编排”:文字决定主题和空间布置,概念图提供风格参考,Blender 生成可编辑体块,layout.json 负责把实际布局传递给下游工具。它不是“输入一张图,自动恢复一个完整 3D 场景”的图生 3D 系统。

能力边界

文本到 3D 关卡灰盒生成流水线的价值在于快速搭骨架,但它有明确边界。来源案例特别强调:

  • 不生成可直接游玩的完整关卡。
  • 不生成最终美术成品。
  • 不生成碰撞体。
  • 不生成刚体物理。
  • 不生成导航数据。
  • 不生成触发器。
  • 白盒或灰盒结果不保证可行走。
  • 不从概念图反推几何。
  • 不做图生 3D。

这些边界意味着,灰盒场景只能作为关卡原型或资产装配起点。若要进入游戏制作后续阶段,仍需要人工或其他工具补充真实模型、材质、碰撞、寻路网格、交互触发器、玩法脚本、性能优化和关卡验证。

来源案例:dsh-scene-skeleton-pipeline

来源文章《dsh-scene-skeleton-pipeline 介绍 - 今日头条文章摘要》介绍的 dsh-scene-skeleton-pipeline 是 DSH(DeepSeek Harness) 生态里的一个编排插件。来源只在该插件语境下给出功能、限制、安装和测试信息;这些信息不应被扩大为所有文本到 3D 关卡灰盒流水线的通用属性。

主链路

该插件的主链路是:

  1. 输入一段文字描述。
  2. 调用 ComfyUI 生成概念图。
  3. 调用 Blender 无头模式生成引擎无关的场景骨架。
  4. 输出 scene.blend、scene.fbx、scene.glb 和 layout.json。
  5. 可选地按 layout.json 自动装配进 Unity。

环境探测

来源插件提供 check_environment 工具,用于检查 Blender、ComfyUI、Unity 三套环境是否存在、路径是否正确。该工具只探测,不启动软件。

来源文章给出的环境条件包括:

  • Node 不低于 20,因为插件使用 ESM 和 AbortSignal.timeout。
  • DSH 需要支持 bundle,作者实测版本为 0.2.1-rc.5。
  • ComfyUI 需要用户自行启动,并监听 http://127.0.0.1:8188。
  • Blender 使用 4.x 无头模式。
  • Unity 为可选项,来源建议 Unity 2022.3 LTS 以上。
  • 核心链路磁盘约需 25 GB;若开启 PBR 贴图,再增加约 6.4 GB。

文字精确布点与校验

来源插件的 plan_scene_layout 会让模型生成一份带 position 和 size 的布局计划,然后先进行结构和物理合理性校验。若校验失败,插件会把原因反馈给模型重试,最多 3 次。三次仍失败时返回 ok: false,不会把非法 plan 静默接受。

这一机制对应 LLM 场景布局规划校验 的问题域:自然语言规划出的场景布局需要结构校验和物理合理性检查,否则可能出现重叠、越界或构图不合理等问题。

可选增强

来源文章提到三个可选增强,默认都关闭;缺依赖时会自动降级,不阻断主流程:

  • 材质映射:给 9 个语义材质 key 注入真实 PBR 贴图。
  • 几何模型库:用 18 种资产库 type 的真实 GLB 模型替换程序化图元,以减少积木感。
  • PBR 贴图:用 SuperPBR 给对象生成 albedo、normal、roughness、metallic。

来源同时说明,这些增强不自带资产。贴图需要自备 CC0 资源,例如 Poly Haven、ambientCG;模型库需要自备 GLB,例如 Kenney、Quaternius 的 CC0 包。缺少资源时会回退到纯色材质或程序化图元,主场景仍可跑通,但质感会下降。

示例运行条件与耗时

来源文章给出的示例目标是“一座带台阶、四角有石柱的日式庭院”,并演示了从 dry run、布局规划到真实执行的流程。

示例中:

  • dryRun: true 时不启动任何软件,只做依赖检查和节点编排;环境不满足时节点会标为 blocked,后续标为 skipped,产物为占位。
  • plan_scene_layout 示例描述为“东侧有喷泉,四角各一根石柱,北侧一段矮墙,西南一棵树”,并指定 width: 24、depth: 20,可把 plan 保存到 ./courtyard-plan.json。
  • 真实执行时,ComfyUI 出图约 1 到 1.5 分钟,Blender 无头建模约 2 到 5 秒,开启 Unity 适配器再约 10 到 15 秒。

这些耗时来自来源文章的特定插件与测试条件,不代表所有同类流水线的固定性能。

对已有 Unity 工程的影响

来源文章还提到,作者在一个真实在用的 Unity 工程上完整跑过一次真实执行,job 状态为 done;原有资产 0 个被改写或删除,只新增了插件自己的 11 个文件。这个结果只能作为该插件在该次测试条件下的实测背书,不能推断为所有项目、所有版本或所有装配器都不会影响既有工程。

典型应用

文本到 3D 关卡灰盒生成流水线适合需要快速把想法落成可编辑场景骨架的场景:

  • 关卡原型快速搭建:先用文字生成可编辑灰盒,再验证尺度、构图和空间关系。
  • 多引擎布局复用:同一份 layout.json 可作为布局依据,供 Unity、Unreal、Godot 等引擎按各自坐标口径适配。
  • 自动化资产流水线:把概念图生成、程序化建模、导出和装配串成可复现流程。
  • 教学与演示:用参数化庭院等例子展示文字如何转成带层级的 3D 场景。

这些应用都以“原型”和“骨架”为核心,不应理解为自动完成关卡最终制作。

相关条目