W
AI-Wiki
CONCEPT

Harness架构Evaluator组件

基本定义

Harness架构Evaluator组件是Harness架构中的核心评估类组件，是生成与评估分离模式下的评估侧核心载体，承担生成结果质量校验、优化方向输出的核心职责，是AI开发反馈闭环得以落地运行的关键单元，与Planner组件、Generator组件共同构成Harness架构的三大核心智能体组件。

适用语境

该组件由Anthropic团队在设计Harness架构时推出，核心解决大模型自我评估失效、输出质量无明确优化方向的痛点，最初用于AI自主开发软件开发范式下的代码、UI设计等开发产物校验，其设计思路可迁移至AI内容创作、AI数据分析等所有AI生成类场景。

关键运行机制

  1. 评估依据规则：所有评估动作基于预先定义的量化标准开展，不同场景对应不同标准体系：前端设计场景遵循前端设计四大评分标准，内容创作场景遵循AI内容创作量化评估标准，数据分析场景遵循AI数据分析量化评估标准，彻底避免主观化的「凭感觉」质量判定。
  2. 反馈输出规则：输出的反馈绝非简单的「合格/不合格」二分类判定，而是具象化、可直接落地的修改意见：代码开发场景会明确标注问题位置、错误原因与修改示例，如「代码第127行用户信息接口调用缺少鉴权参数，应补充headers: {Authorization: Bearer ${token}}」；UI设计场景会明确指出不符合规范的属性与优化方向，如「首页Banner字体大小仅为12px，移动端可读性不足，建议调整为16px并增加200字重」。
  3. 协作联动机制：Evaluator输出的反馈直接同步至Generator组件，无需人工中转，可引导Generator快速定位问题点，大幅降低无效修改的概率，提升整体迭代优化效率。

能力边界与迭代规划

当前版本能力边界

  1. 仅承担问题识别与修改建议输出职责，不直接修改Generator的生成结果，所有修改动作仍由Generator完成；
  2. 评估能力完全依赖预定义的量化标准，无明确标准的强主观类场景（如艺术创作风格判定）需要额外注入人工校验规则才可正常运行。

未来迭代方向

随着大模型能力与架构的持续优化，Evaluator将逐步升级智能化能力：

  1. 可基于识别到的问题直接生成完整的修改方案，无需Generator从零调整；
  2. 可通过Claude Agent SDK、Playwright MCP等工具直接协助Generator修改代码、调整设计稿，进一步压缩反馈到修改的链路时长；
  3. 符合动态适配模型能力AI工程思维，当后续Claude大模型系列（如Claude Opus 4.5、Claude Opus 4.6等版本）的自我评估能力提升后，Evaluator的冗余功能会被逐步裁剪，保证架构始终适配当前大模型的能力边界。

相关条目