CONCEPT
AI数据分析量化评估标准
基本定义
AI数据分析量化评估标准是AI工程化落地场景中，用于判断大语言模型生成的数据分析结果质量的可量化指标集合，属于AI产出物量化评估体系的分支，与AI内容创作量化评估标准遵循相同的设计逻辑，核心目标是替代传统“凭感觉判断”的主观评估模式，为AI数据分析场景提供统一的判断标尺。
核心组成
该标准共包含三大核心评估维度，各维度可根据具体业务场景细化为可落地的子指标：
- 准确性：评估AI输出的数据分析结论、数据计算结果、关联逻辑与原始数据的匹配程度，核心判断依据为是否存在数据错误、逻辑偏差、因果倒置等问题。
- 完整性：评估AI输出的分析结果是否覆盖预设的分析需求范围，是否遗漏关键维度、重要数据指标、特殊场景说明等核心内容。
- 实用性：评估AI输出的分析结论是否具备业务指导价值，是否可直接支撑业务决策、优化方案制定等落地动作，是否存在空泛无意义的表述。
核心价值
该标准的核心价值主要体现在两个方面：
- 为Generator智能体的数据分析输出提供明确的优化方向，配合生成与评估分离模式，可让生成端快速定位问题所在，降低迭代成本。
- 帮助开发者、Evaluator智能体客观判断AI数据分析的成果质量，避免主观判断带来的标准不一致问题，提升评估效率与公平性。
同时该标准是Harness架构在数据分析场景落地的核心支撑组件，也是构建AI开发反馈闭环的核心前提，为动态适配模型能力AI工程思维在数据分析场景的落地提供了标准化依据。
适用边界
- 仅适用于AI生成的结构化、半结构化数据分析产出物的评估，包括数据报表、分析报告、数据结论推导等场景。
- 不适用于纯主观类内容、创意类内容的评估，相关场景可参考AI内容创作量化评估标准、前端设计四大评分标准等专项评估体系。
- 具体子指标可根据业务需求、模型能力灵活调整，不存在固定不变的最优指标组合，需遵循动态适配模型能力AI工程思维随模型迭代、需求变化持续优化。