评测任务是应用评测的核心功能,用于对应用的输出质量进行系统化评估。支持智能体应用和工作流应用的评测,可结合自动评估器和人工标签进行多维度评价。
评测任务是应用评测的核心功能,用于对应用的输出质量进行系统化评估。支持智能体应用和工作流应用的评测,可结合自动评估器和人工标签进行多维度评价。
评测任务创建后,可单击评测任务右侧的详情进入任务详情页。
在任务详情页可查看数据明细和指标统计:
展示每条评测数据的详细结果,可进行数据标注、标签配置等操作。
展示综合得分和评测进度等信息,包含综合得分仪表盘、评测进度、得分汇总和得分明细等区域。
评测任务调用大模型产生的 Token 费用正常计费。消耗的 Token 量可访问评测任务页面查看。
评测任务创建后可以修改吗?
评测任务创建后,任务配置(应用、评测集)不可修改,但您可以随时添加人工标签进行标注。如需使用不同配置,请创建新的评测任务。
"不关联应用"选项的作用?
"不关联应用"适用于纯人工标注场景。选择此选项后,系统不会自动调用任何应用进行评测,您需要完全依靠人工标签进行数据标注和评价。
评估器和标签如何配合使用?
评估器用于自动评分,适合有明确规则或标准答案的评测维度。标签用于人工标注,适合需要主观判断的评测维度。在同一个评测任务中,您可以同时使用评估器进行自动评分,并添加标签进行人工补充标注,实现全面的评测覆盖。
创建评测任务
1
配置基本信息
访问评测任务页面,单击创建评测任务,配置以下基本信息:
| 字段 | 说明 |
|---|---|
| 任务名称 | 自定义任务名称,最多 50 个字符。 |
| 任务描述 | 描述任务的目的或用途,最多 200 个字符。 |
| 选择评测集 | 从已发布的评测集列表中选择评测集和对应版本。 |
| 选择应用 | 选择应用关联方式:不关联应用(默认,适用于纯人工标注)、工作流、智能体。 |
| 评估器 | 可添加评估器进行自动评分,需配置参数映射。 |
| 标签 | 为评测任务添加标签,用于人工标注(可选)。 |
2
配置评估器(可选)
选择评估器后,需要配置参数映射,将评估器的变量参数映射到实际数据源。配置要求:
- 所有变量都必须完成映射后,才能保存配置
- 确保映射关系正确,避免评分结果不准确
3
完成创建
确认所有配置后,点击完成创建按钮创建评测任务。
评测任务发起后将无法修改配置。
管理任务
评测任务创建后,可单击评测任务右侧的详情进入任务详情页。
在任务详情页可查看数据明细和指标统计:
数据明细
展示每条评测数据的详细结果,可进行数据标注、标签配置等操作。
- 评估器评分结果:自动评分列,显示指定评估器对每条数据的评分。
- 标签配置:可为评测任务添加标签。
- 标注模式:
- 普通模式:页面平铺展示,字段横向排列。
- 快速标注:点击后,自定义标签变为可编辑状态。分类标签显示为下拉选择,输入类型显示为输入框,修改后立即保存。