评测集用于存储和管理所有评测任务数据，可通过自动生成或手动上传的方式创建。当前支持对话分析和知识问答两种评测集类型。
评测集用于存储和管理所有评测任务数据，可通过自动生成或手动上传的方式创建。当前支持对话分析和知识问答两种评测集类型。
- 对话分析：适用于人工评测，通过构造单轮或多轮对话，对应用的输出结果进行人工打分和评估。
- 知识问答：适用于自动评测，通过提供问题、标准答案和关键词，利用大模型对应用输出结果的准确性进行自动打分和评估。
评测集类型
对话分析
- 支持的文件格式：
.xls、.xlsx。 - 字段说明：
| 字段 | 说明 |
|---|---|
| Prompt | 用户的输入，通常是一个问题或一个指令。 |
| Completion | 针对 Prompt 的参考答案，用于评估模型实际生成的回答。 |
| SessionId | 用于标识一个完整的对话会话（Session）。具有相同 SessionId 的多行数据将被视为一个连续的多轮对话。 |
- 示例：
| Prompt(user) | Completion(assistant) | SessionId | 说明 |
|---|---|---|---|
| 亚运会在哪个城市举行? | 杭州。 | 49aa5bc0-76de-471d-9f50-c8f7710bbc9d | 多轮对话 - 第1轮 |
| 哪年举行？ | 2023年 | 49aa5bc0-76de-471d-9f50-c8f7710bbc9d | 多轮对话 - 第2轮 |
知识问答
- 支持的文件格式：
.xls、.xlsx。 - 字段说明：
| 字段 | 说明 |
|---|---|
| Prompt | 用户的输入问题。 |
| Completion | 问题的标准参考答案。 |
| Keywords | 答案中需包含的关键词，用于自动评估时的关键词匹配。 |
创建评测集
1
进入评测集页面
访问百炼控制台应用评测的评测集页面。
2
创建评测集
单击创建评测集，自定义评测集名称，上传准备好的评测集文件。
支持扩展名：xls、xlsx，文件最大 20M，单次最多上传 10 个文件。
3
确认上传
单击确认后，将在评测集页面显示上传的文件。
4
发布评测集
等待导入状态为导入成功时，单击操作列的发布，发布当前评测集。
草稿状态的评测集不能用于应用评测，必须发布后再使用。