Skip to main content

创建与管理

创建、发布与管理评测集

评测集用于存储和管理所有评测任务数据，可通过空评测集或本地文件上传的方式创建。

创建评测集

访问评测集页面，点击创建评测集，按以下步骤完成创建：
1

填写基本信息

填写评测集名称（必填，最多 50 字符）与描述（选填，最多 200 字符）。
2

选择创建方式

  • 空评测集（默认）：仅配置表结构，暂不导入数据。创建后可在评测集详情页添加数据，仍可修改列配置。
  • 本地上传文件：上传 .xls、.xlsx、.csv 文件，以文件列字段搭建评测集表结构，文件数据同步导入，单个文件最大 20 MB。
3

配置表结构

选择空评测集时，先选择场景，再编辑表结构：
场景说明默认表结构
智能体根据选中智能体应用的出入参形式定义评测集输入、理想输出
工作流参考工作流应用的出入参形式定义评测集输入、理想输出
轨迹参考智能体执行轨迹定义评测集，评估工具调用与执行过程input、reference_output、trajectory
自定义任意定义评测集的表结构列 1、列 2、列 3
选择智能体或工作流场景时，可选择具体的智能体或工作流及其版本，系统根据其出入参生成表结构。表结构每列支持配置列名、数据类型、是否必填与描述。数据类型包括 String、Number、Boolean、Object、Array、轨迹。列名只能包含字母、数字或下划线，并以字母或下划线开头。
创建包含轨迹数据的评测集与轨迹数据的添加方式，参考添加轨迹评测数据。
4

确认创建

点击确认，完成评测集创建。创建后可在评测集详情页继续添加数据。
选择本地上传文件时，上传后将根据文件的列字段自动搭建评测集表结构，文件行数据将作为评测集初始数据。可先下载数据模板，基于模板填写后再上传。

发布评测集

  1. 在评测集详情页点击发布，打开发布版本弹窗。
  2. 填写版本描述（选填，最多 100 字符）。版本 ID 从 V1 开始递增，评测集最多保存 10 个版本，超出后自动覆盖。
  3. 点击确认发布，发布状态显示为发布中，等待发布完成即可用于评测任务。
草稿状态的评测集不能用于应用评测，须发布后再使用。

管理评测集

  1. 版本管理：管理评测集版本，展示草稿版本和最近 10 个版本。
  2. 内容搜索：按评测集内容搜索，可选择全部字段或指定的评测集表头字段，再输入搜索内容。
  3. 编辑表头：支持修改列名与描述，支持新增列。评测集已存在数据时，列的数据类型与必填设置不可修改。
  4. 添加数据：点击添加数据，支持单条新增与批量导入。批量导入支持 .xls、.xlsx、.csv 文件，可选择追加数据或全量覆盖，并配置文件列与评测集列的映射关系。
  5. 导出：导出当前评测集数据。
  6. 删除：在确认弹窗中二次确认后，删除评测集。
评测集完备后需发布才能使用。草稿状态的评测集不能用于应用评测。