用量监控与性能分析

阿里云百炼应用内部的多节点架构为后续开发带来诸多挑战，例如：

• 追踪应用内部调用链路
• 查看模型响应延时
• 查看模型思考过程

通过应用观测功能，您可端到端查看业务空间内阿里云百炼应用的处理流程（如向量生成、向量检索和大模型调用）并获取延时、Token 量等指标（更新频率为分钟级）。

应用观测目前暂无 API。

​

支持的应用

智能体应用、工作流应用和 Managed Agents 应用。

应用观测目前暂不支持通过 Assistant API 创建的智能体应用。

​

开始使用

​

前提条件

首次使用应用观测时，请单击应用观测页面右上角的应用观测配置，根据指引完成以下步骤：

1. 授权可观测链路 OpenTelemetry 服务角色权限。
2. 开通可观测链路 OpenTelemetry 服务。
3. 初始化可观测链路 OpenTelemetry 存储 LogStore。

​

使用方法

​

1. 选择被观测的应用

访问应用观测，单击右上角的选择被观测的应用。如果列表中没有您已创建的应用，可能是因为：

• 该应用尚未发布。
• 该应用不属于当前业务空间。

​

2. 开始观测

1. 添加完成后，被观测的应用将出现在应用观测列表中。所有在该应用中输入的 Prompt 及其相应的数据和指标将被自动追踪，并同步至应用观测（频率为分钟级）。

   单击关闭观测后，应用的追踪数据将停止同步。重新添加后仅同步新增数据。

2. 单击操作列的查看详情，进入应用详情页。页面默认显示 Trace 列表页签，可查看过往（最长可选 30 天）所有在该应用中输入的 Prompt 的内容、输出、延时、调用时间以及 Token 量等概要信息。 支持基于 Request ID、Trace ID 或 Span ID 进行搜索，以及指定时间范围进行筛选。
3. 单击指定节点的 Trace ID，即可查看详情、原始数据、标注记录等信息（如有下属节点，支持展开）。

​

3. 导出数据

在应用详情页的 Trace 列表页签右上角，单击导出数据，可将当前筛选条件下的数据导出（JSONL 或 EXCEL 格式）。

​

4. 查看监控统计

在应用详情页，单击监控统计页签，可查看该应用的性能监控数据，包括：

• 调用次数：应用调用次数及调用总次数趋势图。
• Token 总量：全部、输入和输出 Token 总量趋势图。
• 平均调用时长：应用调用的平均延时。
• 平均首 Token 耗时：流式调用场景下的首 Token 响应时间。

支持按时间范围（最长 30 天）和聚合粒度（按分钟、按小时、按天）查看数据。

​

添加到评测集

应用观测支持将 Span 数据直接添加到评测集，用于后续的应用评测。通过此功能，您可以将真实的线上调用数据作为评测样本，构建更贴近实际业务场景的评测集。

1. 在应用观测列表中，点击指定应用右侧的查看详情进入 Span 列表页，再点击批量操作，勾选需要添加到评测集的 Span 数据（支持多选）。
2. 单击添加到评测集按钮，进入配置页：
   • 选择目标评测集和目标评测集名称：可选择已有评测集或新建评测集。
   • 导入方式：支持追加数据或全量覆盖两种方式。
   • 字段映射：将 Span 数据中的字段映射到评测集字段。
3. 配置完成后，单击开始导入。

字段映射支持从 Span 的完整参数中选择。每个评测集最多支持 50 个字段映射。