Prompt反馈优化 - 阿里云百炼 Agent Studio

效果展示

优化前 Prompt 优化前的 Prompt 内容为：将汽车相关文章分类为产品解析、车商卖车、经典怀旧、质量投诉、销量表现、其他六个类别，并以 {"type":"<类别结果>"} 的 JSON 格式输出分类结果。 优化后 Prompt 优化后的 Prompt 由三部分组成：

推理结果对比：

优化前（错误）：输入一段关于某汽车品牌质量投诉与销量关系的文本，模型输出分类结果为 {"type":"质量投诉"}，执行完成，输入 token 为 265，输出 token 为 6。
优化后（正确）：模型对同一文本进行分类，输出结果为 {"type": "销量表现"}，状态显示执行完成，统计信息为字数 16、输入 token 1152、输出 token 7。

Prompt 反馈优化功能将做以下工作：

相较于Prompt 自动优化，由于 Prompt 反馈优化将用户提供的数据作为优化的评估标准，使得 Prompt 在用户实际场景中的回复质量更高。

为了提高一家汽车论坛的内容管理效率，计划使用大模型进行文章的类型分类。分类标准如下：

下面汽车相关的文章属于下面哪一种类别：
"产品解析"，
"车商卖车"，
"经典怀旧"，
"质量投诉"，
"销量表现"，
"其他"。
最终的结果请按照{"type":"<类别结果>"}的json格式进行输出。

当您把以上提示信息作为 Prompt 输入后，发现应用并不能准确地按照您的想法进行分类，比如以下这篇文章应该分类为"销量表现"：经过一段时间的学习，您发现进行 Prompt 工程是最合适的选择。因此为了让应用更加准确地分类，您手动对典型文章进行了分类。以下为数据样例：

案例样例数据：

query	answer
文章标题：某品牌车辆底盘异响，车主竟称车内有"鸭子"叫。文章正文：一位某品牌车辆的车主反映其车辆在行驶中出现疑似"鸭子"叫的异响。经过检查，问题源于下摆臂胶套移位。车主之前在某维修厂更换了非原厂的总成，但因孔径不匹配导致问题持续存在。	`{"type": "质量投诉"}`
文章标题：某品牌车辆，中保研安全指数全优成绩，让你的安全无忧。文章正文：某品牌车辆在中保研安全指数评测中取得全优成绩，证明了其卓越的安全性能。	`{"type": "产品解析"}`
文章标题：现实中看到台某某汽车不容易。文章正文：某某汽车算是某某品牌目前轿车里售价最贵的车型了，但在马路上的能见度有时候还不如老款百万级别的某某汽车。	`{"type": "其他"}`
文章标题：某某汽车不墨迹，直接点，下面有惊喜！文章正文：某某汽车月底了一台没卖，经理又过来找我10.xx这个价只卖一台……	`{"type": "车商卖车"}`
文章标题：某某汽车库存泛滥成灾？车商：清仓处理，1.5万直接开走？文章正文：在上世纪末，某某品牌作为合资车引入中国的先驱，凭借早期车型在中国市场建立了坚实的基础……	`{"type": "经典怀旧"}`

案例评测数据：

query	answer
文章标题：XXX品牌与XXX品牌集团合资公司——XXX汽车启动ISO9001项目。文章正文：XXXX年XX月，XXX顾问启动了XXX品牌与XXX品牌集团合资公司的ISO9001质量管理体系咨询项目。	`{"type": "其他"}`
文章标题：某某汽车	`{"type": "其他"}`
文章标题：#某某汽车和某某汽车哪个好#你注重舒适还是配置这看个人	`{"type": "其他"}`
文章标题：在购车过程中，经过长达一个礼拜的仔细考察和比较，我最终做出了选择，决定购买24款某品牌汽车五座2.0T330车型。	`{"type": "产品解析"}`
文章标题：某品牌2022款A7L 2.0TFSI 45TFSI S-line 白法师版全车车衣	`{"type": "其他"}`

阿里云百炼提供了 Prompt 反馈优化功能，您决定使用该功能，结合手动分类数据，生成符合您期望的应用 Prompt。

在阿里云百炼的组件广场 > 提示词页面，单击反馈优化。

步骤一：选择推理模型，阿里云百炼将在该模型上进行多轮 Prompt 评测。
步骤二：输入需要优化的 Prompt（只需描述任务目标）。
步骤三（可选）：样例选择，支持直接上传和从样例库选择两种方式。
- 样例数据将添加到优化后的 Prompt 中，样例数据集建议包含 5~10 条数据，且每种场景至少包含一条数据。
- 本次实践使用的样例数据为：sample.xlsx。
步骤四：上传评测数据集。
- 评测数据将作为评估最优 Prompt 的标准。
- 评测数据集建议至少包含 20 条数据，数据越多，Prompt 优化效果越好。
- 本次实践使用的评测数据为：evaluation.xlsx。
步骤五：单击开始优化。

支持将优化后的 Prompt 保存为 Prompt 模板或直接基于该 Prompt 创建智能体应用。