Skip to main content

Prompt反馈优化

根据您提供的输入输出样例，Prompt反馈优化能够学习样例内的有效信息，自动生成符合您期望的Prompt。

功能介绍

反馈优化以优化任务（优化包）为单位进行管理：在提示词管理页面的反馈优化分类下，单击新增优化包创建优化任务。 创建优化任务表单包含以下配置：
配置项说明
任务名称必填，最多 20 个字符。
推理模型必填。推理模型用于生成多轮优化评测结果，推荐选择千问-Max。
初始 Prompt必填，最多 6000 字符。
样例选择通过样例数据优化 Prompt，使输出与样例数据对齐。支持直接上传（.xlsx/.xls，不超过 20MB，上限 100 条）和从样例库选择两种方式，可下载模板。
评测数据必填。优化器将生成多个候选 Prompt，基于评测数据自动推理并选择最佳 Prompt，上限 100 条，支持下载模板。
Prompt 反馈优化功能将做以下工作：
  • 将样例数据添加到 Prompt 中。
  • 对 Prompt 在评测数据集上的结果（由推理模型生成）进行多轮自动化评估、反思和优化，总结生成内容提示。
相较于Prompt 自动优化，由于 Prompt 反馈优化将用户提供的数据作为优化的评估标准，使得 Prompt 在用户实际场景中的回复质量更高。
  • 推理模型推荐选择千问-max。
  • 样例数据集：阿里云百炼将自动选取样例数据集的部分数据添加到 Prompt 中，建议包含 5~10 条数据，且每种场景至少包含一条数据。
  • 评测数据集：阿里云百炼将基于 Prompt 在评测数据集与推理模型上的表现进行优化，建议至少包含 20 条数据，数据越多，Prompt 优化效果越好。

案例实践

案例背景

为了提高一家汽车论坛的内容管理效率，计划使用大模型进行文章的类型分类。分类标准如下： 
下面汽车相关的文章属于下面哪一种类别：
"产品解析"，
"车商卖车"，
"经典怀旧"，
"质量投诉"，
"销量表现"，
"其他"。
最终的结果请按照{"type":"<类别结果>"}的json格式进行输出。
当您把以上提示信息作为 Prompt 输入后，发现应用并不能准确地按照您的想法进行分类，比如以下这篇文章应该分类为"销量表现"： 经过一段时间的学习，您发现进行 Prompt 工程是最合适的选择。因此为了让应用更加准确地分类，您手动对典型文章进行了分类。以下为数据样例：

手动分类数据

案例样例数据：
queryanswer
文章标题：某品牌车辆底盘异响，车主竟称车内有"鸭子"叫。文章正文：一位某品牌车辆的车主反映其车辆在行驶中出现疑似"鸭子"叫的异响。经过检查，问题源于下摆臂胶套移位。车主之前在某维修厂更换了非原厂的总成，但因孔径不匹配导致问题持续存在。{"type": "质量投诉"}
文章标题：某品牌车辆，中保研安全指数全优成绩，让你的安全无忧。文章正文：某品牌车辆在中保研安全指数评测中取得全优成绩，证明了其卓越的安全性能。{"type": "产品解析"}
文章标题：现实中看到台某某汽车不容易。文章正文：某某汽车算是某某品牌目前轿车里售价最贵的车型了，但在马路上的能见度有时候还不如老款百万级别的某某汽车。{"type": "其他"}
文章标题：某某汽车不墨迹，直接点，下面有惊喜！文章正文：某某汽车月底了一台没卖，经理又过来找我10.xx这个价只卖一台……{"type": "车商卖车"}
文章标题：某某汽车库存泛滥成灾？车商：清仓处理，1.5万直接开走？文章正文：在上世纪末，某某品牌作为合资车引入中国的先驱，凭借早期车型在中国市场建立了坚实的基础……{"type": "经典怀旧"}
案例评测数据：
queryanswer
文章标题：XXX品牌与XXX品牌集团合资公司——XXX汽车启动ISO9001项目。文章正文：XXXX年XX月，XXX顾问启动了XXX品牌与XXX品牌集团合资公司的ISO9001质量管理体系咨询项目。{"type": "其他"}
文章标题：某某汽车{"type": "其他"}
文章标题：#某某汽车和某某汽车哪个好#你注重舒适还是配置这看个人{"type": "其他"}
文章标题：在购车过程中，经过长达一个礼拜的仔细考察和比较，我最终做出了选择，决定购买24款某品牌汽车五座2.0T330车型。{"type": "产品解析"}
文章标题：某品牌2022款A7L 2.0TFSI 45TFSI S-line 白法师版全车车衣{"type": "其他"}
阿里云百炼提供了 Prompt 反馈优化功能，您决定使用该功能，结合手动分类数据，生成符合您期望的应用 Prompt。

操作步骤

在阿里云百炼的提示词管理页面（左侧导航选择工具 > 提示词管理），选择反馈优化分类。
  1. 步骤一：选择推理模型，阿里云百炼将在该模型上进行多轮 Prompt 评测。
  2. 步骤二：输入需要优化的 Prompt（只需描述任务目标）。
  3. 步骤三（可选）：样例选择，支持直接上传和从样例库选择两种方式。
    • 样例数据将添加到优化后的 Prompt 中，样例数据集建议包含 5~10 条数据，且每种场景至少包含一条数据。
    • 本次实践使用的样例数据为：sample.xlsx。
  4. 步骤四：上传评测数据集。
    • 评测数据将作为评估最优 Prompt 的标准。
    • 评测数据集建议至少包含 20 条数据，数据越多，Prompt 优化效果越好。
    • 本次实践使用的评测数据为：evaluation.xlsx。
  5. 步骤五：单击开始优化。

优化后使用 Prompt

支持将优化后的 Prompt 保存为 Prompt 模板或直接基于该 Prompt 创建智能体应用。