大模型节点用于在工作流中调用大型语言模型,通过配置提示词和模型参数,根据输入生成文本回复。支持单次处理和批量处理两种模式,适用于内容生成、多轮对话等场景。
单次处理模式下,大模型节点根据系统提示词和用户输入生成回复。适用于处理单个用户输入,需要对话历史记忆、失败重试和异常处理的场景
批量处理模式下,节点会按照批处理变量依次处理数组中的每个元素,支持并行执行。适用于需要对数组中的多个元素批量调用大模型处理的场景。
大模型节点支持两种运行模式:
批量处理模式下需额外配置以下参数:
模型选择
从模型选择器下拉列表中选择要使用的大模型,如千问系列模型。如果下拉列表中没有目标模型,点击更多模型,在弹出的模型选择对话框中查找并选择目标模型。
模型参数
点击模型选择器右侧的配置按钮,勾选启用后,可设置以下参数:
插入变量:在提示词输入框中点击输入框,然后输入 / 字符,会自动弹出变量选择器,可选择上游节点的输出变量。变量引用格式为 {开始/query}。
默认开启。开启后模型将记住对话历史,支持多轮对话场景。
单次处理模式:
批量处理模式:
默认关闭。节点运行超时或异常时自动重试。关闭后,节点失败将直接报错。
默认关闭。节点运行失败时的处理方式。
使用示例
单次处理模式
单次处理模式下,大模型节点根据系统提示词和用户输入生成回复。适用于处理单个用户输入,需要对话历史记忆、失败重试和异常处理的场景
批量处理模式
批量处理模式下,节点会按照批处理变量依次处理数组中的每个元素,支持并行执行。适用于需要对数组中的多个元素批量调用大模型处理的场景。
接入节点
方式一:通过加号按钮添加
- 点击画布上任意节点末尾的加号按钮。
- 在弹出的节点列表中选择大模型节点。
- 节点自动添加到画布并与上游节点建立连线。
方式二:拖拽节点
- 在左侧节点库中找到大模型节点。
- 将节点拖拽到画布上的目标位置。
- 手动将节点连接到上游节点(拖拽上游节点的输出端到大模型节点的输入端)。
核心配置
模式选择
大模型节点支持两种运行模式:
| 模式 | 说明 |
|---|---|
| 单次处理模式 | 节点运行一次,处理单个输入并返回单个结果。支持记忆、失败重试和异常处理功能。 |
| 批量处理模式 | 节点多次运行,按批处理变量依次处理数组中的每个元素。不支持记忆、失败重试和异常处理功能。 |
| 参数 | 范围 | 默认值 | 说明 |
|---|---|---|---|
| 批处理次数上限 | 1-100 | 50 | 批处理运行的最大次数。实际次数取决于输入数组长度与批处理次数上限的较小值。 |
| 并行运行数量 | 1-10 | 5 | 批处理的并发数量。设置为 1 表示串行执行。 |
| 批处理变量 | - | - | 配置需要批量处理的变量,包括变量名、引用方式和值。 |
模型配置
模型选择
从模型选择器下拉列表中选择要使用的大模型,如千问系列模型。如果下拉列表中没有目标模型,点击更多模型,在弹出的模型选择对话框中查找并选择目标模型。
模型参数
点击模型选择器右侧的配置按钮,勾选启用后,可设置以下参数:
| 参数 | 默认值 | 说明 |
|---|---|---|
| 最长回复长度 | 1024 | 模型输出的最大 token 数量。 |
| top_p | 0.80 | 控制输出的多样性,值越大结果越多样。 |
| temperature | 0.70 | 控制输出的随机性,值越大结果越随机。 |
| enable_thinking | 开启 | 启用模型的深度思考模式,输出推理过程。 |
| thinking_budget | 4000 | 思考模式下,思维链的最大输出tokens数量。 |
| result_format | message | 结果返回格式。 |
| enable_search | 关闭 | 启用联网搜索功能。 |
提示词
| 提示词类型 | 说明 |
|---|---|
| 系统提示词 | 定义模型的角色和行为规范。例如:你是一个专业的问答助手。你的回答必须专业、简洁、直奔主题。如果不知道答案,就说”我不知道”。 |
| 用户提示词 | 传递给模型的用户输入内容,支持通过输入 / 插入变量引用。例如:请回答用户问题:${开始/query}。(其中 ${开始/query} 引用了开始节点的内置变量query) |
记忆
默认开启。开启后模型将记住对话历史,支持多轮对话场景。
| 缓存类型 | 说明 |
|---|---|
| 本节点缓存 | 模型只记住本节点内的对话历史。需配置记忆轮次(1-50,默认 3),一次输入+输出为一轮。 |
| 自定义缓存 | 模型记住全局的上下文信息。需选择上下文变量,如内置变量 historyList。 |
输出变量
单次处理模式:
| 输出变量 | 类型 | 说明 |
|---|---|---|
| result | String | 模型生成的文本内容。 |
| reasoningContent | String | 模型的推理思考过程(仅启用思考模式时输出)。 |
| 输出变量 | 类型 | 说明 |
|---|---|---|
| result | Array<String> | 每次处理结果组成的数组。 |
| reasoningContent | Array<String> | 每次推理思考过程组成的数组。 |
失败时重试
默认关闭。节点运行超时或异常时自动重试。关闭后,节点失败将直接报错。
| 参数 | 范围 | 默认值 | 说明 |
|---|---|---|---|
| 最大重试次数 | 1-10 | 3 | 请求失败时的最大重试次数。 |
| 重试间隔 | 300-10000 毫秒 | 500 | 每次重试之间的等待时间。 |
异常处理
默认关闭。节点运行失败时的处理方式。
| 处理方式 | 说明 | 默认值 |
|---|---|---|
| 节点失败时返回预设的默认值,需为每个输出变量配置默认值。 | 异常分支 | 节点失败时走异常分支,由后续节点处理异常情况。 |
常见用法
| 配合节点 | 常见用法 |
|---|---|
| 知识库节点 → 大模型节点 | 检索知识库后,将检索结果传递给大模型节点,实现 RAG 增强问答。 |
| 大模型节点 → 条件判断节点 | 根据大模型输出的 result 变量进行条件分支判断,实现不同的业务逻辑。 |
| 大模型节点 → 流程输出节点 | 在流程中间输出大模型的生成结果,实现流式返回效果。 |