Skip to main content
工作流

大模型节点

大模型节点用于在工作流中调用大型语言模型,通过配置提示词和模型参数,根据输入生成文本回复。支持单次处理和批量处理两种模式,适用于内容生成、多轮对话等场景。

使用示例

单次处理模式

单次处理模式下,大模型节点根据系统提示词和用户输入生成回复。适用于处理单个用户输入,需要对话历史记忆、失败重试和异常处理的场景

批量处理模式

批量处理模式下,节点会按照批处理变量依次处理数组中的每个元素,支持并行执行。适用于需要对数组中的多个元素批量调用大模型处理的场景。

接入节点

方式一:通过加号按钮添加

  • 点击画布上任意节点末尾的加号按钮。
  • 在弹出的节点列表中选择大模型节点。
  • 节点自动添加到画布并与上游节点建立连线。

方式二:拖拽节点

  • 在左侧节点库中找到大模型节点。
  • 将节点拖拽到画布上的目标位置。
  • 手动将节点连接到上游节点(拖拽上游节点的输出端到大模型节点的输入端)。

核心配置

模式选择

大模型节点支持两种运行模式:
模式说明
单次处理模式节点运行一次,处理单个输入并返回单个结果。支持记忆、失败重试和异常处理功能。
批量处理模式节点多次运行,按批处理变量依次处理数组中的每个元素。不支持记忆、失败重试和异常处理功能。
批量处理模式下需额外配置以下参数:
参数范围默认值说明
批处理次数上限1-10050批处理运行的最大次数。实际次数取决于输入数组长度与批处理次数上限的较小值。
并行运行数量1-105批处理的并发数量。设置为 1 表示串行执行。
批处理变量--配置需要批量处理的变量,包括变量名、引用方式和值。

模型配置

模型选择 从模型选择器下拉列表中选择要使用的大模型,如千问系列模型。如果下拉列表中没有目标模型,点击更多模型,在弹出的模型选择对话框中查找并选择目标模型。 模型参数 点击模型选择器右侧的配置按钮,勾选启用后,可设置以下参数:
参数默认值说明
最长回复长度1024模型输出的最大 token 数量。
top_p0.80控制输出的多样性,值越大结果越多样。
temperature0.70控制输出的随机性,值越大结果越随机。
enable_thinking开启启用模型的深度思考模式,输出推理过程。
thinking_budget4000思考模式下,思维链的最大输出tokens数量。
result_formatmessage结果返回格式。
enable_search关闭启用联网搜索功能。

提示词

提示词类型说明
系统提示词定义模型的角色和行为规范。例如:你是一个专业的问答助手。你的回答必须专业、简洁、直奔主题。如果不知道答案,就说”我不知道”。
用户提示词传递给模型的用户输入内容,支持通过输入 / 插入变量引用。例如:请回答用户问题:${开始/query}。(其中 ${开始/query} 引用了开始节点的内置变量query)
插入变量:在提示词输入框中点击输入框,然后输入 / 字符,会自动弹出变量选择器,可选择上游节点的输出变量。变量引用格式为 节点名/变量名,例如{节点名/变量名},例如 {开始/query}

记忆

默认开启。开启后模型将记住对话历史,支持多轮对话场景。
缓存类型说明
本节点缓存模型只记住本节点内的对话历史。需配置记忆轮次(1-50,默认 3),一次输入+输出为一轮。
自定义缓存模型记住全局的上下文信息。需选择上下文变量,如内置变量 historyList。

输出变量

单次处理模式:
输出变量类型说明
resultString模型生成的文本内容。
reasoningContentString模型的推理思考过程(仅启用思考模式时输出)。
批量处理模式:
输出变量类型说明
resultArray<String>每次处理结果组成的数组。
reasoningContentArray<String>每次推理思考过程组成的数组。

失败时重试

默认关闭。节点运行超时或异常时自动重试。关闭后,节点失败将直接报错。
参数范围默认值说明
最大重试次数1-103请求失败时的最大重试次数。
重试间隔300-10000 毫秒500每次重试之间的等待时间。

异常处理

默认关闭。节点运行失败时的处理方式。
处理方式说明默认值
节点失败时返回预设的默认值,需为每个输出变量配置默认值。异常分支节点失败时走异常分支,由后续节点处理异常情况。

常见用法

配合节点常见用法
知识库节点 → 大模型节点检索知识库后,将检索结果传递给大模型节点,实现 RAG 增强问答。
大模型节点 → 条件判断节点根据大模型输出的 result 变量进行条件分支判断,实现不同的业务逻辑。
大模型节点 → 流程输出节点在流程中间输出大模型的生成结果,实现流式返回效果。