构建知识库前,先导入知识数据作为知识来源。
操作指南
导入本地文件
- 进入文件页签。
- 在左侧下,选择一个现有类目,或点击图标新建类目。
阿里云百炼通过类目管理导入的文件。
- 点击导入数据,进入界面。导入方式选择。
- 可选或(可针对不同格式配置解析规则,以提升解析效果)。
- 文档智能解析:不支持解析文件中的插图与图表。对于文件中的插图,解析器会识别并提取图中的文本,并生成文本摘要。这些摘要将与文件中其它非图片内容一起被切分并转换为向量,参与知识库的检索。
- 大模型文档解析:使用模型列表模型的智能体应用支持用户对文件中插图和图表的内容进行提问。如需识别和理解文件中的插图与图表,请选择。
- Qwen VL解析:仅支持解析图片格式。可自主选择千问VL模型,并通过传入Prompt指定模型需要识别的版面、元素及内容,其余功能与大模型文档解析一致。
- 音视频解析:对文件进行语音识别、视频帧提取(仅限视频)和剧情解析(仅限视频),最终将所有声画信息按时间轴结构化对齐。
- 语音识别:字幕内容解析器通过录音文件识别将人类语音转为文本。暂不支持识别音乐或自然环境声(如喇叭声、钟声、雷声等)。
- 视频帧提取:从原始视频中抽取有代表性的视觉画面,并生成相应的文本描述。
- 剧情解析(需手动开启):分析视频内容,定位具体事件并标注时间戳,同时生成相应的文本描述。
tags中指定标签。应用在检索知识库时,会先根据标签筛选相关文件,从而提高检索效率。对于,可在控制台调试知识库时设置标签。
点击,系统将开始解析和导入,可在页面查看任务进度。
文件将被转换成阿里云百炼可处理的格式。请求高峰期可能需数小时,请耐心等待。
导入完成后,点击相应文件右侧的即可查看导入的文件。
- 文件导入阿里云百炼后,将作为独立副本(与原始数据没有关联)存储在平台提供的免费空间中,当前无容量限制。
- 仅支持查看最近90天内导入的文件。超过此时间范围后,导入的文件将无法查看,但不会被删除。
导入的文件仅供当前业务空间的用户使用。阿里云百炼不会将其用于任何商业用途或对外公开。
导入本地表格
- 进入表格页签。
- 在左侧下,选择一个现有数据表,或点击图标新建数据表。
阿里云百炼通过数据表管理导入的数据。
导入到新数据表
输入。并配置数据表,选择可或。
- 直接上传Excel:阿里云百炼将自动识别上传文件中的表头,并据此来创建数据表结构,并将其余内容作为数据记录导入该表。
- 自定义表头:为必填参数,为选填参数,为必填参数。
age 表示年龄),请在“描述”中提供清晰的自然语言说明。
若字段类型设为 image_url,请确保链接是公开可访问的图片URL。知识库会用此链接抓取图片并为其生成向量索引,用于以图搜图等场景。
image_url格式示例:https://example.com/downloads/pic.jpg
创建知识库时,image_url类型字段用于生成图片索引**。阿里云百炼会访问目标图片并提取其特征,然后通过图片Embedding转换为向量并保存。知识库检索时,会用该向量与用户上传图片的向量进行相似度比对。
点击图标选择并上传文件(XLSX或XLS格式)。
点击,开始导入。完成后,左侧的导航树中将出现新数据表。
导入到现有数据表
- 在左侧的列表中选择相应的数据表,然后点击。
- 导入类型选择或。
- 点击界面上的**,可获取一个仅包含表头的空白文件。您可直接在该文件中插入新数据,然后将其用于覆盖上传或增量上传。
- 点击图标选择并上传文件(XLSX或XLS格式)。
导入OSS文件
- 进入文件页签。
- 在左侧下,选择一个现有类目,或点击图标新建类目。
阿里云百炼通过类目管理导入的文件。
- 点击导入数据,进入界面。导入方式选择OSS。
bailian-datahub-access标签以供阿里云百炼访问。操作指南请参见。
- 不支持归档、冷归档或深度冷归档存储类型的 Bucket。
- 不支持访问 Bucket 根目录下的文件,请选择已有的子目录或新建一个子目录供阿里云百炼访问。
- 支持内容加密的 Bucket。支持私有的 Bucket。
- 如需使用开启Referer防盗链的Bucket,须参考将域名
*.console.aliyun.com添加到白名单Referer中。
- 文档智能解析:不支持解析文件中的插图与图表。对于文件中的插图,解析器会识别并提取图中的文本,并生成文本摘要。这些摘要将与文件中其它非图片内容一起被切分并转换为向量,参与知识库的检索。
- 大模型文档解析:使用模型列表模型的智能体应用支持用户对文件中插图和图表的内容进行提问。如需识别和理解文件中的插图与图表,请选择。
- Qwen VL解析:仅支持解析图片格式。可自主选择千问VL模型,并通过传入Prompt指定模型需要识别的版面、元素及内容,其余功能与大模型文档解析一致。
- 音视频解析:对文件进行语音识别、视频帧提取(仅限视频)和剧情解析(仅限视频),最终将所有声画信息按时间轴结构化对齐。
- 语音识别:字幕内容解析器通过录音文件识别将人类语音转为文本。暂不支持识别音乐或自然环境声(如喇叭声、钟声、雷声等)。
- 视频帧提取:从原始视频中抽取有代表性的视觉画面,并生成相应的文本描述。
- 剧情解析(需手动开启):分析视频内容,定位具体事件并标注时间戳,同时生成相应的文本描述。
tags中指定标签。应用在检索知识库时,会先根据标签筛选相关文件,从而提高检索效率。对于,可在控制台编辑应用时直接设置标签(启用****+知识库**********)。
点击,系统将开始解析和导入,可在页面查看任务进度。
文件将被转换成阿里云百炼可处理的格式。请求高峰期可能需数小时,请耐心等待。
导入RDS MySQL数据
- 进入数据源页面,点击。
- 输入,选择。
MySQL引擎(版本无限制),暂不支持PostgreSQL等其它引擎;实例地域不限;只支持基础系列和高可用系列**;创建RDS实例时,网络类型必须是****,加入白名单需选****(将VPC网段加入到RDS实例白名单中)。
数据库和表限制:知识库只能关联单个数据库中的一张表,不支持多表关联;关联表中的数据量最大为10,000,000行,且每一行记录的大小必须控制在100KB以内(超出将被截断)。若最大行数限制无法满足实际业务需求,可提交工单申请调整。
选择或。
私网数据源仅支持部分地域的RDS实例;其他地域请选择公网数据源。私网数据源在安全性和性能方面更具优势。
新建公网数据源
为确保知识库能正常接收RDS数据,请为RDS实例设置EventBridge白名单。
若未正确设置白名单,创建数据源时会提示Communications link failure。
如何设置EventBridge白名单
访问RDS控制台,点击左侧导航栏中的实例列表,然后点击包含数据表的RDS实例。接着,点击左侧导航栏中的数据库连接,点击外网地址旁的设置白名单。
点击添加白名单分组,并将以下 EventBridge 公网 IP 地址全部添加至白名单分组中。
39.105.55.188,39.105.110.43,47.95.35.213,47.95.33.100,39.106.255.198,47.93.177.159,47.95.32.154,39.107.99.72
点击,白名单生效。
填写数据源相关配置:
| 配置项 | 说明 |
|---|---|
| 数据源名称 | 数据源名称在同一个业务空间中应是唯一的。即使创建失败,该名称也不可复用。 |
| RDS实例ID | 填写RDS实例ID。请前往RDS控制台,点击左侧导航栏中的实例列表获取。 |
| 外网地址 | 填写RDS实例的外网地址。您可以在RDS实例的数据库连接界面获取该信息:前往RDS控制台,点击左侧导航栏中的实例列表,然后点击包含数据表的RDS实例。接着,点击左侧导航栏中的数据库连接,即可查看该实例对应的外网地址。若该 RDS 实例未开通外网地址,请先按照界面指引完成 RDS 外网地址开通。高可用系列RDS请勿使用数据库代理连接区域的代理连接地址或内网地址。 |
| 外网端口 | 填写RDS实例的外网端口。该信息同样可以在RDS实例的数据库连接界面获取。 |
| 数据库账号 | 数据库账号类型需为高权限账号,关于账号说明和获取方式请参见。 |
| 状态 | 说明 |
|---|---|
| 成功 | 表示数据源已创建成功。请选择该数据源执行。 |
| 失败 | 表示数据源创建失败。请检查各项参数是否正确,修改后点击重新创建数据源。您可点击删除创建失败的数据源。 |
新建私网数据源
填写数据源相关配置:
| 配置项 | 说明 |
|---|---|
| 数据源名称 | 数据源名称在同一个业务空间中应是唯一的。即使创建失败,该名称也不可复用。 |
| 地域 | 选择RDS实例所在地域。请前往RDS控制台,点击左侧导航栏中的实例列表获取。 |
| RDS实例ID | 填写RDS实例ID。请前往RDS控制台,点击左侧导航栏中的实例列表获取。 |
| 内网地址 | 填写RDS实例的内网地址。您可以在RDS实例的数据库连接界面获取该信息:前往RDS控制台,点击左侧导航栏中的实例列表,然后点击包含数据表的RDS实例。接着,点击左侧导航中的数据库连接,即可查看该实例对应的内网地址。高可用系列RDS请勿使用数据库代理连接区域的代理连接地址或内网地址。 |
| 内网端口 | 填写RDS实例的内网端口。该信息同样可以在RDS实例的数据库连接界面获取。 |
| 数据库账号 | 数据库账号类型需为高权限账号,关于账号说明和获取方式请参见。 |
- VPC ID:应填写RDS实例的VPC ID。该信息同样可以在RDS实例的数据库连接界面获取。
- VSwitch ID:将鼠标悬浮于RDS实例的VPC ID上即可显示VSwitch ID。RDS MySQL高可用系列实例可能拥有多个 VSwitch ID,请完整填写该实例关联的所有 VSwitch ID。
- 安全组的地域需与上方保持一致;
- 安全组的网络需选择RDS所在的VPC;
- 安全组类型支持普通安全组和企业级安全组。
- 安全组的网络入方向未设置任何访问限制;
| 状态 | 说明 |
|---|---|
| 成功 | 表示数据源已创建成功。请选择该数据源执行。 |
| 失败 | 表示数据源创建失败。请检查各项参数是否正确,修改后点击重新创建数据源。您可点击,删除创建失败的数据源。 |
导入自建MySQL数据
- 进入数据源页面,点击。
- 输入,选择。
私网数据源仅支持部分地域的ECS实例;其他地域请选择公网数据源。私网数据源在安全性和性能方面更具优势。
新建公网数据源
为确保知识库能正常接收数据,请为您的自建MySQL配置EventBridge白名单。
若未正确配置白名单,创建数据源时会提示Communications link failure。
如何设置EventBridge白名单
访问ECS控制台,点击左侧导航栏中的,找到与您自建MySQL关联的安全组,然后点击栏中的管理规则。
在安全组详情页,点击增加规则,将以下EventBridge公网IP地址全部添加至该安全组中,并且需要放行所有流量和全部端口。
不可使用由第三方产品或服务间接创建的安全组。
39.105.55.188,39.105.110.43,47.95.35.213,47.95.33.100,39.106.255.198,47.93.177.159,47.95.32.154,39.107.99.72
点击,安全组生效。
在您的MySQL中,创建一个允许全部来源流量的数据库账号(也可以使用已有账号)然后执行以下GRANT授权命令。
请根据您的实际情况,将下方命令中的user1替换为您的实际数据库账号。
| 配置项 | 说明 |
|---|---|
| 数据源名称 | 数据源名称在同一个业务空间中应是唯一的。即使创建失败,该名称也不可复用。 |
| 数据库地址 | 填写您自建MySQL的公网地址。 |
| 端口 | 填写您自建MySQL的端口。 |
| 数据库账号 | 填写您在前面加白步骤中执行过GRANT授权的数据库账号。 |
| 状态 | 说明 |
|---|---|
| 成功 | 表示数据源已创建成功。请选择该数据源执行。 |
| 失败 | 表示数据源创建失败。请检查各项参数是否正确,修改后点击重新创建数据源。您可点击,删除创建失败的数据源。 |
新建私网数据源
为确保知识库能正常接收数据,请为您的自建MySQL配置EventBridge白名单。
若未正确配置白名单,创建数据源时会提示Communications link failure。
如何设置EventBridge白名单
在您的MySQL中,创建一个允许全部来源流量的数据库账号(也可以使用已有账号)然后执行以下GRANT授权命令。
请根据您的实际情况,将下方命令中的user1替换为您的实际数据库账号。
| 配置项 | 说明 |
|---|---|
| 数据源名称 | 数据源名称在同一个业务空间中应是唯一的。即使创建失败,该名称也不可复用。 |
| 地域 | 请选择您自建MySQL所部署ECS实例所在地域。该信息可以前往ECS控制台获取。 |
| ECS实例 | 填写您自建MySQL的。您可以在ECS的实例界面获取该信息:前往ECS控制台,点击左侧导航栏中的实例,即可查看对应实例的。 |
| 端口 | 填写您自建MySQL的端口。 |
| 数据库账号 | 填写您在前面加白步骤中执行过GRANT授权的数据库账号。 |
- VPC ID:填写自建MySQL所在ECS的VPC (vpc-xxxxxx),可从ECS控制台获取。
- VSwitch ID:实例VPC ID下方即是VSwitch ID(vsw-xxxxxx)。
- 安全组的地域需与上方保持一致;
- 安全组的网络需选择ECS所在的VPC;
- 安全组类型支持普通安全组和企业级安全组。
- 入方向未设置任何访问限制;
| 状态 | 说明 |
|---|---|
| 成功 | 表示数据源已创建成功。请选择该数据源执行。 |
| 失败 | 表示数据源创建失败。请检查各项参数是否正确,修改后点击重新创建数据源。您可点击,删除创建失败的数据源。 |
下一步
创建知识库
更多
从OSS导入文件配置说明
首次从OSS导入文件时,需要授权阿里云百炼访问OSS资源。主账号与子账号的授权流程不同。
主账号授权
如下图所示,点击。
在弹出的对话框中,点击,系统将自动创建OSS服务关联角色,允许阿里云百炼访问OSS资源。
通常秒级生效(高峰期可能延迟)。
遇到“本次请求失败,尝试重新提交试试或联系管理员,错误码:10041495”怎么办
为目标 OSS Bucket 添加bailian-datahub-access标签。
该标签用于标记阿里云百炼可访问的 Bucket,未标记的 Bucket 阿里云百炼无法访问。
访问OSS管理控制台,点击左侧导航栏中的Bucket 列表,找到目标 Bucket。
悬停鼠标在其图标上,点击(若未设置过标签)或前往编辑。
在Bucket标签页面,点击创建标签(若未设置过标签)或。
点击,添加标签名为bailian-datahub-access,标签值为read的标签,然后点击。
返回页面,重新选择目标 Bucket 再尝试导入。
注意:阿里云百炼不支持访问 Bucket 根目录下的文件**,请选择已有的子目录或新建一个子目录供阿里云百炼访问。
子账号授权
如下图所示,点击。
在弹出的对话框中,点击。若界面提示、当前用户没有创建服务关联角色的权限,需先授予子账号创建服务关联角色的权限。
需主账号登录RAM控制台,在左侧导航栏,选择,然后点击页面上的创建权限策略。
点击脚本编辑,将下方提供的完整JSON策略复制并粘贴至编辑框,点击。
通常秒级生效(高峰期可能延迟)。
bailian-datahub-access标签。
该标签用于标记阿里云百炼可访问的 Bucket,未标记的 Bucket 阿里云百炼无法访问。
访问OSS管理控制台,点击左侧导航栏中的Bucket 列表,找到目标Bucket。
悬停鼠标在其图标上,点击(若未设置过标签)或前往编辑。
在Bucket标签页面,点击创建标签(若未设置过标签)或。
点击,添加标签名为bailian-datahub-access,标签值为read的标签,然后点击。
返回页面,重新选择目标 Bucket 再尝试导入。
注意:阿里云百炼不支持访问 Bucket 根目录下的文件**,请选择已有的子目录或新建一个子目录供阿里云百炼访问。
配额与限制
关于支持的数据格式与容量,请参见。
计费说明
- 从本地或对象存储OSS导入:免费。
- RDS/MySQL导入:通过EventBridge同步数据,价格参见。
- 空置费用:若已关联 RDS/自建 MySQL 的知识库,在一个月内无任何数据导入,将按 1 元/天收取空置费用;一旦有数据导入,或删除该知识库,空置计费停止。
- 数据导入费用:按产生的事件量计费,单价为 2.8 元/百万条。
- 单行数据大小 ≤ 64 KB,按 1 条计费;
- 单行数据大小 > 64 KB,按每 64 KB 拆分为多条计费。
- 例如:导入 100 行数据,且每行都不超过 64 KB,则计费为 100 条;如其中有某一行大于 64 KB,则该行会被拆分为多条分别计费。
常见问题
权限与安全
数据导入时,遇到报错“缺少该模块的权限”,应如何处理?
RAM用户需主账号授予管理员权限(或至少包含应用数据-操作与知识库-操作)。参见。
导入OSS文件
导入OSS文件遇到“10041495”报错,应如何处理?
通常是主账号未开通OSS服务,处理步骤:
需主账号前往OSS管理控制台,按界面指引开通 OSS。
返回阿里云百炼页面,再尝试授权。
导入MySQL数据
私网数据源支持哪些地域的RDS与ECS实例?
- 华东1(杭州)
- 华东2(上海)
- 华南1(深圳)
- 华南2(河源)
- 华南3(广州)
- 华北1(青岛)
- 华北2(北京)
- 华北3(张家口)
- 华北5(呼和浩特)
- 华北6(乌兰察布)
- 西南1(成都)
AliyunBailianFullAccess、AliyunEventBridgeFullAccess和AliyunRDSReadOnlyAccess。具体操作请参考。
主账号为RAM用户配置创建服务关联角色系统策略。
使用主账号登录RAM控制台,在左侧导航栏,选择,然后点击页面上的创建权限策略。
在脚本编辑的Effect、Action、Resource、Condition中分别输入以下脚本中的对应内容后,点击。
CreateServiceLinkedRole后,点击。
在左侧导航栏,选择身份管理用户。从页面列表中找到待授权的子账号,然后点击子账号列的。
从权限策略列表中,选择刚创建的权限策略(CreateServiceLinkedRole),然后点击确认新增授权。至此,子账号拥有了创建服务关联角色的权限。
完成以上步骤1和2后,返回界面,使用RAM用户再尝试开通EventBridge服务关联角色。
系统提示“数据库配置校验不通过,您选择的表数据量较大”,应如何处理?
阿里云RDS MySQL
上方仅为示意图,提示中的建议项和建议值会根据您表中数据量不同而不同。若无对应建议项,则无需调整。
以下步骤请使用阿里云账号(主账号)操作。
如何配置本地日志保留时长:
前往RDS控制台,点击左侧导航栏中的实例列表,然后点击包含该数据表的RDS实例。接着点击左侧导航栏中的备份恢复,再点击备份策略选项卡,即可看到保留时长设置项。
修改保留时长为提示中提供的建议值。
如何配置wait_timeout:
前往RDS控制台,点击左侧导航栏中的实例列表,然后点击包含数据表的RDS实例。接着点击左侧导航栏中的参数设置,再点击可修改参数选项卡,即可看到wait_timeout设置项。
改为提示中提供的建议值。
自建MySQL
仅为示意图,提示中的建议项和建议值会根据您表中数据量不同而不同。若无对应建议项,则无需调整。
如何设置本地日志保留时长:
方式一(临时生效):通过执行SET GLOBAL命令修改expire_logs_days(MySQL 5.7及以下版本)或binlog_expire_logs_seconds(MySQL 8.0及以上版本),该修改将在下次MySQL重启后失效。
MySQL 5.7及以下版本
执行命令:
请将下方参数值 15 替换为提示中提供的建议值。
MySQL 8.0及以上版本
执行命令:
请将下方参数值 1296000 替换为提示中提供的建议值。
expire_logs_days(MySQL 5.7及以下版本)或binlog_expire_logs_seconds(MySQL 8.0及以上版本),但该方式需重启MySQL服务。
MySQL 5.7及以下版本
以Linux系统为例,MySQL配置文件一般位于:/etc/my.cnf 或 /etc/mysql/my.cnf。若文件中已包含expire_logs_days,可直接修改;若不存在,请手动添加。
请将下方参数值 15 替换为提示中提供的建议值。
MySQL 8.0及以上版本
以Linux系统为例,MySQL配置文件一般位于:/etc/my.cnf 或 /etc/mysql/my.cnf。若文件中已包含binlog_expire_logs_seconds,可直接修改;若不存在,请手动添加。
请将下方参数值 15 替换为提示中提供的建议值。
wait_timeout(单位是秒),该修改将在下次MySQL重启后失效。
执行命令:
请将下方参数值 1159200 替换为提示中提供的建议值。
该命令将影响所有新建立的连接。已存在的连接不受此设置影响。
wait_timeout(单位是秒),但该方式需重启MySQL服务。
以Linux系统为例,MySQL配置文件一般位于:/etc/my.cnf 或 /etc/mysql/my.cnf。若文件中已包含wait_timeout,可直接修改;若不存在,请手动添加。
请将下方参数值 1159200 替换为提示中提供的wait_timeout建议值。