数据集(原数据连接)是 RAG 管理外部数据源的统一入口,可接入企业数据库、文档系统和对象存储
数据集是 RAG 管理外部数据源的统一入口。通过创建数据集,应用可以安全地访问企业数据库、文档系统和对象存储中的数据,在对话中实时查询和引用。
数据集类型
数据集按数据的存储和访问方式分为平台托管和流处理两类:
| 联通格式 | 数据集 | 数据存储方式 | 适用场景 |
|---|---|---|---|
| 平台托管 | 文件 | 平台存储 | 上传和管理非结构化文档(PDF、Word、Markdown 等) |
| 平台托管 | 表格 | 平台存储 | 导入和查询结构化表格数据(CSV、Excel 等) |
| 流处理 | MySQL | 数据保留在原数据库,实时访问 | 连接 MySQL 数据库,执行 SQL 查询 |
| 流处理 | PostgreSQL | 数据保留在原数据库,实时访问 | 连接 PostgreSQL 数据库,执行 SQL 查询 |
| 流处理 | PolarDB-X 2.0 | 数据保留在原数据库,实时访问 | 连接阿里云 PolarDB-X 2.0 分布式数据库 |
前置条件
- 账号权限:主账号或具有数据集管理权限的 RAM 用户。
- 数据源准备(按数据集类型):
| 数据集 | 需要准备 |
|---|---|
| 文件 / 表格 | 待上传的文件 |
| MySQL | MySQL 数据库实例(阿里云 RDS 或自建),网络可达(公网或私网) |
| PostgreSQL | PostgreSQL 数据库实例,且已将 wal_level 参数设为 logical |
| PolarDB-X 2.0 | 阿里云 PolarDB-X 2.0 实例,所在地域支持私网访问 |
创建数据集
进入控制台 数据接入 → 数据集,点击 创建数据集,选择数据集类型后按以下说明填写配置。
- 文件
- 表格
- MySQL
- PostgreSQL
- PolarDB-X 2.0
文件数据集用于管理非结构化文档(PDF、Word 等)。
- 数据集类型选择 文件。
- 填写数据集名称和描述。描述会用于指导应用调用的准确度,建议写明数据内容和用途。
- 存储位置选择使用平台存储:数据存储在平台提供的存储空间,最多 100,000 个文件 / 1 TB,限时免费。
导入数据
数据集创建完成后,需要向数据集中导入数据。
文件数据集
- 在数据集列表页点击目标数据集的详情按钮,进入数据集详情页的文件标签。
- 在左侧类目树中选择现有类目,或点击 + 新建类目。
- 点击导入数据,选择本地导入,上传文件。
- 选择解析方式(默认设置或自定义),系统自动完成文件解析。
数据库数据集
数据库数据集(MySQL / PostgreSQL / PolarDB-X 2.0)的数据保留在原数据库中,无需手动导入。数据集创建完成后即可在应用中实时查询数据。
数据导入 API
除控制台操作外,也可通过 API 管理数据导入。详见 API 参考 — 数据导入。
数据导入 API(
/api/v1/connector/dash/)与其他接口使用相同的 workspace 域名和鉴权方式,详见 API 概览。