视频解析节点用于多模态时序分析,能同步完成语音转录与关键帧提取,并对帧画面进行内容描述,最终将所有声画信息按时间线进行结构化对齐。
使用示例
以解析视频并生成内容总结为例,该工作流接收一段视频文件的 URL,通过视频解析节点提取语音识别文本、关键帧画面描述和时间信息,再由大模型节点生成视频内容总结。
节点接入
方法1:使用+按钮添加
- 将鼠标悬停在画布上任意节点上(如开始节点),节点右侧自动显示 + 按钮。
- 点击 + 按钮,在弹出的节点列表中选择工具数据连接器节点将自动添加到画布并与上游节点建立连线。节点将自动添加到画布并与上游节点建立连线。,
方法2:从节点库拖拽添加
- 在左侧节点库中选择数据视频解析。
- 拖拽节点到画布合适位置,从上游节点边缘拖拽连线到视频解析节点。
核心配置
输入
指定待解析的视频,支持直接输入 URL 或引用上游节点变量。通过引用方式下拉框选择输入方式:
| 方式 | 说明 | 使用场景 |
|---|---|---|
| 引用 | 引用上游节点变量 | 视频来自上游节点的 String 类型的 URL 或开始节点的 File 类型文件。 |
| 输入 | 直接输入视频 URL | 视频 URL 固定或从外部获取。 |
- 单文件大小不超过 512 MB。
- 仅支持单文件解析,不支持列表文件解析。
- 支持格式:.mp4、.mkv、.avi、.mov、.wmv。
解析器选择
| 解析器类型 | 计费 | 说明 |
|---|---|---|
| 大模型音视频解析 | 暂不计费 | 通过内置大模型实现解析,不支持修改提示词。 |
节点输出
视频解析节点根据视频内容输出结构化的解析结果,包含文件类型和按时间段组织的音频语音识别文本与视频关键帧画面描述。
| 变量名 | 类型 | 说明 |
|---|---|---|
| fileType | String | 文件类型(如 "mp4"、"mkv" 等)。 |
| segments | Array<Object> | 输出结果数组,按时间段组织视频内容,每个元素代表一个场景段落。 |
| 字段名 | 类型 | 说明 |
|---|---|---|
| audioFrames | Array<Object> | 音频帧数组,包含该段落内的语音识别详情。 |
| videoFrames | Array<Object> | 视频帧数组,包含该段落内的关键帧画面描述。 |
| startTime | Number | 段落开始时间(单位:毫秒)。 |
| endTime | Number | 段落结束时间(单位:毫秒)。 |
| index | Number | 段落索引,从 0 开始计数。 |
| 字段名 | 类型 | 说明 |
|---|---|---|
| ASRInfo | String | 语音识别文本(ASR 信息),无语音时为空字符串。 |
| startTime | Number | 音频帧开始时间(单位:毫秒)。 |
| endTime | Number | 音频帧结束时间(单位:毫秒)。 |
| 字段名 | 类型 | 说明 |
|---|---|---|
| textInfo | String | 关键帧画面内容描述(由大模型生成的场景文字描述)。 |
| fileUrl | String | 关键帧图片地址(提取的关键帧截图 URL,含签名参数,有有效期)。 |
| startTime | Number | 关键帧开始时间(单位:毫秒)。 |
| endTime | Number | 关键帧结束时间(单位:毫秒)。 |
常见用法
| 配合节点 | 常见用法 |
|---|---|
| 开始节点 → 视频解析节点 | 开始节点提供视频文件 URL(String 类型)或视频文件(File 类型),视频解析节点解析视频内容。 |
| 视频解析节点 → 大模型节点 | 视频解析节点输出结构化内容(如 segments 中的 ASR 文本和画面描述),大模型节点基于解析结果生成内容总结、回答问题或提取信息。 |
| 视频解析节点 → 变量处理节点 | 提取视频解析结果中的特定字段进行格式转换或数据处理(如提取所有 textInfo 拼接为完整画面描述) |