feat: publish CLMM video hot update v1.5.24
This commit is contained in:
+12
-12
@@ -53,13 +53,13 @@ canvasRun: (kind, params) => ipcRenderer.invoke("canvas-run", { kind, params }),
|
||||
- **图生图参考图**:`image`(用户上传的 base64 dataURL)→ 主进程 `uploadMedia()` 传图床换公网直链 → 塞进请求体字段 `refField`(默认 `image`,前端高级项可改)。上传失败直接返回 `{ok:false,error}`,不静默降级。流式与非流式两条 body 都带该字段。
|
||||
- 错误信息里带上**实际请求的 URL 和 model**,方便排查(如 404 时提示 `POST {url} model={model} → 404`)。
|
||||
- **video** `{ mode, prompt, model?, image?, lastFrameImage?, referenceImages?[], ratio?, quality?, seconds?, referenceField?, endpointPath? }` —— **Seedance 2.0**,使用新中转契约。
|
||||
- 创建端点默认 `/v1/video/generations`;若分组 `baseUrl` 已以 `/v1` 结尾,拼接时不得产生重复的 `/v1/v1`。
|
||||
- 请求体是扁平结构:`prompt` 必填,固定 `async:true`;`duration` 仅发送整数 `5/10/15`;`ratio`、`quality` 非自动时才发送;`model` 可省略并使用上游默认。
|
||||
- `mode`:`"text"` 只发送文本 | `"first"` 发送 `image` | `"firstlast"` 将首尾两图作为 `images` | `"reference"` 按 `referenceField` 发送 `images` 或 `ref_assets`。旧值 `"image"` 归一为 `"first"`。
|
||||
- Seedance 节点通过 CLMM 聚合中转提交,创建端点默认 `/v1/videos`;若分组 `baseUrl` 已以 `/v1` 结尾,拼接时不得产生重复的 `/v1/v1`。
|
||||
- 请求体遵循 CLMM 文档:`model`、`prompt`、`aspect_ratio`、`resolution`、`size`、`seconds`、`mySeconds`、`reference_image_urls`。模型包含 `-Ns` 时使用 `seconds:"1"`;包含 `-gz` 时将 `mySeconds` 固定为模型声明的 N 秒。
|
||||
- `mode`:`"text"` 只发送空参考图数组 | `"first"` 发送一张 `reference_image_urls` | `"firstlast"` 发送首尾两张 | `"reference"` 发送多张参考图。旧值 `"image"` 归一为 `"first"`。
|
||||
- 图片经 `resolveMat` 处理:`data:` 先上传图床换为公网 URL,`http(s)` 原样发送;上游请求中禁止出现 base64。
|
||||
- 不发送旧版 `input_mode`、`metadata`、`resolution`、`generate_audio`、`watermark`、`camera_fixed`、`seed`、`reference_video` 字段。
|
||||
- 创建响应任务 ID 兼容 `request_id/requestId/task_id/taskId/id`,并递归检查 `data/result/task`;字符串和数字 ID 都支持。
|
||||
- **grokVideo** `{ mode, prompt, model, image?, referenceImages?[], resolution?, seconds?, aspectRatio?, endpointPath? }` —— **Grok 视频**。首帧图生视频默认走 `model:"grok-video-1.5"`,提交体为 `{ model, prompt, seconds:"6", size:"1280x720", image:{url:"https://.../image.png"} }`;上传/上游传来的 dataURL 会先转公网 URL,再放入 `image.url`。`resolution + aspectRatio` 只在本地映射为 `size`(如 `9:16 + 720p -> "720x1280"`),不下发 `duration/resolution/image_url/aspect_ratio`。`mode:"reference"` 走旧 Reference-to-Video:强制 `model:"grok-imagine-video"`、`resolution:"720p"`,把 `referenceImages[]` 解析为 `reference_images: [{url}]`,并下发 `aspect_ratio`。
|
||||
- **grokVideo** `{ mode, prompt, model, image?, referenceImages?[], resolution?, seconds?, aspectRatio?, endpointPath? }` —— **Grok 视频**。与 Seedance 节点一样通过 CLMM 提交,使用 `{ model, prompt, aspect_ratio, resolution, size, seconds, mySeconds?, reference_image_urls }`;上传/上游传来的 dataURL 会先转公网 URL。模型名必须使用模型列表返回的完整名称,不再发送 Grok 专用的 `image:{url}` 或 `reference_images:[{url}]` 字段。
|
||||
- **tts** 增加 `model`(默认 `tts-1` 可保留但允许覆盖)、`format`、可选 `speed`。
|
||||
|
||||
### 新增 canvasModels(后端 + preload)
|
||||
@@ -130,14 +130,14 @@ canvasRun: (kind, params) => ipcRenderer.invoke("canvas-run", { kind, params }),
|
||||
- 仅 image 节点用到渐进预览;video/tts 不变。
|
||||
|
||||
## 【v5 增补 · 接入 TokenDun/Seedance 真实视频接口】
|
||||
Seedance 使用异步任务制:建任务→轮询→下载。以下内容按当前 `/v1/video/generations` 文档更新,覆盖早期火山 `metadata/input_mode` 版本。
|
||||
Seedance 和 Grok 节点都使用 CLMM 异步任务制:建任务→轮询→下载。以下内容按 `/v1/videos` 文档更新,覆盖早期 Seedance/Grok 专有参数版本。
|
||||
|
||||
### 后端 runVideo 重写(canvas.js)——完全替换旧 /v1/videos 逻辑
|
||||
- 端点:create = `joinUrl(base, endpointPath||"/v1/video/generations")`;poll = `create + "/" + taskId`(GET)。鉴权 `Bearer <key>`(分组由 groupId 解析,同 v3)。
|
||||
- **body 组装**(严格照 Seedance):
|
||||
- 基础字段 `{ prompt, async:true }`;`model` 可选。
|
||||
- `params.seconds` 仅为 `5/10/15` 时转成整数 `duration`;`ratio`、`quality` 非 `auto` 时按顶层字段发送。
|
||||
- 文生视频不发送图片字段;首帧发送 `image:string`;多图发送 `images:string[]`;全能参考发送 `ref_assets:string[]`。
|
||||
### 后端 runVideo 重写(canvas.js)——统一使用 CLMM /v1/videos 逻辑
|
||||
- 端点:create = `joinUrl(base, endpointPath||"/v1/videos")`;poll = `create + "/" + taskId`(GET)。鉴权 `Bearer <key>`(分组由 groupId 解析,同 v3)。
|
||||
- **body 组装**(严格照 CLMM):
|
||||
- 基础字段 `{ model, prompt, aspect_ratio, resolution, size, seconds, reference_image_urls:[] }`。
|
||||
- 模型包含 `-Ns` 时发送 `seconds:"1"` 和 `mySeconds`;包含 `-gz` 时 `mySeconds` 固定为模型声明的 N 秒。
|
||||
- 文生视频发送空的 `reference_image_urls`;首帧、首尾帧、多参考图都统一发送公网 URL 数组。
|
||||
- 图片必须是公网 URL;本地 data URL 先经 `uploadMedia()` 转成公网地址。
|
||||
- **建任务**:POST create。2xx 才继续;非 2xx 返回状态、实际 URL、model 和上游详情。响应先读取 text 再解析 JSON,确保非 JSON 错误不会丢失原文。任务 ID 由通用 `pickTaskId()` 提取。
|
||||
- **轮询**:GET poll,每 5s 一次,最多约 10 分钟(120 次)。用 `normalizeVideoStatus`;succeeded → `findVideoUrl`(深挖 `video_url/result_url/url`)→ 下载转 base64 → `{ok:true,mime:"video/mp4",dataUrl,meta}`;failed/超时 → 明确错误。仍严禁伪造成功。
|
||||
@@ -147,6 +147,6 @@ Seedance 使用异步任务制:建任务→轮询→下载。以下内容按
|
||||
- 模式:首帧图、双图参考、多参考图/全能参考、文生视频。
|
||||
- `prompt` 在所有模式必填;模型可留空使用上游默认,也可通过分组拉取当前可用模型。
|
||||
- 比例:16:9 / 9:16 / 1:1 / 4:3;画质:自动 / `hd`;时长:自动 / 5s / 10s / 15s。
|
||||
- 高级:接口地址(默认 `/v1/video/generations`)和多参考图字段(`images/ref_assets`)。
|
||||
- 高级:接口地址(默认 `/v1/videos`)。多参考图统一使用 CLMM 字段 `reference_image_urls`。
|
||||
- 不展示旧接口已不支持的分辨率、音频、水印、固定镜头、seed、参考视频控件。
|
||||
- 运行 params:`{ mode, prompt, model?, ratio, quality, seconds, referenceField, image?, lastFrameImage?, referenceImages?, endpointPath?, groupId }`。
|
||||
|
||||
Reference in New Issue
Block a user