选型指南 架构设计 含可复制代码

批量任务设计:排队、进度与失败重跑

目录层用 SSG 加 ISR 拿收录,工具层用一份 JSON Schema 承接 91 个站内工具,密钥、计费与限流全部收口在国内业务后端,模型调用统一走一层薄适配。这篇把我们真实的目录结构、Schema 字段定义、路由闸门、预扣结算伪代码和合规清单完整摊开。

陈
陈默架构组
2026-09-28 · 14 分钟阅读 · 8,432 次浏览

一条失败就整批失败,浪费的已经完成的部分。

批量任务不是"循环调用"

把单条功能套个循环就是批量 ✗ —— 上线后立刻遇到四个问题 ✗:

排队与限流怎么处理 ✔、进度怎么给 ✔、失败怎么重跑 ✔、花多少钱先说清 ✔。

批量任务是独立的产品形态 ✔,要单独设计 ✔。

一、四个必备能力

① 排队与限流

· 任务进队列,并发可控 ✔(避免把上游打爆 ✔ —— 见限流那篇 ✔);

· 给用户队列位置与预计等待 ✔(见容量那篇 ✔);

· 支持优先级(交互式请求优先于批量 ✔)。

② 进度可见

```

已完成 42 / 100 | 失败 3 | 预计剩余 6 分钟

```

· 进度要按条(不是百分比估算 ✔);

· 可暂停/取消 ✔(长任务必须能停 ✔);

· 页面关掉也能继续 ✔(服务端执行 ✔ —— 见状态与恢复那篇 ✔)。

③ 失败可重跑

· 只重跑失败项 ✔(别把成功项再跑一遍 ✗ —— 白花钱 ✔);

· 保留每条的失败原因 ✔(可导出 ✔);

· 支持人工修正后重跑(见人工审核那篇 ✔)。

④ 成本透明

· 提交前给预估(条数 × 单条估算 ✔);

· 超预算要确认 ✔(见价格与额度那篇 ✔);

· 完成后给实际消耗 ✔。

二、结果的组织方式

· 可导出(CSV/JSON,中文 CSV 带 BOM ✔ —— 见导出那篇 ✔);

· 可对比(同一批次前后版本的差异 ✔);

· 可抽样复核(人工抽检入口 ✔ —— 见审核队列 ✔)。

三、三个反模式

· 前端轮询到页面关闭就断 ✗(任务其实还在跑,用户以为失败了 ✔);

· 一条失败就整批失败 ✗(浪费已完成的 ✔);

· 没有预估就开跑 ✗(账单惊吓 ✔)。

四、一条判据

> 提交 1000 条批量任务后 ✔,用户能否知道"进行到哪、花了多少、失败几条、怎么只重跑失败项" ✔?

> 缺任一项,说明批量只是循环调用 ✗。

本文由云枢 AI导航整理,内容以官方来源为准。

相关文章

顺序阅读

← 上一篇:把事故复盘连到评测:四步与三类事故
下一篇:把成本上限做成产品能力:让用户自己设 →

第 151 / 171 篇

术语速查 · 本页出现的 12 个词展开看中文名与一句话解释,点术语看完整条目
  • token词元:模型处理文本的最小单位,中文约 1–2 个汉字;计费与上下文长度都按它算。
  • 转写 / 字幕Transcription:把音视频人声逐句变成带时间戳的文字稿,便于做字幕与章节切分。
  • SSE服务器发送事件:服务器通过长连接持续推送增量文本,是对白逐字出现的常见实现。
  • API应用编程接口:程序之间约定的调用方式;站内工具由服务端调用,浏览器里不出现密钥。
  • CDN内容分发网络:把静态资源缓存到离用户更近的节点,缩短加载时间。
  • 缓存Cache:把结果暂存复用,复用得越多平均耗时越低;需要约定过期与刷新策略。
  • 限流Rate Limit:限制单位时间内的请求次数,防止单用户或异常流量打满服务端。
  • SSG静态站点生成:构建阶段就生成 HTML,访问时直接返回,不必每次请求都渲染。
  • ISR增量静态再生:先返回静态页,再在后台按需重新生成,兼顾速度与更新时效。
  • 灰度发布Canary Release:先让一小部分用户用新版本,确认无误再放量,出问题的爆炸半径最小。
  • 提示词Prompt:交给模型的指令文本;写清角色、任务、输入与输出格式比反复试更省。
  • 积分Credits:站内计费单位:按工具单价预扣,调用失败自动退还;单价以定价页为准。

完整解释与站内出现处见 AI 术语表(40 条)。