批量任务的调度策略:并发、限流与错峰
作者:夸父
批量生成几百个切片时,调度策略决定"多快跑完"和"花多少钱":并发怎么设、限流怎么配合、错峰怎么省心。本文是批量生产场景的调度手册。
批量的三个调度变量
批量生成的完成时间与成本,由三个变量决定——先理解它们,再谈设置:
并发数:同时进行的生成请求数。受 API 平台的限流约束(每 Key 每秒/每分钟请求数有上限),超限触发 429 重试——重试本身消耗时间与预算,所以最优并发不是"越大越快",是"贴着限流上限的 70~80%"。
优先级:多个项目同时排队时,谁先跑。建议按业务优先级配置(付费客户的、时效性强的排前)。
重试策略:失败的切片怎么重试——指数退避(第一次等 10 秒,第二次 20 秒…)+ 重试上限(3 次),超过上限进人工处理。逐日 AI 的批量系统内置这套机制,你配置的是参数不是代码。
错峰的三重收益
把批量任务安排在凌晨(00:00~06:00):API 限流余量更足(平台高峰是白天,凌晨限流余量大);重试更快(无并发竞争);审核更从容(早上起床验收昨晚的批量,失败清单处理完正好开始新一天的策划)。矩阵团队的批量几乎都跑在夜里。
批量的标准操作流
- 单条验证(一条切片全流程绿灯);
- 小批量试跑(10% 量,验证配置与质量);
- 全量批量(夜里跑,配好告警);
- 早上验收(失败清单处理、抽检质量、账单核对)。
这个流程的核心思想:批量是"验收驱动"的,不是"按下按钮就走人"的——批量前验证、批量后验收,中间的自动化才有意义。
常见问题
并发越高跑得越快吗?
不对。并发超过 API 限流阈值后触发 429 重试,实际速度反而下降——最优并发是"限流上限的 70~80%",让请求既跑满又不撞墙。
批量任务该选什么时段跑?
避开 API 平台的高峰时段(工作时间),凌晨跑有两个好处:限流余量更足、失败重试的等待更短。另外你自己的审核时间也会更从容——批量过夜,早上验收。


