解决方案

为离线与大规模任务设计的批量推理通道

当工作负载更在意成本、吞吐和自动回传，而不是单次交互延迟时，批处理通常比统一走实时接口更合适。

• 把离线任务与在线交互流量分开，避免成本目标和时延目标互相冲突。
• 用 high、low、fill 三档批处理通道匹配不同任务的成本结构。
• 让用量、计费、回调和导出保持一致，方便大规模任务复核。