在打印窗口把「目标」选为「另存为 PDF」即可保存,页面已带 awsgood.com 版权水印。 返回原文

www.awsgood.com

AWS Batch 定价:每个任务你实际支付多少

2026-11-12 AWS 价格计费 约 9 分钟

摘要

为什么你的 AWS Batch 账单没有“Batch”行项目

大概每月都有人问我“Batch 的费用”,答案总是一样的:没有。Batch 是一个调度器。它在你自己拥有的计算环境中创建和销毁 EC2 实例,这些实例按正常的按需、Spot 或 Savings Plan 费率计费。Fargate 计算环境按 vCPU-秒和 GB-秒计费,最低 1 分钟。

所以你要找的账单在 EC2-Instances、EC2-Other(EBS)和 CloudWatch 下面。如果你在 Cost Explorer 里寻找名为“AWSBatch”的行,你会什么也找不到,然后假设某处配置错了。并没有。

这对单位经济性重要的原因:你无法优化你没有归因的东西。在做任何每任务计算之前,为你的计算环境开启成本分配标签,否则你会把整个账户的 EC2 支出除以任务数,得到毫无意义的结果。

# Tag the compute environment at creation so EC2 instances inherit it
aws batch create-compute-environment 
  --compute-environment-name prod-bio-ce 
  --type MANAGED 
  --state ENABLED 
  --compute-resources '{
    "type":"EC2",
    "allocationStrategy":"SPOT_PRICE_CAPACITY_OPTIMIZED",
    "minvCpus":0,
    "maxvCpus":256,
    "instanceTypes":["m5.xlarge","m5.2xlarge","c5.xlarge"],
    "subnets":["subnet-0abc1234"],
    "securityGroupIds":["sg-0def5678"],
    "instanceRole":"arn:aws:iam::111122223333:instance-profile/ecsInstanceRole"
  }' 
  --tags Project=bio-pipeline,CostCenter=research


## 将月度支出转换为每任务成本

公式很枯燥,但重点就在于此:


cost_per_job = (EC2 + EBS + Fargate + logs + NAT) / completed_jobs


从 CloudWatch 拉取 `completed_jobs`。Batch 按任务队列发出 `JobsSucceeded`、`JobsFailed` 和 `JobsRunning`。如果你从未查看过,在存在不稳定的第三方下载的流水线中,`JobsFailed` 通常是 `JobsSucceeded` 的 5–15%——而且这些失败仍然消耗实例分钟。

我在 us-east-1 运行的一个批量渲染流水线,某个月的实例:

| 行项目 | 金额 | 备注 |
|---|---|---|
| EC2 Spot(m5.2xlarge,约 1,900 实例小时) | $~610 | Spot 价格浮动;视为近似值 |
| EBS gp3 根卷 | $~38 | 50 GB × 约 1,900 小时,缩容时删除 |
| CloudWatch Logs 摄取 | $~22 | 14 GB 的任务标准输出 |
| NAT Gateway 数据处理 | $~19 | 在 VPC 端点存在之前,S3 拉取通过 NAT 路由 |
| **Batch 可归因总计** | **~$689** | |
| 成功任务数 | 41,200 | |
| **每任务成本** | **~$0.0167** | |

每千个任务十六美分……不,每任务十六十分之一美分。与上一季度相比,同一流水线运行了 38,000 个任务,花费约 $1,040——每任务 $0.027。任务本身除了分配策略和主容器减少 0.5 vCPU 外没有任何变化。同样的工作,单位成本降低 38%。

这个差值就是跟踪每任务成本而非月度总额的全部理由。当任务量在版本之间波动 2 倍时,一个平坦的月度数字什么也告诉不了你。

## 隐藏在一个任务内部的单位成本

单个任务有 vCPU-秒价格、GB-秒价格和固定的每实例开销。将它们拆分出来,才能比较两个表面上看起来相同的任务定义。

以 `m5.xlarge` 为例:4 vCPU、16 GiB,在 us-east-1 按需约 $0.192/小时(请查看你所在区域的当前定价——它会变动)。这大约是每 vCPU 小时 $0.048。如果你的容器请求 4 vCPU 但实际峰值只有 1.2,那么任务运行的每一秒你都在为 2.8 个空闲 vCPU 付费。在一个 40 分钟的任务上,就是 112 浪费的 vCPU 分钟,或每任务约 9 美分。每月 40,000 个任务,就是 $3,600 的虚无。

在动任何其他东西之前,值得做两项测量:

```bash
# 1. What did the job actually ask for?
aws batch describe-job-definitions --job-definitions render-encode:7 
  --query 'jobDefinitions[0].containerProperties.resourceRequirements'

# 2. What did it actually use? CloudWatch Container Insights, or a simple wrapper:
#    print cgroup peaks at the end of the job
cat /sys/fs/cgroup/cpu/cpuacct.usage          # nanoseconds of CPU time
cat /sys/fs/cgroup/memory/memory.max_usage_in_bytes


将 CPU 纳秒数除以秒为单位的挂钟持续时间,就得到平均消耗的 vCPU 数。我见过一个任务请求 8 vCPU 但平均只使用 0.9。这不是舍入误差,这是计算资源上 8 倍的过度支出。

## 资金泄漏的地方:重试、空闲最低值和日志量

在我审计中发现的过度支出,大部分来自三个泄漏点。

**重试。** Batch 重试策略默认为 1 次尝试,但人们设置 `attempts: 10` 希望不稳定的任务能解决。每次重试都会重新运行整个容器。如果一个任务的真实失败模式是输入文件错误,你会为同样的崩溃支付 10 倍。设置 `evaluateOnExit` 配合 `onReason` 匹配,以便只有基础设施故障(`Host EC2*`)才重试,让应用程序错误快速失败。

**`minvCpus` 大于零。** 任何非零最小值都会让实例 24/7 保持存活,无论是否有任务排队。在一个开发队列上,那就是 m5.xlarge 以 0% CPU 闲置约 $140/月。将所有非延迟敏感生产队列设为 0。

**日志量。** 一个健谈的任务每次运行写入 40 MB 标准输出 × 30,000 次运行,就是每月 1.2 TB 进入 CloudWatch Logs。在 `/aws/batch/job` 组上设置 7 或 14 天的日志保留期,而不是默认的“永不过期”,并将详细输出推送到 S3。

```bash
aws logs put-retention-policy 
  --log-group-name /aws/batch/job 
  --retention-in-days 14


## Spot、Fargate 或按需:单位成本比较

正确的选择更多取决于任务持续时间和中断容忍度,而非标价。一个 4 vCPU / 16 GiB 任务在 us-east-1 运行 40 分钟的大致情况:

| 选项 | 计费基础 | 每任务相对成本 | 适合场景 |
|---|---|---|---|
| EC2 按需(`m5.xlarge`) | 按实例-秒,按小时计费 | 1.0×(基准) | 短任务、严格 SLA、<10 分钟运行 |
| EC2 Spot(`SPOT_PRICE_CAPACITY_OPTIMIZED`) | Spot 市场价格 | ~0.3–0.4× | 可重试、有检查点、20+ 分钟任务 |
| Fargate | vCPU-秒 + GB-秒,最低 1 分钟 | ~1.1–1.4× | 突发性、不可预测形态、无需 AMI 维护 |
| Fargate Spot | 折扣 Fargate | ~0.4–0.6× | 容忍中断的批量 ETL |

Fargate 每小时成本高于 Spot EC2,但消除了每实例固定开销,而这正是运行 90 秒任务的致命因素。为 90 秒的任务启动 m5.xlarge 会浪费扩缩容抖动;每小时 200 个这样的任务正是 Fargate 胜出的场景,尽管单位费率更高。

我保留两个任务队列:一个 Spot 队列用于任何超过 15 分钟且有检查点的任务,一个 Fargate 队列用于短任务。路由按任务定义进行,而非手动。

## 何时不应使用这种方法

按任务单位成本计算在三种情况下是错误的工具。如果你的任务异构性达到数量级差异(同一个队列中既有 2 分钟的 lint 运行又有 6 小时的基因组比对),混合的每任务成本数字毫无意义——先按任务定义拆分,否则你会优化错误的工作负载。

如果你处于预收入阶段且每月总支出低于 $200,跳过标签基础设施,只需每周查看 Cost Explorer;记账消耗的注意力比它节省的更多。如果你的任务是亚分钟级且数量极多,实例-秒粒度加上 Batch 自身的调度器开销会主导数学计算——测量实际的 EC2 实例小时数,而不是从任务数推导。

## 一个真实的故障,让我们损失了两周的 Spot 支出

2026 年 11 月的一个周五深夜,我们注意到一个图像转码流水线的 Spot 队列运行的实例数是平常的 3 倍,而 `JobsRunning` 接近零。CloudWatch 显示 `JobsFailed` 稳步攀升,Batch 任务日志重复出现:


CannotPullContainerError: ref pull has been retried 5 time(s):
failed to resolve ref "111122223333.dkr.ecr.us-east-1.amazonaws.com/transcode:v42":
429 Too Many Requests


最初的配置是 `maxvCpus: 512` 配合 `SPOT_PRICE_CAPACITY_OPTIMIZED` 和 `minvCpus: 8`,每一个实例都同时从 ECR 拉取同一个 2.1 GB 的镜像。ECR 按注册表限制每秒拉取次数,所以实例启动、失败、被替换、再次失败——一个旋转循环,燃烧实例小时却产生零个完成任务。

诊断路径:我在 CloudWatch 日志组中过滤错误字符串,看到它集中在 90 秒窗口内,然后检查 `ContainerInsights` 的镜像拉取持续时间,确认没有容器到达过 `RUNNING`。Batch 的 `JobsFailed` 指标与实例抖动完全吻合。

修复分三部分:通过拉取缓存将镜像镜像到每个可用区的不同 ECR 仓库,通过实例角色设置无 `imagePullSecrets` 的认证(它已经有了),并将 `maxvCpus` 降至 128 使拉取风暴无法自我放大。失败率在一小时内从约 60% 降至 1% 以下,下个月的 Spot 支出下降了大约旋转循环一直吞噬的金额。教训:重试和快速扩容会相互放大成本,而失败模式看起来像容量问题,直到你阅读日志行。

## 来源

- [AWS Batch 定价](https://aws.amazon.com/batch/pricing/)
- [AWS Batch 计算环境](https://docs.aws.amazon.com/batch/latest/userguide/compute_environments.html)
- [AWS Batch 中的任务重试策略](https://docs.aws.amazon.com/batch/latest/userguide/job_retries.html)
- [Fargate 定价](https://aws.amazon.com/fargate/pricing/)

## 常见问题

Q1:AWS Batch 是免费的吗?

A1:Batch 服务本身不收费。你只需为其启动的资源付费:EC2 实例或 Fargate 计算、附加到这些实例的 EBS 卷、CloudWatch Logs 以及任何数据传输或 NAT Gateway 处理。一个适度的流水线通常每月花费几十美元;成本随任务量扩展。

Q2:如何计算每个 AWS Batch 任务的成本?

A2:将可归因于 Batch 的总支出除以已完成任务数。为计算环境打标签以便 EC2 成本汇总,从 CloudWatch 拉取 `JobsSucceeded`,加上 EC2 实例小时、EBS、Fargate vCPU-秒和日志摄取,然后相除。按任务定义跟踪,因为混合数字会隐藏哪个工作负载昂贵。

Q3:对于 AWS Batch,Spot 还是 Fargate 更便宜?

A3:Spot EC2 通常每 vCPU 小时最便宜,但有每实例启动开销,对几分钟以内的任务不利。Fargate 单位费率更高但没有固定实例成本,因此对于短小、突发的任务往往胜出。对长时间有检查点的任务使用 Spot,对 5 分钟以内的任务使用 Fargate。

Q4:为什么我的 AWS Batch 账单高于任务数所暗示的?

A4:失败和重试的任务仍然消耗计算资源。对一个确定性应用程序错误设置 10 次尝试的重试策略会使支出增加十倍且零产出。还要检查非零 `minvCpus` 保持空闲实例存活、无限制的 CloudWatch 日志保留,以及 VPC 端点本可避免的 NAT Gateway 流量。

Q5:AWS Batch 对排队中的任务收费吗?

A5:不收费。在队列中等待的任务不消耗计算资源,不产生费用。费用在 Batch 启动实例或 Fargate 任务时开始,在缩容时停止——前提是你的 `minvCpus` 为 0,因为任何非零最小值都会让实例全天候运行,无论队列深度如何。

Q6:如何阻止 AWS Batch 在空闲实例上过度支出?

A6:在除延迟关键型生产队列外的每个计算环境上设置 `minvCpus: 0`,启用 `optimal` 或 `SPOT_PRICE_CAPACITY_OPTIMIZED` 分配策略,并将 `maxvCpus` 与实际并发上限对齐。如果队列需要预热,使用计划的扩缩操作而非永久最小值。

今天就做这件事:给一个计算环境打标签,拉取上个月的 `JobsSucceeded`,然后相除。如果你不喜欢这个数字,修复几乎总是在容器的资源需求中——如果你更愿意让别人来监控 `JobsFailed` 图表,那正是 awsgood.com 处理的事情。