面向中文开发者的 AWS 实战知识库 代维服务
上云咨询

EC2 Image Builder 日常运维:备份、扩容与恢复演练实战

导出 PDF 浅色排版、带版权水印,可在打印窗口另存为 PDF
EC2 Image Builder 日常运维:备份、扩容与恢复演练实战

EC2 Image Builder 日常运维:备份、扩容与恢复演练实战

EC2 Image Builder 的运维,说到底就一件事:真出事的时候,你能不能在一小时内拉出一台能跑业务的机器。构建成功只是过程分,恢复成功才是结果分。

先说结论

  • 运维指标定成"恢复耗时",不是"构建成功率"。 每周跑一次从最新 AMI 起实例的演练,目标定在 30–60 分钟量级。超过这个数就得回头查配方、IAM 实例配置文件和 SSM 注册环节。
  • 监控盯三个数:连续失败次数、构建耗时漂移、AMI 沉积量。 我一般按"连续 2 次构建失败"触发告警,比单次失败告警靠谱得多,能过滤掉偶发的网络抖动。
  • 扩容先加并发 pipeline,再考虑换大机型。 故障响应顺序固定为"先切回上一版可用 AMI,再定位根因",反过来做会白白拖长故障时间。

下面按"能不能恢复"这条主线展开。

恢复演练先覆盖这四类场景

很多人做演练只演一种:删掉 AMI 再重新构建。这只覆盖了最理想的情况。真实环境的故障面要宽得多。

场景 怎么触发演练 主要验证点 目标 RTO
AMI 被误 deregister 或按保留策略清理 手工 deregister 一个非生产版本 能否从历史版本列表找回并重新可用 15 分钟
配方或组件变更导致新版本构建失败 故意在组件里写一条 exit 1 告警多久到达、能否快速回滚配方版本 20 分钟
上游基础 AMI 更新引发兼容问题 把基础 AMI 指向最新 AL2023 内核模块、驱动、agent 版本是否仍工作 60 分钟
区域级故障需要跨区拉起 从 us-east-1 分发到 ap-northeast-1 跨区 AMI 是否已提前分发、密钥是否可用 60 分钟以上

第三类最容易被忽略。我们线上遇到过一次,Amazon Linux 2023 的基础 AMI 更新后,某台机器上自编译的 DKMS 模块没跟上新内核版本,实例起来了但业务进程起不来。构建日志一切正常,Succeeded 亮得刺眼。

第四类考验的是你有没有提前做跨区分发。等区域真出问题再去复制 AMI,一个 12 GB 的镜像跨区复制就要十几分钟起步,还不算排队。

备份有效性验证:pipeline 显示 Succeeded 不等于能恢复

Image Builder 的 pipeline 状态只说明构建流程跑完了。AMI 处于 AVAILABLE,也只说明注册成功。这两件事跟"能开机跑业务"之间还差着好几步。

我一般按这个顺序查,先看 pipeline 产出:

aws imagebuilder list-image-pipeline-images 
  --image-pipeline-arn arn:aws:imagebuilder:us-east-1:123456789012:image-pipeline/web-base 
  --query 'imageSummaryList[].{Ver:imageVersion,State:state.status,Reason:state.reason,AMI:outputResources.amis[0].image}' 
  --output table 
  --region us-east-1


输出里 `State` 是 `AVAILABLE` 才继续往下走。是 `FAILED` 就看 `Reason`。

接着确认 AMI 本身还在、没被别人删掉,顺便看它的创建时间和你以为的是不是同一个:

```bash
aws ec2 describe-images 
  --image-ids ami-0abc123def4567890 
  --query 'Images[].{ID:ImageId,Name:Name,State:State,Created:CreationDate,SizeGB:BlockDeviceMappings[0].Ebs.VolumeSize}' 
  --region us-east-1


最关键的一步是实际拉起来。别在生产 VPC,开个隔离的子网,用 `t3.medium` 这种小机型就行:

```bash
aws ec2 run-instances 
  --image-id ami-0abc123def4567890 
  --instance-type t3.medium 
  --subnet-id subnet-0123456789abcdef0 
  --iam-instance-profile Name=ImageOpsInstanceProfile 
  --tag-specifications 'ResourceType=instance,Tags=[{Key=Purpose,Value=dr-drill},{Key=Owner,Value=ops}]' 
  --region us-east-1


实例起来后别急着看端口,先看 SSM 有没有把它认领回去:

```bash
aws ssm describe-instance-information 
  --query 'InstanceInformationList[?InstanceId==`i-0123456789abcdef0`].{Id:InstanceId,Ping:PingStatus,Agent:AgentVersion,Platform:PlatformName}' 
  --region us-east-1


`PingStatus` 必须是 `Online`。这一步过不去,说明实例配置文件或 VPC 端点有问题,后面全是白搭。我们踩过一次坑:AMI 里 SSM agent 被一个清理脚本顺手停掉了,`systemctl is-enabled amazon-ssm-agent` 返回 `disabled`,实例能 SSH 上去,但所有基于 SSM 的自动化全部失效,排查花了半小时才想到去看 agent 状态。

## 一次完整恢复演练的六步走法

演练要有剧本,不能临时发挥。我用的流程是这样:

1. **冻结变更。** 演练窗口内停止所有 pipeline 的 schedule,避免边演边有新版本进来干扰。
2. **记录起点。** 把当前 pipeline 的配方 ARN、版本号、最新 AMI ID 抄到演练记录里。这一步没有技术含量,但事后对比全靠它。
3. **手工起实例。** 不要用 Auto Scaling 组,也不要用启动模板里带的 user data。裸着起,纯手工验证,这样才能区分是镜像问题还是编排问题。
4. **跑五项检查。** SSM 在线、CloudWatch 日志能上报、业务端口能监听、能读到 Parameter Store 或 Secrets Manager 里的配置、License 或第三方 agent 正常激活。
5. **掐表。** 从"决定恢复"到"业务健康检查通过"记总耗时,同时记每一小步的耗时。哪一步超过 10 分钟,那就是下次优化的靶子。
6. **回写记录。** 演练结果写进运维文档,包括失败的步骤和当时的原始报错。光写"基本顺利"没用。

第五步的数字会让人清醒。第一次演练我们以为 20 分钟够了,实际跑了 47 分钟,光等实例初始化加 SSM 注册就吃掉了 9 分钟。

## 实测与踩坑:一个 DISABLED 的配方版本,卡了我们 40 分钟

2026 年 11 月某个周三,晚上 22:40 左右,pipeline 连着两次在构建阶段挂掉。手机告警响了两次,第二次我爬起来看。

报错原文是这样:


ClientException: Image recipe version arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/web-base/1.4.2
is in state DISABLED. An image pipeline can only reference a recipe in the AVAILABLE state.


第一版配置错在哪?pipeline 里把配方 ARN 写死到了具体版本 `1.4.2`。两周前有同事为了阻止某个有问题的版本被继续引用,直接在控制台把这个版本 disable 掉了。pipeline 不会自动跳到新版本,它就一直指着一个不可用的 ARN,直到下一次调度触发才炸出来。

判断依据很直接,`get-image-recipe` 看状态:

```bash
aws imagebuilder get-image-recipe 
  --image-recipe-arn arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/web-base/1.4.2 
  --query '{Name:imageRecipe.name,Ver:imageRecipe.version,Status:imageRecipe.state.status}' 
  --region us-east-1


返回 `"Status": "DISABLED"`,实锤。再 `list-image-recipes` 找一圈,1.4.3 是 `AVAILABLE` 的。

修复方式分两步。短期把 pipeline 指向 1.4.3,重新 `start-image-pipeline-execution`,从触发到构建完成 13 分钟。长期改法更值得说:把配方版本写成通配形式,让它始终解析到最新的可用版本,比如 ARN 末段用 `1.x.x` 而不是写死 `1.4.2`。Image Builder 支持这种版本通配写法,省掉了每次发版都去改 pipeline 的麻烦。

改完之后我加了一条巡检:每天定时 `list-image-pipelines` 拉全量,逐个检查引用的配方状态,非 `AVAILABLE` 就告警。这条巡检后来救过一次,比等构建失败才发现要早半天。

## 监控阈值、扩容与故障响应:哪些活可以扔给代运维

监控这部分,Image Builder 本身能直接给的指标不算丰富,主要靠 CloudWatch 日志组 `/aws/imagebuilder/<pipeline-name>` 加自建告警。我用的阈值组合是这样:

| 指标 | 采集方式 | 建议阈值 | 触发后动作 |
|---|---|---|---|
| 连续构建失败次数 | CloudWatch Logs 过滤 + 自定义指标 | ≥ 2 次 | 立即告警,人工介入 |
| 单次构建耗时 | 构建开始/结束时间差 | 超过基线 1.5 倍 | 工作日告警,查依赖下载是否变慢 |
| AMI 沉积数量 | `list-image-pipeline-images` 定期拉取 | 超过保留策略 2 倍 | 触发清理脚本 |
| 分发失败(跨区/跨账号) | pipeline 执行历史 | 任意一次失败 | 告警,检查目标账号权限 |
| 构建实例启动失败 | `ResourceDependencyException` 关键字 | 出现即告警 | 查 Service Quotas 与子网容量 |

扩容这块,先明确瓶颈在哪。Image Builder 每个 pipeline 是独立跑的,同时跑多条 pipeline 就是并发。真正的天花板在 Service Quotas 里的并发构建配额,用这条命令查实际值:

```bash
aws service-quotas get-service-quota 
  --service-code imagebuilder 
  --quota-code L-9A4B6CD1 
  --region us-east-1


配额不够先提工单加配额,别急着换机型。构建时间主要花在软件包下载和组件脚本执行上,`m5.xlarge` 换成 `m5.4xlarge` 的收益往往不到 20%。真正提速的手段是给构建实例加 VPC 端点和就近的包源,我们改完之后单次构建从 26 分钟压到 18 分钟。

账单上也别大意。AMI 底层是 EBS 快照,按容量计费。一个 12 GB 的 AMI,月度快照成本在 0.6 美元上下,保留 10 个版本也就几美元,量级不高。但如果 pipeline 每天跑三次、无限期保留,一年下来躺着的版本能到三位数,成本翻几十倍,还会拖慢 `describe-images` 的响应。保留策略建议按"最近 8 个成功版本 + 每周一个归档版本"来配。

### 什么情况下不要用这个方案

有三种情况我会直接劝退。第一,团队每天要发几十次镜像、变更粒度

参考来源

发表回复

您的邮箱地址不会被公开。 必填项已用 * 标注