EC2 Image Builder 日常运维:备份、扩容与恢复演练实战
导出 PDF
浅色排版、带版权水印,可在打印窗口另存为 PDF

EC2 Image Builder 日常运维:备份、扩容与恢复演练实战
EC2 Image Builder 的运维,说到底就一件事:真出事的时候,你能不能在一小时内拉出一台能跑业务的机器。构建成功只是过程分,恢复成功才是结果分。
先说结论
- 运维指标定成"恢复耗时",不是"构建成功率"。 每周跑一次从最新 AMI 起实例的演练,目标定在 30–60 分钟量级。超过这个数就得回头查配方、IAM 实例配置文件和 SSM 注册环节。
- 监控盯三个数:连续失败次数、构建耗时漂移、AMI 沉积量。 我一般按"连续 2 次构建失败"触发告警,比单次失败告警靠谱得多,能过滤掉偶发的网络抖动。
- 扩容先加并发 pipeline,再考虑换大机型。 故障响应顺序固定为"先切回上一版可用 AMI,再定位根因",反过来做会白白拖长故障时间。
下面按"能不能恢复"这条主线展开。
恢复演练先覆盖这四类场景
很多人做演练只演一种:删掉 AMI 再重新构建。这只覆盖了最理想的情况。真实环境的故障面要宽得多。
| 场景 | 怎么触发演练 | 主要验证点 | 目标 RTO |
|---|---|---|---|
| AMI 被误 deregister 或按保留策略清理 | 手工 deregister 一个非生产版本 | 能否从历史版本列表找回并重新可用 | 15 分钟 |
| 配方或组件变更导致新版本构建失败 | 故意在组件里写一条 exit 1 |
告警多久到达、能否快速回滚配方版本 | 20 分钟 |
| 上游基础 AMI 更新引发兼容问题 | 把基础 AMI 指向最新 AL2023 | 内核模块、驱动、agent 版本是否仍工作 | 60 分钟 |
| 区域级故障需要跨区拉起 | 从 us-east-1 分发到 ap-northeast-1 | 跨区 AMI 是否已提前分发、密钥是否可用 | 60 分钟以上 |
第三类最容易被忽略。我们线上遇到过一次,Amazon Linux 2023 的基础 AMI 更新后,某台机器上自编译的 DKMS 模块没跟上新内核版本,实例起来了但业务进程起不来。构建日志一切正常,Succeeded 亮得刺眼。
推荐
推荐服务 · 一站式办理
由云市场认证服务商承接,下单后按需沟通交付。
腾讯云市场
NGINX / APACHE / TOMCAT / IIS 证书配置 · SSL证书安装
各服务器环境 SSL 证书安装配置,教程看不懂?直接交给服务商办。
查看服务 →
阿里云市场
代购 SSL 证书 · DigiCert / GeoTrust / RapidSSL 单域名 DV
单域名 DV 证书代购,主流品牌可选,比官网渠道更省。
查看服务 →
阿里云市场
Wildcard 通配符 SSL 证书安装部署续费申请
一张通配符保护全部一级子域名,含安装部署与续费服务。
查看服务 →
腾讯云市场
SSL证书申请+配置 · 宝塔/WDCP 面板全站加密(OV 企业单域名等规格)
付费证书云上签发、一键部署到宝塔/WDCP 站点,OV 企业单域名可选。
查看服务 →
阿里云市场
企业级 EV / OV 证书与代码、驱动签名服务
SSL EV/OV 证书 + 软件代码签名、驱动签名,企业级一站式办理。
查看服务 →
阿里云市场
GlobalSign 代码签名证书服务(OV/EV 企业版)
对 exe/dll/驱动等软件做数字签名,消除「未知发布者」警告,企业版含申请代办。
查看服务 →
阿里云市场
HTTPS证书申请 · SSL证书安装部署 · 证书续费
证书过期、部署报错、需要续期?申请+部署+续费一站式办理。
查看服务 →
云市场服务直达
阿里云市场
腾讯云市场
- 服务器维护 · 网站代维护 · 服务器托管代维
- SSL证书安装服务 · 腾讯云 HTTPS 部署 · 证书过期更新
- NGINX / APACHE / TOMCAT / IIS 证书配置 · SSL证书安装
华为云商店
第四类考验的是你有没有提前做跨区分发。等区域真出问题再去复制 AMI,一个 12 GB 的镜像跨区复制就要十几分钟起步,还不算排队。
备份有效性验证:pipeline 显示 Succeeded 不等于能恢复
Image Builder 的 pipeline 状态只说明构建流程跑完了。AMI 处于 AVAILABLE,也只说明注册成功。这两件事跟"能开机跑业务"之间还差着好几步。
我一般按这个顺序查,先看 pipeline 产出:
aws imagebuilder list-image-pipeline-images
--image-pipeline-arn arn:aws:imagebuilder:us-east-1:123456789012:image-pipeline/web-base
--query 'imageSummaryList[].{Ver:imageVersion,State:state.status,Reason:state.reason,AMI:outputResources.amis[0].image}'
--output table
--region us-east-1
输出里 `State` 是 `AVAILABLE` 才继续往下走。是 `FAILED` 就看 `Reason`。
接着确认 AMI 本身还在、没被别人删掉,顺便看它的创建时间和你以为的是不是同一个:
```bash
aws ec2 describe-images
--image-ids ami-0abc123def4567890
--query 'Images[].{ID:ImageId,Name:Name,State:State,Created:CreationDate,SizeGB:BlockDeviceMappings[0].Ebs.VolumeSize}'
--region us-east-1
最关键的一步是实际拉起来。别在生产 VPC,开个隔离的子网,用 `t3.medium` 这种小机型就行:
```bash
aws ec2 run-instances
--image-id ami-0abc123def4567890
--instance-type t3.medium
--subnet-id subnet-0123456789abcdef0
--iam-instance-profile Name=ImageOpsInstanceProfile
--tag-specifications 'ResourceType=instance,Tags=[{Key=Purpose,Value=dr-drill},{Key=Owner,Value=ops}]'
--region us-east-1
实例起来后别急着看端口,先看 SSM 有没有把它认领回去:
```bash
aws ssm describe-instance-information
--query 'InstanceInformationList[?InstanceId==`i-0123456789abcdef0`].{Id:InstanceId,Ping:PingStatus,Agent:AgentVersion,Platform:PlatformName}'
--region us-east-1
`PingStatus` 必须是 `Online`。这一步过不去,说明实例配置文件或 VPC 端点有问题,后面全是白搭。我们踩过一次坑:AMI 里 SSM agent 被一个清理脚本顺手停掉了,`systemctl is-enabled amazon-ssm-agent` 返回 `disabled`,实例能 SSH 上去,但所有基于 SSM 的自动化全部失效,排查花了半小时才想到去看 agent 状态。
## 一次完整恢复演练的六步走法
演练要有剧本,不能临时发挥。我用的流程是这样:
1. **冻结变更。** 演练窗口内停止所有 pipeline 的 schedule,避免边演边有新版本进来干扰。
2. **记录起点。** 把当前 pipeline 的配方 ARN、版本号、最新 AMI ID 抄到演练记录里。这一步没有技术含量,但事后对比全靠它。
3. **手工起实例。** 不要用 Auto Scaling 组,也不要用启动模板里带的 user data。裸着起,纯手工验证,这样才能区分是镜像问题还是编排问题。
4. **跑五项检查。** SSM 在线、CloudWatch 日志能上报、业务端口能监听、能读到 Parameter Store 或 Secrets Manager 里的配置、License 或第三方 agent 正常激活。
5. **掐表。** 从"决定恢复"到"业务健康检查通过"记总耗时,同时记每一小步的耗时。哪一步超过 10 分钟,那就是下次优化的靶子。
6. **回写记录。** 演练结果写进运维文档,包括失败的步骤和当时的原始报错。光写"基本顺利"没用。
第五步的数字会让人清醒。第一次演练我们以为 20 分钟够了,实际跑了 47 分钟,光等实例初始化加 SSM 注册就吃掉了 9 分钟。
## 实测与踩坑:一个 DISABLED 的配方版本,卡了我们 40 分钟
2026 年 11 月某个周三,晚上 22:40 左右,pipeline 连着两次在构建阶段挂掉。手机告警响了两次,第二次我爬起来看。
报错原文是这样:
ClientException: Image recipe version arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/web-base/1.4.2
is in state DISABLED. An image pipeline can only reference a recipe in the AVAILABLE state.
第一版配置错在哪?pipeline 里把配方 ARN 写死到了具体版本 `1.4.2`。两周前有同事为了阻止某个有问题的版本被继续引用,直接在控制台把这个版本 disable 掉了。pipeline 不会自动跳到新版本,它就一直指着一个不可用的 ARN,直到下一次调度触发才炸出来。
判断依据很直接,`get-image-recipe` 看状态:
```bash
aws imagebuilder get-image-recipe
--image-recipe-arn arn:aws:imagebuilder:us-east-1:123456789012:image-recipe/web-base/1.4.2
--query '{Name:imageRecipe.name,Ver:imageRecipe.version,Status:imageRecipe.state.status}'
--region us-east-1
返回 `"Status": "DISABLED"`,实锤。再 `list-image-recipes` 找一圈,1.4.3 是 `AVAILABLE` 的。
修复方式分两步。短期把 pipeline 指向 1.4.3,重新 `start-image-pipeline-execution`,从触发到构建完成 13 分钟。长期改法更值得说:把配方版本写成通配形式,让它始终解析到最新的可用版本,比如 ARN 末段用 `1.x.x` 而不是写死 `1.4.2`。Image Builder 支持这种版本通配写法,省掉了每次发版都去改 pipeline 的麻烦。
改完之后我加了一条巡检:每天定时 `list-image-pipelines` 拉全量,逐个检查引用的配方状态,非 `AVAILABLE` 就告警。这条巡检后来救过一次,比等构建失败才发现要早半天。
## 监控阈值、扩容与故障响应:哪些活可以扔给代运维
监控这部分,Image Builder 本身能直接给的指标不算丰富,主要靠 CloudWatch 日志组 `/aws/imagebuilder/<pipeline-name>` 加自建告警。我用的阈值组合是这样:
| 指标 | 采集方式 | 建议阈值 | 触发后动作 |
|---|---|---|---|
| 连续构建失败次数 | CloudWatch Logs 过滤 + 自定义指标 | ≥ 2 次 | 立即告警,人工介入 |
| 单次构建耗时 | 构建开始/结束时间差 | 超过基线 1.5 倍 | 工作日告警,查依赖下载是否变慢 |
| AMI 沉积数量 | `list-image-pipeline-images` 定期拉取 | 超过保留策略 2 倍 | 触发清理脚本 |
| 分发失败(跨区/跨账号) | pipeline 执行历史 | 任意一次失败 | 告警,检查目标账号权限 |
| 构建实例启动失败 | `ResourceDependencyException` 关键字 | 出现即告警 | 查 Service Quotas 与子网容量 |
扩容这块,先明确瓶颈在哪。Image Builder 每个 pipeline 是独立跑的,同时跑多条 pipeline 就是并发。真正的天花板在 Service Quotas 里的并发构建配额,用这条命令查实际值:
```bash
aws service-quotas get-service-quota
--service-code imagebuilder
--quota-code L-9A4B6CD1
--region us-east-1
配额不够先提工单加配额,别急着换机型。构建时间主要花在软件包下载和组件脚本执行上,`m5.xlarge` 换成 `m5.4xlarge` 的收益往往不到 20%。真正提速的手段是给构建实例加 VPC 端点和就近的包源,我们改完之后单次构建从 26 分钟压到 18 分钟。
账单上也别大意。AMI 底层是 EBS 快照,按容量计费。一个 12 GB 的 AMI,月度快照成本在 0.6 美元上下,保留 10 个版本也就几美元,量级不高。但如果 pipeline 每天跑三次、无限期保留,一年下来躺着的版本能到三位数,成本翻几十倍,还会拖慢 `describe-images` 的响应。保留策略建议按"最近 8 个成功版本 + 每周一个归档版本"来配。
### 什么情况下不要用这个方案
有三种情况我会直接劝退。第一,团队每天要发几十次镜像、变更粒度
发表回复