在打印窗口把「目标」选为「另存为 PDF」即可保存,页面已带 awsgood.com 版权水印。 返回原文

www.awsgood.com

EC2 Spot 实例运维托管服务包含哪些内容?一份可落地清单

2026-11-11 AWS 代运维 约 8 分钟

先说结论

第一,Spot 的托管核心是"容量和中断",不是"机器不宕机"。 必须包含中断通知双通道接入(EventBridge 事件 + 实例元数据端点)、ASG 混合实例策略的持续维护、以及每次中断后的容量补回验证。这三项缺任何一项,说明对方只是把 Spot 当按需实例在管。

第二,告警要按"业务会断"来定,不是按"CPU 高"来定。 至少覆盖四类:ASG 期望容量与在役容量的差值、Spot 请求未满足数、业务队列积压或处理延迟、磁盘与内存水位。阈值写进合同附件,历史告警能查。

第三,交付物必须可审计。 周巡检报告、变更记录、月度恢复演练记录、中断统计与成本对比,按周或按月给你。口头说"都正常"不算交付。

下面按指标、巡检、预案三件套拆开讲。

Spot 实例的运维重点,和按需实例不是一回事

m5.xlarge 在 us-east-1,按需 0.192 USD/小时,Spot 常年在 0.06~0.09 USD/小时之间跳,折人民币单台每月三百上下(随区域与机型浮动,以 AWS 官方定价页为准)。便宜是真便宜,但那个 2 分钟的中断通知窗口也是真的。

按需实例那套"CPU 持续高了就加一台"的逻辑,搬到 Spot 上会漏掉一半问题。CPU 不高不代表没事——实例可能刚被回收、ASG 正在重试拉起、或者 Spot 请求卡在 open 状态等容量。这三种情况下业务已经受影响,但 CPU 曲线可能还很好看。

我一般会把监控分成两层。第一层是 AWS 侧的容量健康度,直接用 CloudWatch 和 ASG 活动历史;第二层是业务侧的实际处理能力,看队列深度和端到端延迟。两层都要配,只看一层会误判。

告警阈值参考:

监控项 建议阈值 触发动作
ASG 期望容量 − 在役容量 ≥1 且持续 3 分钟 P2,查子网 IP 与 Spot 请求状态
Spot 请求 State=open 持续 10 分钟 P2,切实例类型池或换 AZ
业务队列积压 超过单机 10 分钟处理量 P1,先扩再查
CPU 15 分钟均值 >80% 扩一台,不必立即叫醒人
内存使用率(需装 CloudWatch Agent) >85% 持续 10 分钟 P2,Spot 机型混跑时内存画像差异大
gp3 卷吞吐或 IOPS 连续 5 分钟 >90% P3,扩卷
实例状态检查失败 任一次 P2,确认 ASG 已替换

内存那一行值得单独说。Spot 用混合实例策略会在 c5、m5、m5a、m6i 之间漂,不同系列的每 vCPU 内存比不一样。同一份任务在 c5.xlarge 上跑得动,落到 c5.large 就 OOM。所以内存告警的阈值必须按最小规格那台来定,而不是按均值。

每天十分钟:巡检清单和告警阈值怎么定

巡检不是把控制台翻一遍,是有固定几条命令、固定几个判断点。我习惯早上先跑这两条:

# 1) 有没有卡住的 Spot 请求
aws ec2 describe-spot-instance-requests 
  --filters "Name=state,Values=open" 
  --region us-east-1 
  --query 'SpotInstanceRequests[].[SpotInstanceRequestId,InstanceType,State,Status.Code]' 
  --output table

# 2) ASG 期望容量和在役数量的差值
aws autoscaling describe-auto-scaling-groups 
  --auto-scaling-group-names spot-workers-prod 
  --region us-east-1 
  --query 'AutoScalingGroups[].{Desired:DesiredCapacity,InService:length(Instances[?LifecycleState==`InService`])}'


第一条如果输出里有 `Status.Code` 是 `capacity-not-available` 的记录,说明这个实例类型在这个 AZ 拿不到货,得尽快换池子。第二条的 `Desired` 和 `InService` 差 1 以上,优先怀疑子网 IP 耗尽或者启动模板有问题,而不是先怀疑 Spot 容量。

剩下的巡检项我列成固定清单,托管方每周出一份,附截图或命令输出:

- 过去 24 小时 ASG 活动历史里 `Failed` 事件的条数与原因
- 过去 7 天 Spot 中断次数,按实例类型和 AZ 分组
- 当前价格 vs 一周前价格的偏移幅度
- EBS 卷剩余空间、快照是否按策略生成
- 应用日志里 `OutOfMemory`、`Connection reset`、`No space left on device` 的计数

最后一条最容易漏。Spot 实例频繁重建时,日志分散在一堆已经终止的实例里,如果不做集中收集,出问题时你连现场都找不到。

## 备份与恢复演练:Spot 场景真正要保的是"可重建"

Spot 机器上不该存任何需要单独备份的东西。要保的是四样:AMI 版本、启动模板版本、User Data 脚本、以及挂载的 EBS 数据卷(如果业务确实需要本地盘)。

恢复演练的流程我一般这么定,每月跑一次,全程计时:

1. 用最近一次发布的 AMI + 当前启动模板,把 ASG 期望容量手动设到 3
2. 记录从触发到 3 台全部 `InService` 且通过目标组健康检查的耗时
3. 打一批固定测试请求,确认处理结果正确
4. 把 ASG 容量改回去,确认缩容干净
5. 把耗时和异常写进演练记录

我们自己的基线是 5 分钟内拉起 3 台可用副本,最近一次实测 3 分 40 秒。超过 8 分钟就要查原因了,通常是 AMI 里塞了太多启动时下载的依赖,或者 User Data 里有个 `apt-get update` 卡在境外源上。

这里有个国内团队常踩的点:AMI 里如果放了从国内源下载的包,换到 us-east-1 之后拉取会走公网,启动时间能拖到两三分钟。稳妥做法是把依赖全部烤进 AMI,启动脚本只做配置注入。

## 实测与踩坑:一次中断事件没被接住

2026 年 11 月 3 日上午,客户一套跑批任务的 Spot 集群出了状况。9:12 收到 EventBridge 的 Spot 中断警告,9:14 实例被回收,然后整整 27 分钟集群少了一台机器,业务延迟从 40 秒涨到 4 分钟。

ASG 活动历史里刷了一屏失败记录,第一条是这样的:


Launching a new EC2 instance. Status: Failed.
Reason: The request configuration has no subnets with enough free IP addresses.


第二类长这样:


We currently do not have sufficient m5.xlarge capacity in the Availability Zone you requested (us-east-1a).


第一版配置错在三个地方:启动模板只挂了一个子网,那个子网是 /24 网段,当时只剩 3 个可用 IP;混合实例策略用的是 `lowest-price`,价格一变就全往 us-east-1a 挤;实例类型只写了 m5.xlarge 和 c5.xlarge 两种,选择面太窄。

定位过程不复杂,就是先看 ASG 活动历史拿到失败原因,再用 `describe-subnets` 确认可用 IP 数,最后用 `describe-spot-price-history` 对了一下 us-east-1a 和其他 AZ 的价差,发现当时 a 区确实贵了将近一倍,`lowest-price` 的策略把所有请求都吸过去了。

改法:子网从 1 个加到 3 个(每 AZ 一个,且都是 /22),策略换成 `capacity-optimized`,实例类型扩到 6 种,并且把 `InstanceMaintenancePolicy` 里的容量再平衡打开。改完之后同样强度的中断,补回时间稳定在 90 秒到 2 分钟之间。

这次之后我养成了一个习惯:任何 Spot 环境的交付验收,必须现场触发一次"手动终止一台实例",看它多久补回来。补不回来的,后面所有指标都是虚的。

## 变更、扩容和故障响应,托管团队到底接哪一段

责任边界不写清楚,出事就是互相甩锅。我的建议是按下表划:

| 工作项 | 自建团队 | 托管代运维 |
|---|---|---|
| 中断通知接入与验证 | 上线做一次 | 交付配置,每月演练 |
| ASG 混合实例策略调优 | 偶尔看一眼 | 每周按价格与中断率调整 |
| 告警阈值维护 | 上线配一次 | 随业务节奏复盘调整 |
| 恢复演练 | 基本不做 | 每月一次,出记录 |
| 日常变更(改规格、加策略) | 走审批 | 提单执行,留变更单 |
| 故障响应 | 看谁在线 | 分级 SLA,15 分钟首响 |

响应分级我一般分成四档:P1 业务完全不可用,15 分钟内响应,1 小时内给结论或临时方案;P2 容量掉了一部分但业务还在跑,30 分钟响应;P3 单实例异常,次日处理;P4 咨询和优化建议,排进周会。分级标准要写死在文档里,别每次临场判断。

扩容这块有个隐性工作量:Spot 的容量池是动态的。同样一组实例类型,这个月好拿,下个月可能就紧了。所以托管方需要有个人每周看一次价格和中断率,把池子里的机型做增删。这件事没人愿意干,但它直接决定中断率。没人做的结果就是你三个月后发现策略还是上线时那一份,早就不匹配了。

## 什么情况下不要用 Spot

下面这几种,别为了省钱硬上:

- 单实例数据库或任何没有冗余的持久化服务。2 分钟通知窗口内做不完主从切换和数据一致性校验。
- 要求 99.95% 以上连续可用的在线接口。Spot 能做到很高可用,但前提是你有足够的冗余和快速补充能力,成本会吃掉大部分差价。
- 依赖本地 NVMe 盘存中间结果的长时间任务。实例一没,盘上的东西全没。
- 训练任务 checkpoint 间隔超过 10 分钟。回收一次就白跑。
- 合规或授权绑定物理核心、要求独占硬件的场景。

判断标准其实很简单:如果你的业务能在任意时刻丢掉一台机器而不影响对外服务,Spot 就合适;如果丢一台就得人工介入,那就先解决架构,再谈省钱。

## 常见问题

**Spot 实例被回收,ASG 一定能补上吗?** 不一定。补不上的原因里,容量不足只占一部分,更多是子网 IP 耗尽、启动模板引用了已删除的 AMI、或者 IAM 实例配置文件权限被改。所以巡检要看失败原因分布,不是只看数量。

**中断通知应该用 EventBridge 还是元数据端点?** 两个都要。EventBridge 适合做告警和自动化触发,元数据端点适合在实例内部做优雅下线。只配一个都会漏:EventBridge 事件延迟偶尔到几十秒,元数据则要求实例还在跑。

**混合实例策略选哪个?** 大多数场景用 `capacity-optimized`。`lowest-price` 看着省钱,实际会把你所有请求压到最便宜的那个池子,中断率显著上升。除非你对成本极度敏感且能接受频繁重建,否则别用。

**托管方要不要给我们看原始告警记录?** 要。至少给 CloudWatch 告警历史截图和 ASG 活动历史的导出。只看汇总报告看不出阈值是否合理。

## 参考来源

- [Spot Instance interruptions](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-interruptions.html)
- [Best practices for Amazon EC2 Spot Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-best-practices.html)
- [Amazon EC2 Spot Instances 产品页](https://aws.amazon.com/ec2/spot/)
- [Auto Scaling 实例维护策略](https://docs.aws.amazon.com/autoscaling/ec2/userguide/asg-instance-maintenance-policy.html)

如果你手上已经有 Spot 集群但说不清中断率是多少、补回要多久,可以先按上面那两条命令跑一遍,把数字拿出来。搞不定或者没人盯这块的,awsgood.com 的代运维里包含 Spot 容量池维护和月度恢复演练,可以先拿一次演练结果看看差距。

常见问题

Spot 实例被回收前能提前多久知道?
2 分钟。EventBridge 的 EC2 Spot Instance Interruption Warning 事件和实例元数据 `/latest/meta-data/spot/instance-action` 都会在这个窗口内给出回收时间,足够跑一次优雅下线脚本。
托管服务商需要拿到账号的什么权限?
建议用跨账号 IAM Role 加最小权限策略,只给 EC2、AutoScaling、CloudWatch、EventBridge、S3 的限定资源权限。不要给 AdministratorAccess,更不要交根账号。
一台 Spot 被回收后业务会中断多久?
取决于容量池储备。混合实例策略下,ASG 一般 1~3 分钟补上新实例,加上启动和健康检查,常见 2~5 分钟恢复。单 AZ 单机型的情况十几分钟起步。
Spot 的运维成本大概是什么量级?
以 m5.xlarge 在 us-east-1 为例,Spot 单台每月三百元人民币上下,同规格按需约一千元。托管代运维一般按实例数量和响应级别报价,规模越大单台越便宜。
怎么验证服务商的告警真的配了?
让对方在联调环境手动终止一台 Spot 实例,观察告警是否在 3 分钟内到达你的群,以及补回用了多久。口头承诺不算,跑一次最快。
Spot 中断率一般是多少?
没有固定值,和实例类型、AZ、时段都相关。m5、c5 这类主流机型在 us-east-1 通常很低,冷门机型或小 AZ 会高很多。看 CloudWatch 里自己的历史中断次数最准。