www.awsgood.com
第一,Spot 的托管核心是"容量和中断",不是"机器不宕机"。 必须包含中断通知双通道接入(EventBridge 事件 + 实例元数据端点)、ASG 混合实例策略的持续维护、以及每次中断后的容量补回验证。这三项缺任何一项,说明对方只是把 Spot 当按需实例在管。
第二,告警要按"业务会断"来定,不是按"CPU 高"来定。 至少覆盖四类:ASG 期望容量与在役容量的差值、Spot 请求未满足数、业务队列积压或处理延迟、磁盘与内存水位。阈值写进合同附件,历史告警能查。
第三,交付物必须可审计。 周巡检报告、变更记录、月度恢复演练记录、中断统计与成本对比,按周或按月给你。口头说"都正常"不算交付。
下面按指标、巡检、预案三件套拆开讲。
m5.xlarge 在 us-east-1,按需 0.192 USD/小时,Spot 常年在 0.06~0.09 USD/小时之间跳,折人民币单台每月三百上下(随区域与机型浮动,以 AWS 官方定价页为准)。便宜是真便宜,但那个 2 分钟的中断通知窗口也是真的。
按需实例那套"CPU 持续高了就加一台"的逻辑,搬到 Spot 上会漏掉一半问题。CPU 不高不代表没事——实例可能刚被回收、ASG 正在重试拉起、或者 Spot 请求卡在 open 状态等容量。这三种情况下业务已经受影响,但 CPU 曲线可能还很好看。
我一般会把监控分成两层。第一层是 AWS 侧的容量健康度,直接用 CloudWatch 和 ASG 活动历史;第二层是业务侧的实际处理能力,看队列深度和端到端延迟。两层都要配,只看一层会误判。
告警阈值参考:
| 监控项 | 建议阈值 | 触发动作 |
|---|---|---|
| ASG 期望容量 − 在役容量 | ≥1 且持续 3 分钟 | P2,查子网 IP 与 Spot 请求状态 |
Spot 请求 State=open 持续 |
10 分钟 | P2,切实例类型池或换 AZ |
| 业务队列积压 | 超过单机 10 分钟处理量 | P1,先扩再查 |
| CPU 15 分钟均值 | >80% | 扩一台,不必立即叫醒人 |
| 内存使用率(需装 CloudWatch Agent) | >85% 持续 10 分钟 | P2,Spot 机型混跑时内存画像差异大 |
| gp3 卷吞吐或 IOPS | 连续 5 分钟 >90% | P3,扩卷 |
| 实例状态检查失败 | 任一次 | P2,确认 ASG 已替换 |
内存那一行值得单独说。Spot 用混合实例策略会在 c5、m5、m5a、m6i 之间漂,不同系列的每 vCPU 内存比不一样。同一份任务在 c5.xlarge 上跑得动,落到 c5.large 就 OOM。所以内存告警的阈值必须按最小规格那台来定,而不是按均值。
巡检不是把控制台翻一遍,是有固定几条命令、固定几个判断点。我习惯早上先跑这两条:
# 1) 有没有卡住的 Spot 请求
aws ec2 describe-spot-instance-requests
--filters "Name=state,Values=open"
--region us-east-1
--query 'SpotInstanceRequests[].[SpotInstanceRequestId,InstanceType,State,Status.Code]'
--output table
# 2) ASG 期望容量和在役数量的差值
aws autoscaling describe-auto-scaling-groups
--auto-scaling-group-names spot-workers-prod
--region us-east-1
--query 'AutoScalingGroups[].{Desired:DesiredCapacity,InService:length(Instances[?LifecycleState==`InService`])}'
第一条如果输出里有 `Status.Code` 是 `capacity-not-available` 的记录,说明这个实例类型在这个 AZ 拿不到货,得尽快换池子。第二条的 `Desired` 和 `InService` 差 1 以上,优先怀疑子网 IP 耗尽或者启动模板有问题,而不是先怀疑 Spot 容量。
剩下的巡检项我列成固定清单,托管方每周出一份,附截图或命令输出:
- 过去 24 小时 ASG 活动历史里 `Failed` 事件的条数与原因
- 过去 7 天 Spot 中断次数,按实例类型和 AZ 分组
- 当前价格 vs 一周前价格的偏移幅度
- EBS 卷剩余空间、快照是否按策略生成
- 应用日志里 `OutOfMemory`、`Connection reset`、`No space left on device` 的计数
最后一条最容易漏。Spot 实例频繁重建时,日志分散在一堆已经终止的实例里,如果不做集中收集,出问题时你连现场都找不到。
## 备份与恢复演练:Spot 场景真正要保的是"可重建"
Spot 机器上不该存任何需要单独备份的东西。要保的是四样:AMI 版本、启动模板版本、User Data 脚本、以及挂载的 EBS 数据卷(如果业务确实需要本地盘)。
恢复演练的流程我一般这么定,每月跑一次,全程计时:
1. 用最近一次发布的 AMI + 当前启动模板,把 ASG 期望容量手动设到 3
2. 记录从触发到 3 台全部 `InService` 且通过目标组健康检查的耗时
3. 打一批固定测试请求,确认处理结果正确
4. 把 ASG 容量改回去,确认缩容干净
5. 把耗时和异常写进演练记录
我们自己的基线是 5 分钟内拉起 3 台可用副本,最近一次实测 3 分 40 秒。超过 8 分钟就要查原因了,通常是 AMI 里塞了太多启动时下载的依赖,或者 User Data 里有个 `apt-get update` 卡在境外源上。
这里有个国内团队常踩的点:AMI 里如果放了从国内源下载的包,换到 us-east-1 之后拉取会走公网,启动时间能拖到两三分钟。稳妥做法是把依赖全部烤进 AMI,启动脚本只做配置注入。
## 实测与踩坑:一次中断事件没被接住
2026 年 11 月 3 日上午,客户一套跑批任务的 Spot 集群出了状况。9:12 收到 EventBridge 的 Spot 中断警告,9:14 实例被回收,然后整整 27 分钟集群少了一台机器,业务延迟从 40 秒涨到 4 分钟。
ASG 活动历史里刷了一屏失败记录,第一条是这样的:
Launching a new EC2 instance. Status: Failed.
Reason: The request configuration has no subnets with enough free IP addresses.
第二类长这样:
We currently do not have sufficient m5.xlarge capacity in the Availability Zone you requested (us-east-1a).
第一版配置错在三个地方:启动模板只挂了一个子网,那个子网是 /24 网段,当时只剩 3 个可用 IP;混合实例策略用的是 `lowest-price`,价格一变就全往 us-east-1a 挤;实例类型只写了 m5.xlarge 和 c5.xlarge 两种,选择面太窄。
定位过程不复杂,就是先看 ASG 活动历史拿到失败原因,再用 `describe-subnets` 确认可用 IP 数,最后用 `describe-spot-price-history` 对了一下 us-east-1a 和其他 AZ 的价差,发现当时 a 区确实贵了将近一倍,`lowest-price` 的策略把所有请求都吸过去了。
改法:子网从 1 个加到 3 个(每 AZ 一个,且都是 /22),策略换成 `capacity-optimized`,实例类型扩到 6 种,并且把 `InstanceMaintenancePolicy` 里的容量再平衡打开。改完之后同样强度的中断,补回时间稳定在 90 秒到 2 分钟之间。
这次之后我养成了一个习惯:任何 Spot 环境的交付验收,必须现场触发一次"手动终止一台实例",看它多久补回来。补不回来的,后面所有指标都是虚的。
## 变更、扩容和故障响应,托管团队到底接哪一段
责任边界不写清楚,出事就是互相甩锅。我的建议是按下表划:
| 工作项 | 自建团队 | 托管代运维 |
|---|---|---|
| 中断通知接入与验证 | 上线做一次 | 交付配置,每月演练 |
| ASG 混合实例策略调优 | 偶尔看一眼 | 每周按价格与中断率调整 |
| 告警阈值维护 | 上线配一次 | 随业务节奏复盘调整 |
| 恢复演练 | 基本不做 | 每月一次,出记录 |
| 日常变更(改规格、加策略) | 走审批 | 提单执行,留变更单 |
| 故障响应 | 看谁在线 | 分级 SLA,15 分钟首响 |
响应分级我一般分成四档:P1 业务完全不可用,15 分钟内响应,1 小时内给结论或临时方案;P2 容量掉了一部分但业务还在跑,30 分钟响应;P3 单实例异常,次日处理;P4 咨询和优化建议,排进周会。分级标准要写死在文档里,别每次临场判断。
扩容这块有个隐性工作量:Spot 的容量池是动态的。同样一组实例类型,这个月好拿,下个月可能就紧了。所以托管方需要有个人每周看一次价格和中断率,把池子里的机型做增删。这件事没人愿意干,但它直接决定中断率。没人做的结果就是你三个月后发现策略还是上线时那一份,早就不匹配了。
## 什么情况下不要用 Spot
下面这几种,别为了省钱硬上:
- 单实例数据库或任何没有冗余的持久化服务。2 分钟通知窗口内做不完主从切换和数据一致性校验。
- 要求 99.95% 以上连续可用的在线接口。Spot 能做到很高可用,但前提是你有足够的冗余和快速补充能力,成本会吃掉大部分差价。
- 依赖本地 NVMe 盘存中间结果的长时间任务。实例一没,盘上的东西全没。
- 训练任务 checkpoint 间隔超过 10 分钟。回收一次就白跑。
- 合规或授权绑定物理核心、要求独占硬件的场景。
判断标准其实很简单:如果你的业务能在任意时刻丢掉一台机器而不影响对外服务,Spot 就合适;如果丢一台就得人工介入,那就先解决架构,再谈省钱。
## 常见问题
**Spot 实例被回收,ASG 一定能补上吗?** 不一定。补不上的原因里,容量不足只占一部分,更多是子网 IP 耗尽、启动模板引用了已删除的 AMI、或者 IAM 实例配置文件权限被改。所以巡检要看失败原因分布,不是只看数量。
**中断通知应该用 EventBridge 还是元数据端点?** 两个都要。EventBridge 适合做告警和自动化触发,元数据端点适合在实例内部做优雅下线。只配一个都会漏:EventBridge 事件延迟偶尔到几十秒,元数据则要求实例还在跑。
**混合实例策略选哪个?** 大多数场景用 `capacity-optimized`。`lowest-price` 看着省钱,实际会把你所有请求压到最便宜的那个池子,中断率显著上升。除非你对成本极度敏感且能接受频繁重建,否则别用。
**托管方要不要给我们看原始告警记录?** 要。至少给 CloudWatch 告警历史截图和 ASG 活动历史的导出。只看汇总报告看不出阈值是否合理。
## 参考来源
- [Spot Instance interruptions](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-interruptions.html)
- [Best practices for Amazon EC2 Spot Instances](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/spot-best-practices.html)
- [Amazon EC2 Spot Instances 产品页](https://aws.amazon.com/ec2/spot/)
- [Auto Scaling 实例维护策略](https://docs.aws.amazon.com/autoscaling/ec2/userguide/asg-instance-maintenance-policy.html)
如果你手上已经有 Spot 集群但说不清中断率是多少、补回要多久,可以先按上面那两条命令跑一遍,把数字拿出来。搞不定或者没人盯这块的,awsgood.com 的代运维里包含 Spot 容量池维护和月度恢复演练,可以先拿一次演练结果看看差距。