应用型负载均衡 ALB 运维托管服务该包含什么?一份演练清单

先说结论
- ALB 的运维托管核心是四件事:指标与告警阈值、固定巡检清单、故障演练与响应流程、变更前后的配置核对。"帮你看着控制台"不叫托管。
- 阈值按业务定,别抄默认值。
HTTPCode_ELB_5XX_Count、UnHealthyHostCount、TargetResponseTime的 p99 这三条必须配,其余按流量量级取舍。 - 值得外包的是重复性判断(告警分级、证书与规则巡检、演练执行);架构决策和生产变更审批必须留在自己手里。
为什么要主动制造故障:ALB 的故障大多是"半挂"
us-east-1 和 ap-northeast-1 这些托管区域的 ALB 本体很少整个挂掉。真正让人半夜爬起来的问题,几乎都发生在配置和后端交互上:健康检查判错、超时不匹配、目标组里混着没起来的实例、权重切换没生效。
这种故障的特征是"半挂"——三个后端挂一个,你看到的是"偶尔慢一下""偶尔报个错",不是全站崩。等告警自己响起来,往往已经跑了两周。我一般跟客户说:这类问题测不出来,只能主动注入。
混沌工程的思路没那么玄:先定一个稳态(比如 p99 250ms、5XX 低于 0.1%),再注入一个可控的故障,看稳态破没破。破了就是架构问题,没破就当买了份保险。
实测与踩坑:keep-alive 不匹配的 502 长尾
2026 年 3 月,一个客户的 API 在 ap-northeast-1 的 ALB 后面,后端是 3 台 m5.xlarge 跑 Node.js 18。凌晨两点被告警叫醒,CloudWatch 上 HTTPCode_ELB_5XX_Count 每 5 分钟 2~5 个。诡异的是 HTTPCode_Target_5XX_Count 一直是 0。
这个对比很关键:ELB 侧有 5XX、目标侧没有,说明请求根本没被后端正常处理,问题在连接层。开访问日志 grep 出来一段:elb_status_code=502 target_status_code=- target_processing_time=-1。
第一版配置我们改错了方向。当时判断是健康检查太严导致误摘,把 interval 从 30s 调到 10s、unhealthy_threshold 从 3 调到 2。结果 502 一个没少,反而多了一次掉线——某台机器一次 3 秒的 Full GC 就被直接摘出去了,那台机器当天缓存还没热,流量回来后延迟抖了十分钟。
真正定位靠的是访问日志的 time 字段。把 502 的请求按时间排序,发现到同一个 target 的前后两次请求间隔集中在 55~62 秒。SSH 上去看 Node 的配置:server.keepAliveTimeout 默认 5000ms,而 ALB 的 idle timeout 是 60 秒。ALB 这边认为连接还活着,Node 早就单方面关了,复用时直接吃 RST。
改法是让后端比 ALB 活得更久一点:
// server.js,重启后观察一周,ELB 侧 502 归零
server.keepAliveTimeout = 65000; // > ALB idle timeout 60s
server.headersTimeout = 66000;
顺手把健康检查参数改回 `interval 15s / timeout 5s / unhealthy_threshold 3`。这个坑在本地压测里基本复现不出来——压测时连接不会空闲 60 秒,永远碰不到那条路径。
排查时用到的一条命令,建议存在跳板机的 alias 里:
```bash
aws elbv2 describe-target-health
--target-group-arn arn:aws:elasticloadbalancing:ap-northeast-1:123456789012:targetgroup/api-tg/1a2b3c4d5e6f7890
--region ap-northeast-1
--query 'TargetHealthDescriptions[].{Target:Target.Id,State:TargetHealth.State,Reason:TargetHealth.Reason}'
--output table
## 托管团队要盯什么、哪些活该外包
指标不在多,在于每条阈值后面都挂着一个动作。下面这张表是我们给客户配的默认集,量级参考日请求 50 万上下的小型业务:
| 指标 | 建议阈值 | 触发后的第一动作 |
|---|---|---|
| `UnHealthyHostCount` | ≥ 1 持续 2 个 1 分钟周期 | 拉目标组健康原因,区分应用未就绪 / 检查路径写错 |
| `HTTPCode_ELB_5XX_Count` | 5 分钟内占比 > 1%,且 `Target_5XX` 为 0 | 查访问日志,重点看 `target_status_code=-` |
| `HTTPCode_Target_5XX_Count` | 5 分钟内 > 20 个 | 拉应用日志,ALB 侧基本无责 |
| `TargetResponseTime` p99 | > 2s 持续 5 分钟 | 看是否单台拖后腿,比对同目标组其他实例 |
| `RejectedConnectionCount` | > 0 | 目标组容量或后端 accept 队列打满 |
| ACM 证书剩余天数 | < 30 天 | 检查 DNS 验证记录还在不在 |
巡检按天和按周分开。每天看:目标组里有没有"僵尸" target(实例已删、状态还挂着)、证书剩余天数、过去 24 小时的 5XX 分布。每周看:监听器规则数是否接近配额(每个 ALB 默认 100 条规则,可申请提升)、LCU 用量趋势、WAF 拦截量有没有突变、`deregistration delay` 和发布耗时的关系——默认 300 秒,滚动发布卡五分钟是它干的,不是发布系统。
哪些活适合交出去,这张表说得比较直白:
| 工作项 | 建议归属 | 原因 |
|---|---|---|
| 告警分级与一线响应 | 托管团队 | 重复性高,靠流程和值班表解决 |
| 证书、规则、配额巡检 | 托管团队 | 有明确检查项,漏检成本高 |
| 演练执行与观察记录 | 托管团队 | 需要耐心和固定脚本 |
| 监听器规则与目标组变更 | 共管,托管执行 | 变更单 + 双人复核 |
| 架构选型、跨区策略 | 自己 | 牵扯成本和业务预期 |
| 生产变更窗口审批 | 自己 | 责任不能外包 |
成本上,us-east-1 一个 ALB 的固定小时费一个月十几美元量级,再叠加 LCU,随区域与用量浮动,以 AWS 官方定价页为准。托管服务费一般按 ALB 数量和告警条数计价,跟流量没太大关系。
## 低风险的混沌演练起步清单
别一上来就拔网线。按这个顺序走,第一次演练不需要停任何东西:
1. 先跑 7 天基线。开 ALB 访问日志(S3 落地即可),记录 p50/p99、5XX 比例、HealthyHostCount 的正常波动范围。没基线就没有判断标准。
2. 第一个实验:从目标组摘掉 1/3 的 target,不是停实例,只是 `deregister-targets`。观察 10 分钟。
3. 第二个实验:加权目标组里把某条规则的权重从 100 切到 0,验证回滚路径多久生效。
4. 第三个实验:模拟后端全挂,确认 ALB 返回的是 503 还是 502,告警多久推到群里,值班多久响应。
容器化环境可以直接用 FIS,比手工摘机器干净:
```json
{
"description": "stop-34pct-api-tasks",
"targets": {
"apiTasks": {
"resourceType": "aws:ecs:task",
"selectionMode": "PERCENT(34)",
"parameters": {
"cluster": "prod-api-cluster",
"service": "api"
}
}
},
"actions": {
"stopTasks": {
"actionId": "aws:ecs:stop-task",
"targets": { "Tasks": "apiTasks" }
}
},
"stopConditions": [{
"source": "aws:cloudwatch:alarm",
"value": "arn:aws:cloudwatch:ap-northeast-1:123456789012:alarm:alb-5xx-burn"
}],
"roleArn": "arn:aws:iam::123456789012:role/fis-experiment-role"
}
`stopConditions` 别省,这是演练和事故之间唯一的那道闸。
观察指标就三个:p99 有没有突破基线 1.5 倍、5XX 比例有没有过 1%、告警从触发到人收到消息的时长。我们内部的要求是 2 分钟内进 IM 群,超过 2 分钟算流程缺陷,不算人的问题。
### 什么情况下不要用这套方案
只有一台后端、又没有冗余的,别做摘机演练,摘一台就是全站不可用,先补冗余再谈。没开访问日志、没接分布式追踪的,注入故障只会让你更懵——你连 502 是 ELB 侧还是目标侧都分不清。等保或金融类业务变更窗口受限,演练必须走变更单,别在窗口外偷偷跑。还有日请求量不到一万的系统,样本太小,长尾问题一个月也撞不上一次,精力放在备份和基础告警上更划算。
演练发现的改进项要落到具体条目:改哪个参数、谁改、什么时间改、改完怎么验证。写完贴在工单里,下次演练当回归用例跑一遍。
## 常见问题
**Q:ALB 托管要不要包含证书管理?**
要,但不是"帮你申请证书"。ACM 自动续期需要 DNS 验证记录一直在,那条 CNAME 被谁误删了,续期就静默失败,到期当天全站 HTTPS 挂掉。托管方至少要做的是每周核对验证记录和剩余天数。
**Q:托管团队该不该有生产变更权限?**
给执行权限,不给审批权限。规则增删、目标组变更这类操作让托管方按变更单执行,审批人是你自己的人。我们代维的客户里,凡是把审批也一并交出去的,半年内基本都出过一次无人复核的配置漂移。
**Q:ALB 本身需要"备份"吗?**
ALB 无状态,没有传统意义的备份。要备的是配置:监听器规则、目标组属性、WAF 规则、证书绑定关系。用 `describe-rules`、`describe-target-groups` 定期导出 JSON 存版本库,误删规则时五分钟能重建。
## 参考来源
- [Application Load Balancers 用户指南](https://docs.aws.amazon.com/elasticloadbalancing/latest/application/introduction.html)
- [Target group health checks](https://docs.
发表回复