www.awsgood.com
给我一套陌生环境,我不会先登控制台看图表。我会先跑一条命令把所有实例的底细拉平——机型、可用区、启动时间、是否强制 IMDSv2。
aws ec2 describe-instances --region us-east-1
--query 'Reservations[].Instances[].{ID:InstanceId,Type:InstanceType,State:State.Name,AZ:Placement.AvailabilityZone,Launch:LaunchTime,IMDSv2:MetadataOptions.HttpTokens,Tags:Tags}'
--output table
输出里我会重点看三处:`LaunchTime` 超过两三年的实例大概率没人维护过;`HttpTokens` 还是 `optional` 说明 IMDSv2 没强制,存在 SSRF 拿临时凭证的风险;`Tags` 里没有 `Owner` 或 `Env` 的,直接进待办清单。
资产表至少要有五列:实例 ID、用途一句话说明、负责人、依赖的域名/证书、备份策略。域名和证书这块最容易漏——客户交接时给了实例清单,没给 ACM 证书和 Route 53 托管区,结果三个月后证书到期,站点在 iOS 上直接报 `NET::ERR_CERT_DATE_INVALID`。那次之后我把证书到期时间直接写进资产表。
权限交接有两条线。一条是 IAM:确认是否有独立的运维角色,`AdministratorAccess` 挂在谁身上,能不能改成按需提权的临时凭证(配合 SSM Session Manager 免密钥登录,顺便省掉开放 22 端口的麻烦)。另一条是账单和 root:root 邮箱、MFA 设备、付款方式不交接,只给一个 `Billing` 只读角色,这是底线。
文档交接我一般只要三份:架构简图(哪怕是手绘拍照)、最近半年的故障记录、变更日志。三份都拿不出来,说明这环境之前是“人肉运维”,后面要按新环境重新建基线,报价和工期都得往上加。
## 监控告警怎么配:哪些指标必须设阈值,哪些纯噪音
EC2 默认往 CloudWatch 送的指标只有 CPU、网络、磁盘 I/O、状态检查这几类,**内存和磁盘使用率默认没有**。这是新手最容易翻车的地方——面板上看着一切正常,实际上根卷已经 98%。
必须装 CloudWatch Agent 才有 `mem_used_percent` 和 `disk_used_percent`。装完先验证:
```bash
aws cloudwatch list-metrics --namespace CWAgent --region us-east-1
--query 'Metrics[].MetricName' --output text | tr 't' 'n' | sort -u
返回为空说明 Agent 没起来或者配置没生效,别急着配告警。我见过配了内存告警三个月一直 `INSUFFICIENT_DATA`、没人发现的情况,后面踩坑那节细说。
阈值这块我的习惯配置:
| 指标 | 采集方式 | 建议阈值 | 连续数据点 | 说明 |
|---|---|---|---|---|
| `CPUUtilization` | 默认,5 分钟 | 80% | 3(15 分钟) | 单点触发会吵死人,业务高峰必然误报 |
| `StatusCheckFailed_System` | 默认,1 分钟 | ≥1 | 2 | 宿主层问题,只能 stop/start 迁移 |
| `StatusCheckFailed_Instance` | 默认,1 分钟 | ≥1 | 3 | 通常是内核 panic 或磁盘满 |
| `mem_used_percent` | Agent,60 秒 | 85% | 3 | 内存泄漏比 CPU 峰值更致命 |
| `disk_used_percent` | Agent,60 秒 | 85% | 2 | 根卷 20GB 的小机型涨得很快 |
| `CPUCreditBalance`(t 系列) | 默认 | < 30 | 1 | 突增型实例积分耗尽会突然变慢 |
告警动作别只挂 SNS 邮件。国内收 SNS 邮件偶尔延迟几分钟,赶上 P1 故障这几分钟很要命,我一般同时推一个 webhook 到 IM 群。另外 `treatMissingData` 参数一定要显式设成 `breaching` 或 `notBreaching`,默认的 `missing` 会让告警在没数据时保持原状态,等于瞎了。
## 巡检清单:日、周、月各看什么
巡检不是把面板挨个点一遍,是带着怀疑去看几个特定位置。我用的清单大概这样:
**每天(10 分钟内)**
- 所有告警状态里有没有 `INSUFFICIENT_DATA`——没数据比有告警更危险
- 昨晚 DLM(Data Lifecycle Manager)快照任务状态是不是 `completed`
- 磁盘使用率环比昨天涨了多少,涨速比绝对值更能说明问题
**每周**
- 未打 `Env` 标签、未关联 Auto Scaling 组的游离实例
- 安全组里 `0.0.0.0/0` 开放的非 80/443 端口
- SSM 托管实例在线率,掉线的先查是不是 Agent 挂了
**每月**
- 抽一台机器做真实恢复演练(不是看快照状态,是真起一台)
- 补丁基线合规率
- 闲置资源:连续 30 天 CPU 低于 2% 的实例、未挂载的 EBS 卷、未关联的弹性 IP
这里有个量级判断:一台 `m5.xlarge` 在 us-east-1 按需跑满一个月是一千出头的人民币量级(随区域与机型浮动,以 AWS 官方定价页为准),闲置三台一年就是三万多。所以闲置资源排查我说服客户加进月巡检,比什么优化建议都实在。
30 天接班节奏我一般这么排:第 1 周只读不改,把资产表补完;第 2 周补齐监控和告警基线,把噪音告警全部降级或删掉;第 3 周做第一次恢复演练和补丁评估;第 4 周出基线报告,跟甲方确认哪些改动进变更窗口。前两周不碰生产配置,这是硬规矩——不清楚依赖关系就动手,等于给交接方背锅。
## 实测与踩坑:一次告警风暴和那个一直 INSUFFICIENT_DATA 的告警
2026 年 3 月接手一个客户,12 台 EC2,前一任运维把 `CPUUtilization` 告警设在 60%、单点触发、评估周期 5 分钟。业务高峰在每天上午十点和晚上八点,结果 SNS 一天推两百多封邮件。不到两周,群里没人看告警了。
真正的故障就是这时候来的。某台跑日志处理的 `m5.large` 根卷 20GB,从 78% 涨到 100% 用了两天,写满之后 Java 进程抛 `No space left on device`,服务挂了六个小时才有人发现。而磁盘告警压根没配——因为默认没这个指标。
第一版修复我配错了:加了 CloudWatch Agent、建了 `disk_used_percent` 告警,阈值 85%。一周后回头看,状态一直是 `INSUFFICIENT_DATA`。查了半天,原因有两个:Agent 配置文件里 `disk` 段只写了 `mount_points` 没写 `resources`,采集根本没生效;告警的 `treatMissingData` 用了默认值 `missing`,所以一直显示灰的而不是红的。
验证方法很简单,直接看指标有没有点:
```bash
aws cloudwatch get-metric-statistics --namespace CWAgent
--metric-name disk_used_percent --dimensions Name=InstanceId,Value=i-0abc1234567890def
--start-time 2026-03-15T00:00:00Z --end-time 2026-03-15T06:00:00Z
--period 300 --statistics Maximum
返回 `Datapoints: []` 就是没采上来,别怀疑告警配置。那次之后我改成:先跑这条命令确认有数据点,再建告警,最后手动触发一次(把阈值临时调到 1%)确认通知链路通。顺序反了就得来回折腾两天。
另一类坑在快照。客户要求每小时备份关键卷,我配了高频策略后 CloudWatch 里看到 API 报错 `SnapshotCreationPerVolumeRateExceeded`——单个卷的并发快照创建速率有上限,配太密会直接被限流。改成关键卷每小时、普通卷每天一次,配合跨区复制,问题就没了。这个报错不看日志根本发现不了,快照任务在控制台上只是显示“部分完成”。
## 备份演练、扩缩容、故障响应,哪些活能交出去
备份这块,配置本身不难,难的是**演练**。我要求每次演练必须从快照拉起一台新实例、挂上卷、把服务跑起来、验证数据完整性,全过程控制在 60 分钟内算合格。只看 DLM 任务状态是 `completed` 就放心,是很常见的自我安慰——快照成功不等于能恢复。
扩缩容分两种。无状态的 Web 层上 Auto Scaling 组,目标跟踪策略挂在 `ASG Average CPU 60%`,前面挂 ALB,这个适合交出去,改参数不影响业务逻辑。有状态的老单体系统只能垂直升配,换机型必然有停机窗口,这类变更必须甲方业务方点头,代运维团队只能出方案和窗口建议,不能自己拍板。
故障响应我一般按三级分:P1 是站点或核心交易不可用,15 分钟内响应、2 小时内给根因初判;P2 是性能明显下降或非核心功能异常,1 小时响应;P3 是告警排查、配置优化,走工单次日处理。分级表要写进合同附件,不然半夜三点被叫起来处理一个“磁盘 82%”的告警,人会疯。
### 什么情况下不要用这套方案
有几种场景我不建议走代运维。一是合规要求日志和数据不能出境、或者要求运维人员有特定资质的,外部团队接入本身就过不了审。二是业务只有一台机器、一年云支出几千块,代运维费用比服务器还贵,不如让开发顺手管着。三是甲方只想“有人接电话”,不愿意改任何配置、不给只读权限、不配合变更窗口——这种情况下监控基线都建不起来,接了也是背锅。四是 root 账号和账单权限不愿意分离的,直接放弃。
如果团队没有专职运维、又确实需要把这套监控巡检体系建起来,awsgood.com 这边可以按交接清单做一次环境基线梳理和代配置,把资产表、告警阈值、巡检清单先落地,后面自己接手也有个参照。
## 常见问题
**EC2 代运维一般收多少钱?** 没有标准价,通常按实例数量和是否含 7×24 响应报价。10 台以内、只做工作时段巡检和告警分诊,一个月几百到一两千人民币量级;含 7×24 值班和恢复演练的,价格按倍数往上走。具体看响应时效和变更频率。
**内存和磁盘监控为什么默认没有?** 这两类指标在操作系统内部,Hypervisor 层面看不到,必须靠 CloudWatch Agent 从实例里采集。所以新机器上线第一件事是装 Agent 并验证指标有数据点,别等告警灰了三个月才发现。
**自己运维和交给托管团队,分界线在哪?** 判断标准是“出了事谁有权改”。需要动架构、动预算、动账号权限的,留在内部;重复性高、有明确操作手册的(巡检、补丁、快照、告警分诊),交出去性价比最高。
**告警太少会不会漏掉故障?** 不会。告警的价值在准确率不在数量。我的经验是把告警压到每周不超过 5 条有效通知,团队才会真的去看。压不下来的,多半是阈值设太低或者评估周期太短。
**接手后发现前任没留任何文档,怎么开始?** 从 `describe-instances` 和 CloudTrail 的事件历史倒推。CloudTrail 能看出最近谁改过什么,比问人靠谱。资产表边用边补,第一周不做任何变更。
## 参考来源
- [Amazon CloudWatch 用户指南:使用告警](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/AlarmThatSendsEmail.html)
- [Amazon EC2 用户指南:状态检查](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/monitoring-system-instance-status-check.html)
- [Amazon CloudWatch 用户指南:安装和配置 CloudWatch 代理](https://docs.aws.amazon.com/AmazonCloudWatch/latest/monitoring/Install-CloudWatch-Agent.html)
- [Amazon EC2 用户指南:使用 Data Lifecycle Manager 自动创建快照](https://docs.aws.amazon.com/AWSEC2/latest/UserGuide/snapshot-lifecycle.html)