在打印窗口把「目标」选为「另存为 PDF」即可保存,页面已带 awsgood.com 版权水印。 返回原文

www.awsgood.com

EC2 Instance Connect 运维托管该包含什么?一份凌晨三点能用的清单

2026-11-12 AWS 代运维 约 7 分钟

先说结论

凌晨 2:07 被告警:前 10 分钟按这个顺序做

值班手机响的时候,告警文本通常只有一句「EC2 Instance Connect 登录失败率上升」。别急着开控制台点连接,先做分诊。

0~2 分钟,确认影响面。 问清楚三件事:走浏览器控制台还是 CLI?哪个 region?报错原文是什么?浏览器控制台和 aws ec2-instance-connect ssh 是两个不同的失败面——前者受实例公网 IP 影响,后者可能只是本地凭证过期。同时拉一下 CloudTrail 最近的调用记录:

aws cloudtrail lookup-events 
  --region us-east-1 
  --lookup-attributes AttributeKey=EventName,AttributeValue=SendSSHPublicKey 
  --start-time "$(date -u -d '30 minutes ago' +%Y-%m-%dT%H:%M:%SZ)" 
  --query 'Events[].CloudTrailEvent' --output text 
  | jq -r 'fromjson | [.eventTime, .errorCode // "OK", .requestParameters.instanceId] | @tsv'


输出里如果出现成片的 `AccessDenied`,问题在 IAM;如果是 `InvalidParameter` 或 `EC2InstanceNotFoundException`,往实例状态和 Endpoint 方向查。

**2~5 分钟,确认实例本身活着。** 很多「连不上」其实是实例已经挂了:

```bash
aws ec2 describe-instance-status 
  --instance-ids i-0a1b2c3d4e5f67890 
  --region us-east-1 --include-all-instances 
  --query 'InstanceStatuses[0].{State:InstanceState.Name,Sys:SystemStatus.Status,Inst:InstanceStatus.Status}'


`Sys` 是 impaired,说明底层主机有问题,直接走恢复流程,别在 SSH 上耗。

**5~10 分钟,切备用通道止血。** 生产环境我一般要求常备 SSM Session Manager 作为第二通道,它和 Instance Connect 走的是不同路径(实例侧 agent 主动出站),一条断了另一条往往还活着:

```bash
aws ssm start-session --target i-0a1b2c3d4e5f67890 --region us-east-1


进去之后第一件事不是修,是确认业务进程还在跑、磁盘没满。登录通道故障和业务故障要分开处理,别混在一起排查。

## 实测与踩坑:CentOS 7 迁移来的实例,点连接一直转圈

2026 年 11 月 18 日凌晨 2:07,客户值班群报「生产实例连不上」。这批机器是当周用 MGN 从 IDC 迁过来的 CentOS 7,AMI 是客户自己封的,跑在 us-east-1 的私有子网里。

控制台点 Connect,页面转了大约 25 秒,弹出:


There was a problem connecting to your instance. Common causes include
the instance not having a public IP address, a security group not allowing
inbound SSH traffic, or the instance not having the EC2 Instance Connect
package installed.


**第一版判断错在哪:** 报错文本把「安全组」排在前面,我们第一反应就是放行 22 端口,还把一条 `0.0.0.0/0` 的规则挂了上去。改完照样连不上。这一下犯了两个错——没定位就先动安全组,以及顺手开了个全网规则,后面复盘又花时间收口。

**怎么定位的:** 关键是看 sshd 有没有收到连接。在实例上(通过跳板机进去的)执行:

```bash
sudo tail -f /var/log/secure   # CentOS/RHEL;Ubuntu 是 /var/log/auth.log


判断依据很干脆:客户端点击连接的同时,如果日志里一条新记录都没有,说明 TCP 连接根本没到 sshd,问题在网络层或 Endpoint 侧;如果有记录但跟着 `Permission denied (publickey)`,问题在认证层,多半是包没装或 `AuthorizedKeysCommand` 没配。

我们那次凌晨 02:23:41 点的连接,`secure` 日志最后一条还停在 02:19 的 cron 记录。加上 `describe-instances` 一看 `PublicIpAddress` 为空——真相是这批机器在私有子网,压根没有公网 IP,控制台的 Instance Connect 走公网回连,必然失败。

**最后怎么解决的:** 给该子网创建 EC2 Instance Connect Endpoint,安全组只放行来自 endpoint 安全组的 22 端口,实例上补装包:

```bash
sudo yum install -y ec2-instance-connect
sudo systemctl restart sshd
grep -E 'AuthorizedKeysCommand' /etc/ssh/sshd_config


正常应看到两行:


AuthorizedKeysCommand /opt/aws/bin/eic_run_authorized_keys %u %f
AuthorizedKeysCommandUser ec2-instance-connect


没有就手动加,然后重启 sshd。验证用 CLI 更可靠:

```bash
aws ec2-instance-connect ssh 
  --instance-id i-0a1b2c3d4e5f67890 
  --os-user ec2-user --connection-type eice --region us-east-1


这条链路打通后,我们把「私有子网实例一律走 EIC Endpoint」写进了交付标准。后来算账:那晚从告警到恢复约 47 分钟,其中 20 分钟浪费在改安全组上。

## 日常巡检与告警阈值:这条链路上值得盯的 6 个点

巡检不是「每天登上去看一眼」,那是仪式感。真正要盯的是会静默失效的东西。

| 告警项 | 数据来源 | 阈值 | 分级 | 动作 |
|---|---|---|---|---|
| SendSSHPublicKey 失败 | CloudTrail → CloudWatch Logs 指标过滤 | 5 分钟内 ≥3 次 | P2 | 查 IAM 策略与实例 ARN 是否匹配 |
| EIC Endpoint 状态 | `describe-instance-connect-endpoints` | 非 `available` | P1 | 15 分钟响应,评估重建 |
| 实例 sshd 进程 | CloudWatch Agent procstat | 连续 2 个周期为 0 | P1 | 立即走 SSM 通道进机 |
| 22 端口安全组变更 | AWS Config 规则 | 任一变更 | P2 | 核对变更单号 |
| 实例时钟偏移 | chrony/NTP offset | >5 秒 | P3 | 密钥有效期只有 60 秒,偏移大直接认证失败 |
| AMI 内包与配置 | SSM Run Command 批量检查 | 命中 MISSING | P2 | 阻止该 AMI 进入发布流水线 |

批量检查用一条命令就够,别一台台点:

```bash
aws ssm send-command --region us-east-1 
  --document-name "AWS-RunShellScript" 
  --targets "Key=tag:OpsManaged,Values=true" 
  --parameters 'commands=["rpm -q ec2-instance-connect || echo MISSING","systemctl is-active sshd","chronyc tracking | grep -i offset"]' 
  --comment "weekly EIC health check"


频次上我一般这么排:每日自动巡检一次(北京时间早上 9 点,Lambda + EventBridge 触发,结果推企业微信)、每周人工抽查 3 台、每季度恢复演练一次。人工抽查别省,自动脚本查不出「有人在 sshd_config.d 里加了一行覆盖配置」这种事。

## 备份、扩容与代维边界:哪些活能交出去,哪些别交

这里要澄清一个常见误解:Instance Connect 场景下要备份的不是实例,是「能连上」的能力。具体是四样东西——安全组规则快照、`sshd_config` 及其 `sshd_config.d/` 目录、EIC Endpoint 的子网与安全组配置记录、以及相关 IAM 策略版本。Endpoint 被误删后要重建,没有记录就得重新推一遍网络拓扑。

恢复演练的做法:在一个独立测试 VPC 里,从零建 Endpoint、起一台实例、跑通 CLI 连接,计时。我要求 30 分钟内跑完,跑不完说明文档或权限有问题——真出事时没人有耐心现查。

扩容是另一个高频翻车点。Golden AMI 流水线里必须加一步 smoke test:起一台实例,执行 `aws ec2-instance-connect ssh --connection-type eice`,失败就不发布。这一步是我们吃过亏才加的,前面提过那次 6 台里 5 台连不上,就是因为 ASG 混了新旧 launch template,而旧 AMI 里根本没装包。

至于哪些交给托管团队,我的分法是:

| 工作项 | 频次 | 建议归属 | 理由 |
|---|---|---|---|
| EIC Endpoint 创建与安全组收敛 | 一次性 + 变更时 | 可托管 | 依赖网络知识,做一次管很久 |
| CloudTrail 告警规则搭建 | 一次性 | 可托管 | 配好基本不用动 |
| 每日巡检与告警响应 | 每日 | 强烈建议托管 | 小团队夜里没人盯,这是最大价值点 |
| 季度恢复演练 | 每季度 | 强烈建议托管 | 自建团队最容易无限延期 |
| IAM 权限策略维护 | 变更时 | 建议自留 + 审批 | 权限是安全边界,改动要留痕 |
| AMI 内包与 sshd 配置固化 | 每次发版 | 自留 | 跟 CI 流水线强绑定,外人插不进手 |
| 生产环境 root 级排障 | 事件驱动 | 自留或联合 | 涉及数据,责任要清楚 |

### 什么情况下不要用这个方案

- **纯自动化场景。** Ansible、CI 部署机这类需要长期固定凭证的,别硬套 Instance Connect。它推的密钥 60 秒窗口用于认证,会话建立后不受影响,但不适合当机器身份用——这种场景用 SSM 或 Secrets Manager 管专用密钥更稳。
- **组织已经全面 SSM 化了。** 如果所有实例都有 SSM Agent、也不需要 SSH 兼容性,再维护一条 EIC Endpoint 链路纯属增加面。
- **跨 VPC 没打通网络。** EIC Endpoint 只能从同 VPC 或已通过 peering / TGW 连通的网络访问,指望它替代公网堡垒机跨网络直连是不行的。
- **需要命令级审计。** CloudTrail 只记录「谁把公钥推到了哪台实例」,不记录会话里敲了什么。要命令级留痕得配 Session Manager 的会话录制。

## 常见问题

**EIC Endpoint 要额外花钱吗?** 截至 2026 年

参考来源