面向中文开发者的 AWS 实战知识库 代维服务
上云咨询

CloudWatch Logs(CloudWatch Logs)服务指南:入门 · 配置 · 排错 · 代运维 · 部署

快速信息

它是什么

CloudWatch Logs 是 AWS 的托管日志服务,负责日志的接收、存储、检索与后续投递。它在架构里处在“产生日志的组件”和“消费日志的人或系统”之间:EC2、Lambda、ECS、API Gateway、RDS、VPC Flow Logs、CloudTrail、Route 53 等把日志送进来,运维人员通过控制台、CLI、SDK 或 Logs Insights 检索,也可以把日志实时转发给 Lambda、Kinesis Data Streams、Kinesis Data Firehose 做进一步处理。

它与相邻服务的边界要分清:CloudWatch Logs 只做日志,不做指标聚合,也不做请求链路追踪。指标由 CloudWatch Metrics 负责(日志可以通过 metric filter 转成指标再告警),分布式追踪由 X-Ray 负责,长期归档和离线分析通常导出到 S3 后用 Athena 查询。日志组不是数据库,不适合长跨度、多表关联的大规模分析。

权限与加密方面,日志组支持 IAM 策略和资源策略,可选 KMS 加密;多账号组织常见做法是通过 subscription filter 或跨账号投递,把各账号日志汇聚到中央账号统一检索。

核心概念

  • 日志组(Log Group):日志的顶层容器,名称在同一区域同一账号内唯一,保留策略、加密、指标筛选器、订阅筛选器都定义在这一层。
  • 日志流(Log Stream):来自同一来源的日志事件序列,通常一个应用实例、一个容器或一个文件对应一个流。
  • 日志事件(Log Event):一条带时间戳的消息,是写入和检索的最小单位。
  • Metric Filter:挂在日志组上的模式匹配规则,命中后写入 CloudWatch 指标,可进一步绑定告警。
  • Subscription Filter:把匹配到的日志实时投递给 Lambda、Kinesis Data Streams 或 Firehose,用于转发、富化或落盘。
  • 保留策略(Retention):按日志组设置,默认永不过期,到期后事件自动删除。

典型场景

  • 应用日志集中排查:Lambda、容器、EC2 日志统一进 CloudWatch Logs,用 Logs Insights 按请求 ID 或关键字跨流检索,不必逐台登录机器。
  • 日志驱动告警:用 metric filter 统计错误关键字或异常状态码,阈值触发 CloudWatch 告警,比人工盯日志更及时。
  • 安全与合规审计:VPC Flow Logs、CloudTrail、Route 53 查询日志集中存储并按需设置保留期,满足审计留痕与事后取证。
  • 日志二次加工:通过 subscription filter 把日志送到 Firehose 落入 S3 或 OpenSearch,做长期归档、检索或与业务数据关联分析。

计费与成本要点

  • 主要计费维度是日志摄取量(按传入数据量)、存储量(按 GB-月,与保留期和日志类相关)、以及 Logs Insights 查询扫描的数据量;导出到 S3、投递到 Kinesis 等还有各自费用,具体单价以官方定价页为准。
  • 控制摄取量最有效:在采集端用 CloudWatch agent 的过滤规则丢弃噪声日志,从源头减少写入。
  • 按日志组设置保留期,避免默认永不过期造成的长期存储累积;历史日志可导出到 S3 用更低成本长期保存。
  • 查询成本随扫描量增长,Logs Insights 查询尽量先限定时间范围和日志组,再用 filter 收窄,避免全量扫描;对高频统计需求改用 metric filter 而非反复查询。

上手步骤

  1. 创建日志组:aws logs create-log-group --log-group-name /app/demo,再用 aws logs describe-log-groups --log-group-name-prefix /app 确认存在。
  2. 创建日志流并写入一条事件:aws logs create-log-stream --log-group-name /app/demo --log-stream-name test,然后 aws logs put-log-events 写入,用 aws logs get-log-events 验证能读回,确认时间戳单位是毫秒。
  3. 接入真实来源:EC2 上安装并配置 CloudWatch agent,指定要采集的日志文件路径;Lambda 只要执行角色有相应权限,日志会自动进入以函数名命名的日志组。验证方式是控制台能看到新日志流并持续增长。
  4. 设置保留期:aws logs put-retention-policy --log-group-name /app/demo --retention-in-days 30,用 describe-log-groups 查看 retentionInDays 是否生效。
  5. 建指标筛选器并告警:按错误关键字创建 metric filter,再到 CloudWatch 告警里基于该指标设阈值,人为制造一条错误日志验证告警进入 ALARM 状态。
  6. 用 Logs Insights 查询验证检索能力,例如先 fields @timestamp, @message 再 filter @message like /ERROR/ 加 sort @timestamp desc | limit 20。

常见问题与排查

症状:应用在跑,但日志组里没有任何日志

原因:多半是投递链路没打通——EC2 上 agent 未启动或配置未加载、Lambda 执行角色缺少写日志权限、日志投递服务与日志组不在同一区域。

处理:先确认 agent 进程和配置加载状态,再核对执行角色与日志组资源策略,最后确认区域和日志组名称是否一致。

症状:写入日志报参数错误或被拒绝

原因:常见是时间戳单位用成秒、事件时间戳与当前时间偏差过大、单条事件或单次批量写入超过服务上限。

处理:统一用毫秒时间戳并校准主机时钟;超出单条大小上限的消息应拆分后再写入;批量写入控制在服务允许的条数与字节数内。写入 API 已不再要求 sequence token。

症状:Logs Insights 查询很慢或扫描量异常高

原因:时间范围过大、一次查询挂载了过多日志组,或查询语句没有先过滤就做统计。

处理:缩小时间窗口和日志组范围,把 filter 放在 stats 之前,先用少量结果验证语句再扩大范围。

症状:配置了 subscription filter,但下游没有数据

原因:筛选模式与实际日志格式不匹配;投递目标的权限策略未允许 CloudWatch Logs 写入;日志组启用了下游不支持的配置。

处理:先用相同模式在 Logs Insights 里验证能命中,再检查目标侧的资源策略与角色信任关系,并查看订阅投递的失败指标。

最佳实践

  • 按应用和环境规划日志组命名(如 /app/prod/api),避免一个大组混装所有日志,便于分权、分保留期和分成本。
  • 每个日志组都显式设置保留期,并定期评估哪些日志需要导出 S3 长期保存。
  • 采集端做过滤、应用端用结构化 JSON 日志,既降低摄取成本,也让 Logs Insights 的字段解析更可靠。
  • 错误日志用 metric filter 加告警主动发现问题,而不是依赖人工定时翻日志;敏感字段开启数据保护策略做掩码。

常见问题

CloudWatch Logs 和 CloudWatch Metrics 是什么关系?

Logs 负责日志的存储与检索,Metrics 负责数值指标与告警。通过 metric filter 可以把日志中的模式转成指标,再由告警触发通知。

日志默认会一直保留吗?

是,新建日志组默认不过期。建议为每个日志组显式设置保留期,历史数据如需长期保存可导出到 S3 后用 Athena 查询。

可以直接把日志导出到 S3 做分析吗?

可以,通过创建导出任务把指定时间段的日志批量写入 S3。导出是异步的批量操作,不适合秒级实时需求,实时投递应使用 subscription filter。

Logs Insights 能查多个日志组吗?

可以,一次查询可选择多个日志组并同时扫描。为控制查询耗时和扫描费用,建议限定时间范围并配合 filter 收窄结果。

为什么同一条日志会出现重复?

写入失败重试、采集端同时读取同一文件、或多个采集器覆盖同一来源都可能造成重复。排查时先确认日志流数量与采集配置是否重叠。

不安装 agent 能采集 EC2 日志吗?

可以借助其他方式(如应用直接调用 PutLogEvents 或经 Firehose 转发),但常规做法仍是安装 CloudWatch agent,它同时支持日志与指标采集和过滤。