面向中文开发者的 AWS 实战知识库 代维服务
上云咨询

SQS(SQS)服务指南:入门 · 配置 · 排错 · 代运维 · 部署

快速信息

它是什么

SQS 是全托管的分布式消息队列服务,在架构中充当异步缓冲层:生产者把消息写入队列后立即返回,消费者按自己的节奏拉取并处理。它在时间与速率两个维度上把生产者和消费者解耦,因此天然承担削峰填谷、失败重试和任务分发的职责。SQS 没有需要运维的 broker 节点,可用性和扩展性由服务本身保证。

与相邻服务的边界值得先分清:SNS 是发布/订阅推送模型,一条消息扇出给多个订阅者,本身不长期留存消息;SQS 是拉取模型,消息在队列中等待被消费,支持多个消费者共同消费同一队列。Kinesis Data Streams 面向有序、可重放、多消费者各自维护读取位置的流式场景,而 SQS 的消息一旦被消费并删除就不再有回放语义。Amazon MQ 提供 RabbitMQ/ActiveMQ 兼容的托管 broker,适合迁移既有 AMQP/JMS 应用;SQS 使用 AWS 原生 API。EventBridge 偏重事件路由与规则匹配,SQS 偏重可靠排队与背压吸收。实际架构中 SNS 扇出到多个 SQS 队列是很常见的组合。

SQS 提供两种队列类型。Standard 队列追求高吞吐与近乎无限的水平扩展,语义是至少一次投递、尽力而为的顺序;FIFO 队列在同一个消息组内保证严格顺序,并通过去重 ID 实现一次处理语义,代价是吞吐受约束、消费端并行度受消息组数量影响。选型时先问清楚业务是否真的需要全局或分区严格顺序。

核心概念

  • Standard 与 FIFO 队列:前者高吞吐、至少一次投递;后者按 MessageGroupId 保序、按去重 ID 去重。
  • 可见性超时(Visibility Timeout):消息被接收后进入不可见状态,处理完成后需显式删除;超时未删除会被重新投递。
  • 长轮询(Long Polling):队列为空时接收请求会保持等待一段时间,减少空响应与无效请求。
  • 死信队列(DLQ)与 maxReceiveCount:消息被接收次数超过阈值后转入独立队列,用于隔离反复失败的消息。
  • ReceiptHandle:每次接收消息返回的句柄,删除消息必须使用它而不是 MessageId。

典型场景

  • 异步解耦:订单创建后写入队列,邮件、积分、风控等下游各自消费,避免非关键链路拖慢主流程。
  • 削峰填谷:秒杀或批处理高峰把请求堆进队列,消费者按数据库实际承载能力匀速处理。
  • 失败重试:消费失败时让消息重新可见,配合 DLQ 与重试次数阈值形成可控的重试闭环。
  • 事件驱动的计算触发:Lambda 通过事件源映射轮询 SQS,按积压情况自动调整并发消费。

计费与成本要点

  • 主要按 API 请求次数计费,而不是按队列数量或消息条数直接计费;单次请求会按消息体大小分块计算,因此合并批量发送与接收更划算。
  • 空轮询会持续产生请求费用,改用长轮询可以明显降低请求量,同时降低消费延迟。
  • FIFO 与 Standard 的计价规则不同,FIFO 的单次操作成本通常更高,具体以官方文档为准。
  • 成本控制思路:合并消息体、减少无效接收、及时清理闲置队列与无用 DLQ、把可见性超时设得贴合实际处理耗时以避免重复投递。

上手步骤

  1. 创建队列:控制台进入 SQS 创建队列,或执行 aws sqs create-queue --queue-name demo-queue。验证:aws sqs get-queue-url --queue-name demo-queue 能返回队列 URL。
  2. 查看队列属性:aws sqs get-queue-attributes --queue-url <URL> --attribute-names All,确认可见性超时、消息保留期等是否符合预期。
  3. 发送一条消息:aws sqs send-message --queue-url <URL> --message-body "hello",返回中应包含 MessageId 与 MD5 校验值。
  4. 接收消息:aws sqs receive-message --queue-url <URL> --wait-time-seconds 20,记录返回的 ReceiptHandle。
  5. 删除消息:aws sqs delete-message --queue-url <URL> --receipt-handle <HANDLE>,稍等后再次接收,确认队列已空。
  6. 配置死信队列与监控:指定 DLQ 与 maxReceiveCount,并在 CloudWatch 中观察 ApproximateNumberOfMessagesVisible、ApproximateNumberOfMessagesNotVisible 与 ApproximateAgeOfOldestMessage 三个指标。

常见问题与排查

同一条消息被重复处理

原因:Standard 队列本身是至少一次投递;或消费者处理耗时超过可见性超时,消息已被重新投递;或处理成功但忘记调用删除接口。

处理:把消费逻辑做成幂等,用业务唯一键去重;可见性超时设为正常处理耗时的合理倍数,长任务可在处理过程中延长超时;确保处理成功后再用 ReceiptHandle 删除消息。

消费者长时间收不到消息

原因:发送端写入失败或被队列策略拒绝;消息仍处于其他消费者占用导致的不可见状态;消费端使用短轮询导致频繁空响应。

处理:用 ApproximateNumberOfMessages 等指标确认是否真有积压;改用长轮询;检查发送端 IAM 权限与队列访问策略;确认没有长期卡住的不可见消息。

消息持续进入死信队列

原因:消费逻辑对某类消息体反复抛异常;消息格式不符合消费者预期;可见性超时过短导致并发重复处理;下游依赖长时间不可用。

处理:先检查 DLQ 中消息内容与接收次数定位问题;修复消费逻辑后使用消息再处理(redrive)能力把消息移回源队列;按下游恢复时间调整重试策略与 maxReceiveCount。

FIFO 队列吞吐上不去,或消息像是丢了

原因:消息组数量太少,同一组内被迫串行处理;去重 ID 在去重窗口内重复,后发的同 ID 消息被静默丢弃;单批次消费长时间阻塞。

处理:按业务维度拆分更多 MessageGroupId 提升并行度;确认去重 ID 唯一或启用基于内容的去重;采用批量接收与并发处理,避免单组内长阻塞。

最佳实践

  • 接收端一律使用长轮询并配合批量发送、批量接收,兼顾延迟与请求成本。
  • 消费逻辑保持幂等,处理成功后再删除消息,删除时使用 ReceiptHandle。
  • 为每个业务队列配置死信队列,并对积压量、最旧消息年龄、不可见消息数设置 CloudWatch 告警。
  • 可见性超时按实际处理耗时设置;消息体较大时采用 Claim Check 模式,把负载放 S3、队列只存引用,并用 IaC 管理队列与策略。

常见问题

SQS 和 SNS 该选哪个?

SNS 是推送式发布/订阅,一条消息扇出给多个订阅者,不长期留存;SQS 是拉取式队列,消息等待消费者拉取,支持缓冲与重试。常见做法是 SNS 扇出到多个 SQS 队列。

Standard 和 FIFO 队列怎么选?

需要严格顺序与去重,例如订单状态流转、账务处理,选 FIFO;追求高吞吐且能接受至少一次投递与乱序,选 Standard。FIFO 的并行度受消息组数量约束。

消息会一直保留在队列里吗?

不会。队列有可配置的消息保留期,超过后自动删除;被接收但未在可见性超时内删除的消息会重新可见并被再次投递。具体上限以官方文档为准。

SQS 能直接触发 Lambda 吗?

可以。配置 Lambda 事件源映射后,Lambda 以轮询方式批量拉取消息并调用函数;失败的批次会按配置重试,超过次数可转入死信队列。

消息体最大能有多大?

SQS 消息体有大小上限,较大的负载建议存到 S3,队列中只放对象引用,即 Claim Check 模式。具体上限请以官方文档为准。