SQS(SQS)服务指南:入门 · 配置 · 排错 · 代运维 · 部署
快速信息
- 服务类别:消息与队列
- AWS 官方文档
它是什么
SQS 是全托管的分布式消息队列服务,在架构中充当异步缓冲层:生产者把消息写入队列后立即返回,消费者按自己的节奏拉取并处理。它在时间与速率两个维度上把生产者和消费者解耦,因此天然承担削峰填谷、失败重试和任务分发的职责。SQS 没有需要运维的 broker 节点,可用性和扩展性由服务本身保证。
与相邻服务的边界值得先分清:SNS 是发布/订阅推送模型,一条消息扇出给多个订阅者,本身不长期留存消息;SQS 是拉取模型,消息在队列中等待被消费,支持多个消费者共同消费同一队列。Kinesis Data Streams 面向有序、可重放、多消费者各自维护读取位置的流式场景,而 SQS 的消息一旦被消费并删除就不再有回放语义。Amazon MQ 提供 RabbitMQ/ActiveMQ 兼容的托管 broker,适合迁移既有 AMQP/JMS 应用;SQS 使用 AWS 原生 API。EventBridge 偏重事件路由与规则匹配,SQS 偏重可靠排队与背压吸收。实际架构中 SNS 扇出到多个 SQS 队列是很常见的组合。
SQS 提供两种队列类型。Standard 队列追求高吞吐与近乎无限的水平扩展,语义是至少一次投递、尽力而为的顺序;FIFO 队列在同一个消息组内保证严格顺序,并通过去重 ID 实现一次处理语义,代价是吞吐受约束、消费端并行度受消息组数量影响。选型时先问清楚业务是否真的需要全局或分区严格顺序。
核心概念
- Standard 与 FIFO 队列:前者高吞吐、至少一次投递;后者按 MessageGroupId 保序、按去重 ID 去重。
- 可见性超时(Visibility Timeout):消息被接收后进入不可见状态,处理完成后需显式删除;超时未删除会被重新投递。
- 长轮询(Long Polling):队列为空时接收请求会保持等待一段时间,减少空响应与无效请求。
- 死信队列(DLQ)与 maxReceiveCount:消息被接收次数超过阈值后转入独立队列,用于隔离反复失败的消息。
- ReceiptHandle:每次接收消息返回的句柄,删除消息必须使用它而不是 MessageId。
典型场景
- 异步解耦:订单创建后写入队列,邮件、积分、风控等下游各自消费,避免非关键链路拖慢主流程。
- 削峰填谷:秒杀或批处理高峰把请求堆进队列,消费者按数据库实际承载能力匀速处理。
- 失败重试:消费失败时让消息重新可见,配合 DLQ 与重试次数阈值形成可控的重试闭环。
- 事件驱动的计算触发:Lambda 通过事件源映射轮询 SQS,按积压情况自动调整并发消费。
计费与成本要点
- 主要按 API 请求次数计费,而不是按队列数量或消息条数直接计费;单次请求会按消息体大小分块计算,因此合并批量发送与接收更划算。
- 空轮询会持续产生请求费用,改用长轮询可以明显降低请求量,同时降低消费延迟。
- FIFO 与 Standard 的计价规则不同,FIFO 的单次操作成本通常更高,具体以官方文档为准。
- 成本控制思路:合并消息体、减少无效接收、及时清理闲置队列与无用 DLQ、把可见性超时设得贴合实际处理耗时以避免重复投递。
上手步骤
- 创建队列:控制台进入 SQS 创建队列,或执行
aws sqs create-queue --queue-name demo-queue。验证:aws sqs get-queue-url --queue-name demo-queue能返回队列 URL。 - 查看队列属性:
aws sqs get-queue-attributes --queue-url <URL> --attribute-names All,确认可见性超时、消息保留期等是否符合预期。 - 发送一条消息:
aws sqs send-message --queue-url <URL> --message-body "hello",返回中应包含 MessageId 与 MD5 校验值。 - 接收消息:
aws sqs receive-message --queue-url <URL> --wait-time-seconds 20,记录返回的 ReceiptHandle。 - 删除消息:
aws sqs delete-message --queue-url <URL> --receipt-handle <HANDLE>,稍等后再次接收,确认队列已空。 - 配置死信队列与监控:指定 DLQ 与 maxReceiveCount,并在 CloudWatch 中观察 ApproximateNumberOfMessagesVisible、ApproximateNumberOfMessagesNotVisible 与 ApproximateAgeOfOldestMessage 三个指标。
常见问题与排查
同一条消息被重复处理
原因:Standard 队列本身是至少一次投递;或消费者处理耗时超过可见性超时,消息已被重新投递;或处理成功但忘记调用删除接口。
处理:把消费逻辑做成幂等,用业务唯一键去重;可见性超时设为正常处理耗时的合理倍数,长任务可在处理过程中延长超时;确保处理成功后再用 ReceiptHandle 删除消息。
消费者长时间收不到消息
原因:发送端写入失败或被队列策略拒绝;消息仍处于其他消费者占用导致的不可见状态;消费端使用短轮询导致频繁空响应。
处理:用 ApproximateNumberOfMessages 等指标确认是否真有积压;改用长轮询;检查发送端 IAM 权限与队列访问策略;确认没有长期卡住的不可见消息。
消息持续进入死信队列
原因:消费逻辑对某类消息体反复抛异常;消息格式不符合消费者预期;可见性超时过短导致并发重复处理;下游依赖长时间不可用。
处理:先检查 DLQ 中消息内容与接收次数定位问题;修复消费逻辑后使用消息再处理(redrive)能力把消息移回源队列;按下游恢复时间调整重试策略与 maxReceiveCount。
FIFO 队列吞吐上不去,或消息像是丢了
原因:消息组数量太少,同一组内被迫串行处理;去重 ID 在去重窗口内重复,后发的同 ID 消息被静默丢弃;单批次消费长时间阻塞。
处理:按业务维度拆分更多 MessageGroupId 提升并行度;确认去重 ID 唯一或启用基于内容的去重;采用批量接收与并发处理,避免单组内长阻塞。
最佳实践
- 接收端一律使用长轮询并配合批量发送、批量接收,兼顾延迟与请求成本。
- 消费逻辑保持幂等,处理成功后再删除消息,删除时使用 ReceiptHandle。
- 为每个业务队列配置死信队列,并对积压量、最旧消息年龄、不可见消息数设置 CloudWatch 告警。
- 可见性超时按实际处理耗时设置;消息体较大时采用 Claim Check 模式,把负载放 S3、队列只存引用,并用 IaC 管理队列与策略。
常见问题
SQS 和 SNS 该选哪个?
SNS 是推送式发布/订阅,一条消息扇出给多个订阅者,不长期留存;SQS 是拉取式队列,消息等待消费者拉取,支持缓冲与重试。常见做法是 SNS 扇出到多个 SQS 队列。
Standard 和 FIFO 队列怎么选?
需要严格顺序与去重,例如订单状态流转、账务处理,选 FIFO;追求高吞吐且能接受至少一次投递与乱序,选 Standard。FIFO 的并行度受消息组数量约束。
消息会一直保留在队列里吗?
不会。队列有可配置的消息保留期,超过后自动删除;被接收但未在可见性超时内删除的消息会重新可见并被再次投递。具体上限以官方文档为准。
SQS 能直接触发 Lambda 吗?
可以。配置 Lambda 事件源映射后,Lambda 以轮询方式批量拉取消息并调用函数;失败的批次会按配置重试,超过次数可转入死信队列。
消息体最大能有多大?
SQS 消息体有大小上限,较大的负载建议存到 S3,队列中只放对象引用,即 Claim Check 模式。具体上限请以官方文档为准。