面向中文开发者的 AWS 实战知识库 代维服务
上云咨询

S3 Glacier(S3 Glacier)服务指南:入门 · 配置 · 排错 · 代运维 · 部署

快速信息

它是什么

S3 Glacier 是 AWS 的归档存储层。今天它主要以 S3 存储类(storage class) 的形态存在:你不需要切换到”另一个服务”,只需给 S3 桶里的对象指定合适的存储类,或者用 S3 Lifecycle 规则让对象随时间自动迁移过去。按冷热程度从高到低分为三档:GLACIER_IR(Glacier Instant Retrieval,毫秒级读取,用法接近低频访问类)、GLACIER(Glacier Flexible Retrieval,取回需要先发起 restore,速度从分钟级到十几小时可选)、DEEP_ARCHIVE(Glacier Deep Archive,最冷的一档,取回以小时计)。对象一旦以某个存储类写入,后续可以靠 Lifecycle 或对象复制(CopyObject)更换。

除此之外,AWS 仍保留了一个独立的 Amazon S3 Glacier 服务,采用 vault / archive 模型,通过 aws glacier 这一套 API 访问。它与 S3 桶中的存储类不是同一套接口:vault 有自己的访问策略、Vault Lock(一次写入多次读取的合规锁定)和 inventory 机制,适合有严格留档要求的场景。新项目通常建议直接用 S3 存储类加 Lifecycle,因为冷热数据可以放在同一个桶里统一管理权限、版本和监控。

在架构上,S3 Glacier 处于数据生命周期的末端,不承担在线读写。它的上游是 S3 Standard、S3 Standard-IA 等可直接访问的存储类,下游是过期删除。它不是数据库的冷备方案,也不是块存储或文件系统快照的替代品——它是为”写入后长期不动、偶尔才需要取回”的对象准备的。

核心概念

  • 存储类(Storage Class):对象级别的属性,决定取回方式和计费模型,是 S3 Glacier 的主要使用方式。
  • Vault 与 Archive:独立 Glacier 服务中的容器与存储单元,archive 整体不可修改,只能整份上传和整份取回。
  • restore 作业:Glacier Flexible Retrieval 与 Deep Archive 中的对象不能直接 GET,必须先提交 restore 请求,S3 生成一份有有效期的临时副本供下载。
  • 取回档位(Retrieval Tier):Expedited / Standard / Bulk,速度越快单价越高;Deep Archive 只提供 Standard 与 Bulk。
  • 最短存储期限(Minimum Storage Duration):各档都有最短停留期(Glacier Instant Retrieval 与 Flexible Retrieval 通常为 90 天,Deep Archive 通常为 180 天),未满期限删除或转出仍按整个期限计费。

典型场景

  • 合规与法规留档:审计日志、财务凭证、录音录像需要保存多年且极少读取,用 Deep Archive 单位容量成本最低,Vault Lock 还能提供不可篡改的写入锁定。
  • 备份与灾备副本:数据库导出、虚拟机镜像的异地副本,恢复窗口允许数小时时,把副本沉到 Glacier 档位能显著压低长期持有成本。
  • 媒体素材冷库:影视母版、历史图片、成品素材需要随时预览,Glacier Instant Retrieval 毫秒级读取,不必等待 restore。
  • 日志与历史分析数据:日常查询只覆盖近期数据,把更早的分区转入 Glacier,需要时用 Bulk 档一次性批量取回做离线分析。

计费与成本要点

  • 存储按 GB-月计费,档位越冷单价越低;但每个对象都有固定的元数据开销(约 40 KB 量级),对象越小,实际单位容量成本越高于标称值。
  • 取回按数据量计费,且不同档位、不同取回档位费率不同;Bulk 最便宜但最慢,Expedited 最贵但最快,需要按恢复目标(RTO)权衡。
  • 请求单独计费:transition 请求按对象数计,restore 请求按请求数与检索量计;因此”把百万个小文件逐个转档”往往比想象中贵。
  • 提前删除费用是最容易被忽略的一项:未满最短存储期限就删除或转出,会按剩余期限补齐费用,规划 Lifecycle 天数时要把它算进去。

上手步骤

  1. 创建测试桶并确认区域:aws s3 mb s3://my-glacier-lab,用 aws s3 ls 验证桶已存在。
  2. 以 Glacier 存储类上传一个对象:aws s3 cp ./data.bin s3://my-glacier-lab/data.bin --storage-class GLACIER(也可用 GLACIER_IR 或 DEEP_ARCHIVE);用 aws s3api head-object --bucket my-glacier-lab --key data.bin 确认返回的 StorageClass 字段。
  3. 验证不能直接下载:对 GLACIER 或 DEEP_ARCHIVE 对象执行 aws s3 cp s3://my-glacier-lab/data.bin .,应收到 InvalidObjectState 错误,这印证了 restore 的必要性。
  4. 发起 restore:aws s3api restore-object --bucket my-glacier-lab --key data.bin --restore-request '{"Days":3,"GlacierJobParameters":{"Tier":"Standard"}}';反复执行 head-object,观察 x-amz-restore 从 ongoing-request="true" 变为 false,随后即可下载。
  5. 配置 Lifecycle 规则,用 aws s3api put-bucket-lifecycle-configuration 提交 JSON,再用 aws s3api get-bucket-lifecycle-configuration 回读确认规则已生效。
  6. (可选)体验独立 Glacier 服务:aws glacier create-vault --account-id - --vault-name my-vault,接着 upload-archive 并记下返回的 archiveId,再用 initiate-job 拉取 inventory 验证归档内容。

常见问题与排查

下载归档对象报 InvalidObjectState

对象位于 Glacier Flexible Retrieval 或 Deep Archive,这类对象不支持直接 GET,必须先有可用的临时副本。

先用 head-object 确认存储类,再提交 restore 请求;等 x-amz-restore 显示 ongoing-request="false" 后在 Days 指定的窗口内完成下载,窗口过期需重新发起。

restore 提交后长时间取不到数据

Deep Archive 的 Standard 取回本身就以小时计,Bulk 更慢;也可能是提交时选了较低的档位,或误以为提交即完成。

核对请求中的 Tier 与对象实际存储类是否匹配,用 S3 事件通知配合 SQS/SNS 监听 restore 完成事件,而不是轮询;对时间敏感的恢复流程要预留足够缓冲。

账单出现提前删除或请求费用异常

对象未满最短存储期限就被 Lifecycle 转出或删除,或者大量小对象产生了按对象计的 transition 与元数据开销。

调整 Lifecycle 的 transition 天数,使对象在冷档位至少停留满最短期限;把海量小文件先打包成大对象再转档,可同时降低元数据开销和请求数。

Vault Lock 设置后无法删除 archive

合规模式下的 Vault Lock 策略一旦锁定即不可撤销,删除操作会被策略直接拒绝。

正式锁定前先用 dry-run 方式验证策略语义,确认保留期限与删除权限符合预期;对独立 Glacier 服务,建议在测试 vault 上完整演练一遍再应用到生产。

最佳实践

  • 用 Lifecycle 规则驱动转档,而不是手工 CopyObject,避免规则与人工操作冲突导致对象在错误的档位反复迁移。
  • 转档前先做对象聚合,把大量小文件打成 tar/zip 等大对象,减少按对象计费的元数据与请求开销。
  • 按前缀或标签划分数据层级,配合 S3 Inventory、Storage Lens 和成本分配标签持续观察各档位的容量与取回量。
  • 提前为”最坏情况下的全量取回”做预算与时延评估,对可预测的高频 Expedited 取回考虑 Provisioned Capacity,避免临时取回既慢又贵。

常见问题

S3 Glacier 和 S3 里的 Glacier 存储类是一回事吗?

不完全是一回事。存储类是 S3 桶中对象的属性,用 S3 API 和 Lifecycle 管理;Amazon S3 Glacier 是带 vault 与 archive 的独立服务,接口不同。新项目建议用存储类。

Glacier 里的对象能直接下载吗?

Glacier Instant Retrieval 可以,读取为毫秒级。Glacier Flexible Retrieval 与 Deep Archive 不行,必须先提交 restore 请求,等临时副本生成后才能下载。

取回一般要多久?

Flexible Retrieval 可选 Expedited(分钟级)、Standard(数小时)、Bulk(十几小时);Deep Archive 只有 Standard(通常 12 小时内)与 Bulk(更久)两档。

为什么不建议直接归档大量小文件?

每个对象在 Glacier 类中都有固定的元数据开销,transition 与 restore 请求也按对象计费。小文件应先打包成大对象,否则单位容量成本可能高于预期。

转进 Glacier 后能马上删吗?

不建议。各档都有最短存储期限,未满期限删除或转出仍按整个期限计费,会产生提前删除费用,规划 Lifecycle 时要把这部分算进去。

独立 Glacier 服务还需要用吗?

当需要 vault 级别的访问策略、不可撤销的 Vault Lock 合规锁定或 vault inventory 时仍有价值;只做冷数据分层,用 S3 存储类更省事。