S3(S3)服务指南:入门 · 配置 · 排错 · 代运维 · 部署
快速信息
- 服务类别:存储
- AWS 官方文档
它是什么
S3(Amazon Simple Storage Service)是 AWS 的对象存储服务。数据以「对象」为单位存放在 bucket 中,客户端通过 HTTPS 上的 REST API 读写,而不是挂载成本地盘。对象由 key(名字)、数据本体和元数据组成;key 是扁平字符串,控制台里看到的「目录」只是用 / 分隔的 key 前缀。
在架构里,S3 通常承担「所有需要长期保存的字节」这一层:用户上传、数据湖原始数据、备份与归档、日志汇聚、前端构建产物、模型与数据集文件。它按需扩展、无需预置容量,上游常见 CloudFront、Lambda、EMR、Athena 与各类备份工具,下游几乎可以是任何能发 HTTP 请求的程序。
边界要划清:单实例低延迟随机读写用 EBS(块存储);多实例共享、需要 POSIX 语义的文件系统用 EFS 或 FSx;S3 是对象存储,一次操作整体替换一个对象,不支持原地部分改写,不适合当数据库主存储或高频小记录存储。Mountpoint for Amazon S3 之类方案能让部分程序顺序读写 S3,但语义与本地文件系统不同,接入前建议先确认访问模式。
核心概念
- Bucket:对象的顶层容器,名字全局唯一并绑定一个 Region,是权限、版本控制与生命周期规则的配置单元。
- Object 与 Key:对象 = key + 数据 + 元数据;key 扁平,前缀可模拟目录,但没有真正的目录重命名操作。
- 存储类别(Storage Class):Standard、Intelligent-Tiering、Standard-IA、One Zone-IA、Glacier 系列等,用访问频率换单价与取回延迟。
- Versioning:开启后每次覆盖与删除都产生新版本,可找回误删误覆盖,代价是存储量增加。
- Bucket Policy 与 Presigned URL:前者是绑定在 bucket 上的资源策略,后者是带签名、有时效的临时访问链接。
典型场景
- 静态网站与前端资源:构建产物放 S3,由 CloudFront 分发,无需服务器即可承受流量峰值。
- 数据湖原始层:日志与导出数据按日期前缀写入,Athena、Glue、EMR 直接查询,存储与计算解耦。
- 备份与归档:数据库备份、快照导出、合规留存写入 Glacier 系列,由生命周期规则自动降级。
- 用户上传与大文件分发:移动端用 presigned URL 直传,大文件用 multipart upload,下发走 CloudFront。
计费与成本要点
- 存储量按存储类别以 GB-月计费,类别越冷单价越低;IA 与 Glacier 系列有最短存储期与最小计费尺寸,小对象不宜过早降级。
- 请求按类型(PUT、GET、LIST 等)分档计费,生命周期转换本身也产生请求;海量小文件建议合并,减少请求与转换次数。
- 公网出流量通常是最大成本项;同 Region 内 S3 到 EC2 的数据传输通常不计费,跨 Region 复制会计费。用 CloudFront 与缓存降低回源。
- Transfer Acceleration、跨 Region 复制、Intelligent-Tiering 的对象监控等附加能力单独计费,比例与单价以官方定价页为准。
上手步骤
- 创建 bucket:控制台 S3 → Create bucket,选 Region 与全局唯一名字。验证:
aws s3api head-bucket --bucket 名字正常返回且退出码为 0。 - 收紧权限:Permission 页确认 Block Public Access 四项全开,Object Ownership 用 bucket owner enforced(ACL 关闭)。验证:页面显示全部为 On。
- 上传并读取:
aws s3 cp ./a.txt s3://名字/prefix/a.txt。验证:aws s3 ls s3://名字/prefix/能看到对象与大小。 - 配置最小权限:给应用角色写 IAM policy,只授权所需前缀与动作。验证:用该角色执行
aws s3 ls,越权前缀应返回 AccessDenied。 - 开启版本控制与生命周期:Versioning 设为 Enabled,加规则让旧版本或某前缀在若干天后转冷并最终过期。验证:上传两次同名对象后确认存在两个版本,规则状态为 Enabled。
- 接入应用与可观测性:接入 SDK 或 CloudFront origin,开启 server access logging 或 CloudTrail data events。验证:访问一次对象后能在日志或 CloudWatch 指标中看到对应记录。
常见问题与排查
请求返回 403 Access Denied
原因:IAM policy 与 bucket policy 任一侧未授权、Block Public Access 拦截、Object Ownership 与 ACL 不匹配,或对象使用 SSE-KMS 而调用方缺少 kms:Decrypt 权限。
处理:用同一身份执行 head-object 定位,核对 policy 中 resource ARN 与实际 key 前缀是否一致,检查 KMS key policy,必要时用 CloudTrail 事件确认被拒的 API 与身份。
对象明明存在却返回 404 NoSuchKey
原因:key 大小写或前缀拼写不一致;请求打到了错误 Region 的端点;开启 Versioning 后对象被删除,只剩 delete marker。
处理:用 aws s3api list-object-versions 查看版本与 delete marker,用 list-objects-v2 校验真实 key,并确认 SDK 配置的 Region 与 bucket 一致。
大文件上传慢或中途失败
原因:大对象未使用 multipart upload,长连接易受网络波动影响;客户端距离 Region 较远;分片大小与并发设置不合理。
处理:改用 multipart upload(CLI 对大文件默认自动分片),调整并发与分片大小,把 bucket 放在离写入方较近的 Region,再评估是否需要 Transfer Acceleration。
浏览器请求对象被 CORS 拦截
原因:bucket 未配置 CORS 规则,或规则的 AllowedOrigin、AllowedHeader、Method 未覆盖实际请求(含预检 OPTIONS)。
处理:在 Permissions → CORS 中补齐规则,确认 CloudFront 转发相关请求头,修改后失效缓存再用浏览器开发者工具复验。
最佳实践
- 默认私有:保持 Block Public Access 开启,对外内容用 CloudFront 加 OAC 或 presigned URL 暴露,而不是公开 bucket。
- 按前缀设计分层:用日期、来源等前缀组织 key,配合生命周期规则自动转冷、过期,并清理未完成的分片上传。
- 加密与防误删:默认启用 SSE-S3,敏感数据用 SSE-KMS 并收紧 key policy;开启 Versioning 以应对覆盖与误删。
- 保留可观测性:开启访问日志或 CloudTrail data events,用 S3 Storage Lens 看容量与请求分布,避免账单出来才发现异常。
常见问题
S3 能像硬盘一样挂载给 EC2 用吗?
不能原生挂载。S3 是对象存储,通过 HTTP API 读写;低延迟磁盘用 EBS,多实例共享文件系统用 EFS 或 FSx。顺序读写场景可评估 Mountpoint for Amazon S3。
S3、EBS、EFS 怎么选?
需要块设备与低延迟随机读写选 EBS;需要多实例共享的 POSIX 文件系统选 EFS 或 FSx;存文件、备份、静态资源、数据湖用 S3。
写入后立刻读取会读到旧数据吗?
不会。S3 对新建与覆盖写提供强一致性,写入成功后立即可见,列操作同样强一致;跨 Region 复制是异步的,副本 Region 需等复制完成。
bucket 名字为什么要求全局唯一?
bucket 名会出现在访问 URL 中,由所有 AWS 账户与 Region 共享命名空间。创建前需确认未被占用,删除后名字也不一定立即可复用。
如何让别人临时下载一个私有对象?
为该对象生成 presigned URL,有效期设短、只授予 get-object。不要为了临时共享把 bucket 或对象设为公开,链接到期后自动失效。
小文件很多时怎么控制成本?
尽量合并成大对象减少请求数,避免把很小的对象放进 IA 类存储(存在最小计费尺寸与最短存储期),并用生命周期规则管理过期。