面向中文开发者的 AWS 实战知识库 代维服务
上云咨询

SageMaker(SageMaker)服务指南:入门 · 配置 · 排错 · 代运维 · 部署

快速信息

它是什么

SageMaker 是 AWS 的托管机器学习平台,覆盖从数据准备、特征管理、训练、调参、模型登记到在线与离线推理的完整链路。它本身并不是一个单独的运行时,而是一组围绕「作业(job)」和「端点(endpoint)」组织的托管能力:训练、调参、批量转换等都以一次性作业的形式在你指定的实例上运行,实时推理则以常驻端点形式运行。

在架构中,SageMaker 位于数据层与业务层之间。训练数据通常放在 S3,容器镜像放在 ECR,凭证由 IAM 执行角色提供,日志与指标写入 CloudWatch,网络可选放进你自己的 VPC。它不负责数据湖治理(那是 Glue、Lake Formation 的职责),也不负责通用容器编排(那是 EKS 的职责);它把「起一批 GPU 实例跑完就释放」和「模型常驻并提供 HTTPS 接口」这两件事产品化了。

与自建方案相比,SageMaker 的边界很清楚:它管理基础设施生命周期与作业调度,但模型代码、容器镜像、依赖环境仍由你负责。用 EC2 自建训练集群、用 EKS 自建推理服务同样可行,SageMaker 的价值在于把分布式训练、超参搜索、模型注册、灰度发布、模型监控这些标准环节做成托管组件,减少自建运维。

核心概念

  • Training Job:一次性作业,指定实例类型与数量、输入数据通道和输出 S3 路径,作业结束后实例即释放。
  • Model / Endpoint Config / Endpoint:三层结构,Model 指向镜像与模型文件,Endpoint Config 指定实例与变体权重,Endpoint 是对外可调用的 HTTPS 服务。
  • Execution Role:IAM 角色,SageMaker 作业用它访问 S3、ECR、CloudWatch,权限不足是最常见的失败原因。
  • Container:内置算法镜像或自带镜像,需实现训练入口以及推理所需的 /ping 与 /invocations 接口。
  • Pipeline:把数据处理、训练、评估、注册、部署串成可重复执行的 DAG,适合持续训练。

典型场景

  • 批量离线打分:用 Batch Transform 对 S3 上的大批量数据推理,无需常驻端点,按作业时长计费通常更省。
  • 实时推荐或风控接口:用实时 Endpoint 提供低延迟 HTTPS 推理,配合 Application Auto Scaling 应对流量波动。
  • 实验期快速试模型:用 Studio 的 notebook 加训练作业,在不长期占用实例的前提下跑 GPU 训练。
  • 持续训练与灰度上线:用 Pipeline 自动重训,结合 Model Registry 与多 variant 端点做灰度发布。

计费与成本要点

  • 训练按实例时长计费,从作业启动到结束都算;建议先用小实例调通脚本,再放大到多机多卡。
  • 托管端点按实例运行时长计费,只要端点处于 InService 就在计费;建议配置 Auto Scaling,或在无请求时段删除端点。
  • 支持 Managed Spot Training,用 Spot 容量训练并从 S3 上的 checkpoint 恢复,成本通常显著低于按需。
  • 存储与流量另计:Notebook 的 EBS 卷、S3 存储与请求、跨 AZ 或跨区域传输都可能产生费用,以官方文档与账单为准。

上手步骤

  1. 准备 S3 桶并按训练、验证划分前缀,上传数据;用 aws s3 ls s3://你的桶/前缀/ 确认对象可见。
  2. 创建执行角色,授予 S3 读写、ECR 拉取与 CloudWatch Logs 写入权限;在角色详情确认信任策略允许 sagemaker.amazonaws.com 扮演。
  3. 在 Studio 中写训练脚本,先用 ml.m5.large 之类的小实例跑一份小数据;验证标准是日志末尾出现模型保存记录、S3 输出前缀下出现 model.tar.gz。
  4. 提交训练作业,在控制台 Training jobs 页面观察状态从 InProgress 变为 Completed,并点开日志确认没有 OOM 或数据读取报错。
  5. 创建 Model,再创建 Endpoint Config 与 Endpoint;用 aws sagemaker-runtime invoke-endpoint 验证返回 200 且响应体符合预期。
  6. 为端点配置扩缩容策略或删除端点;查看 CloudWatch 的 Invocations、ModelLatency 指标是否已产生数据点。

常见问题与排查

训练作业很快失败,报 AccessDenied

原因:执行角色缺少对应 S3 前缀或 ECR 镜像的权限,或桶策略、KMS 密钥策略拒绝了该角色。

处理:在作业详情的 Failure reason 里找到具体资源 ARN 补齐权限;若使用 KMS 加密的 S3,还需授予 kms:Decrypt、kms:GenerateDataKey。

端点创建成功但调用返回 5xx

原因:容器内模型加载异常、健康检查未通过,或推理代码对输入格式判断有误。

处理:查看该端点的 CloudWatch 日志组,确认 /ping 正常返回;在本地用同一镜像复现推理,修正后重新部署。

训练启动阶段长时间停在下载数据

原因:数据量大且使用 File 模式从 S3 全量拷贝到实例磁盘,启动开销大。

处理:改用 Pipe 模式流式读取或 Fast File 模式,或把数据集挂到 FSx for Lustre;同时检查小文件是否拆得过碎。

GPU 训练报 CUDA out of memory

原因:batch size 或序列长度超过显存,或分布式配置下每个进程仍按单卡显存设定。

处理:调小 batch size 并配合梯度累积、启用混合精度,或调整 SageMaker 分布式训练库的分片策略。

最佳实践

  • 把训练脚本容器化并固定依赖版本,本地能跑通再上云,减少作业反复启动的调试成本。
  • 数据与模型产物统一放 S3 并开启版本管理,训练输入使用明确的 S3 URI,便于复现。
  • 生产端点开启 Auto Scaling 与 CloudWatch 告警,并定期用 Model Monitor 检查数据漂移。
  • 用 Pipeline 加 Model Registry 固化训练到部署的流程,避免手工在控制台点击造成环境不一致。

常见问题

SageMaker 和自己在 EC2 上跑训练有什么区别?

SageMaker 托管实例生命周期、日志与产物上传,作业结束即释放资源;自建需要自己处理调度、扩缩容与监控,灵活度更高但运维成本更大。

SageMaker 一定要用 Studio 吗?

不是。Studio 只是 Web IDE,训练作业、端点、Pipeline 都可以用 AWS CLI、SDK 或 CloudFormation 创建,很多团队只用 Studio 做探索。

端点空闲时还会收费吗?

会。实时端点只要处于 InService 就按实例时长计费,与是否有请求无关;无流量时可删除端点,或改用 Serverless Inference、Batch Transform。

训练可以用 Spot 省成本吗?

可以。Managed Spot Training 用 Spot 容量训练,中断后从上次 checkpoint 恢复,建议训练脚本定期把 checkpoint 写入 S3。

模型可以完全走私有网络吗?

可以。把 SageMaker 配置在 VPC 内并关闭直接互联网访问,通过 VPC Endpoint 访问 S3、ECR 与 CloudWatch,需自行准备 NAT 或端点。

支持自带框架和镜像吗?

支持。可以使用自有容器镜像,只要实现训练入口和推理所需的 HTTP 接口;镜像放在 ECR 并由执行角色授权拉取。