SageMaker(SageMaker)服务指南:入门 · 配置 · 排错 · 代运维 · 部署
快速信息
- 服务类别:AI 与机器学习
- AWS 官方文档
它是什么
SageMaker 是 AWS 的托管机器学习平台,覆盖从数据准备、特征管理、训练、调参、模型登记到在线与离线推理的完整链路。它本身并不是一个单独的运行时,而是一组围绕「作业(job)」和「端点(endpoint)」组织的托管能力:训练、调参、批量转换等都以一次性作业的形式在你指定的实例上运行,实时推理则以常驻端点形式运行。
在架构中,SageMaker 位于数据层与业务层之间。训练数据通常放在 S3,容器镜像放在 ECR,凭证由 IAM 执行角色提供,日志与指标写入 CloudWatch,网络可选放进你自己的 VPC。它不负责数据湖治理(那是 Glue、Lake Formation 的职责),也不负责通用容器编排(那是 EKS 的职责);它把「起一批 GPU 实例跑完就释放」和「模型常驻并提供 HTTPS 接口」这两件事产品化了。
与自建方案相比,SageMaker 的边界很清楚:它管理基础设施生命周期与作业调度,但模型代码、容器镜像、依赖环境仍由你负责。用 EC2 自建训练集群、用 EKS 自建推理服务同样可行,SageMaker 的价值在于把分布式训练、超参搜索、模型注册、灰度发布、模型监控这些标准环节做成托管组件,减少自建运维。
核心概念
- Training Job:一次性作业,指定实例类型与数量、输入数据通道和输出 S3 路径,作业结束后实例即释放。
- Model / Endpoint Config / Endpoint:三层结构,Model 指向镜像与模型文件,Endpoint Config 指定实例与变体权重,Endpoint 是对外可调用的 HTTPS 服务。
- Execution Role:IAM 角色,SageMaker 作业用它访问 S3、ECR、CloudWatch,权限不足是最常见的失败原因。
- Container:内置算法镜像或自带镜像,需实现训练入口以及推理所需的
/ping与/invocations接口。 - Pipeline:把数据处理、训练、评估、注册、部署串成可重复执行的 DAG,适合持续训练。
典型场景
- 批量离线打分:用 Batch Transform 对 S3 上的大批量数据推理,无需常驻端点,按作业时长计费通常更省。
- 实时推荐或风控接口:用实时 Endpoint 提供低延迟 HTTPS 推理,配合 Application Auto Scaling 应对流量波动。
- 实验期快速试模型:用 Studio 的 notebook 加训练作业,在不长期占用实例的前提下跑 GPU 训练。
- 持续训练与灰度上线:用 Pipeline 自动重训,结合 Model Registry 与多 variant 端点做灰度发布。
计费与成本要点
- 训练按实例时长计费,从作业启动到结束都算;建议先用小实例调通脚本,再放大到多机多卡。
- 托管端点按实例运行时长计费,只要端点处于 InService 就在计费;建议配置 Auto Scaling,或在无请求时段删除端点。
- 支持 Managed Spot Training,用 Spot 容量训练并从 S3 上的 checkpoint 恢复,成本通常显著低于按需。
- 存储与流量另计:Notebook 的 EBS 卷、S3 存储与请求、跨 AZ 或跨区域传输都可能产生费用,以官方文档与账单为准。
上手步骤
- 准备 S3 桶并按训练、验证划分前缀,上传数据;用
aws s3 ls s3://你的桶/前缀/确认对象可见。 - 创建执行角色,授予 S3 读写、ECR 拉取与 CloudWatch Logs 写入权限;在角色详情确认信任策略允许
sagemaker.amazonaws.com扮演。 - 在 Studio 中写训练脚本,先用
ml.m5.large之类的小实例跑一份小数据;验证标准是日志末尾出现模型保存记录、S3 输出前缀下出现model.tar.gz。 - 提交训练作业,在控制台 Training jobs 页面观察状态从 InProgress 变为 Completed,并点开日志确认没有 OOM 或数据读取报错。
- 创建 Model,再创建 Endpoint Config 与 Endpoint;用
aws sagemaker-runtime invoke-endpoint验证返回 200 且响应体符合预期。 - 为端点配置扩缩容策略或删除端点;查看 CloudWatch 的
Invocations、ModelLatency指标是否已产生数据点。
常见问题与排查
训练作业很快失败,报 AccessDenied
原因:执行角色缺少对应 S3 前缀或 ECR 镜像的权限,或桶策略、KMS 密钥策略拒绝了该角色。
处理:在作业详情的 Failure reason 里找到具体资源 ARN 补齐权限;若使用 KMS 加密的 S3,还需授予 kms:Decrypt、kms:GenerateDataKey。
端点创建成功但调用返回 5xx
原因:容器内模型加载异常、健康检查未通过,或推理代码对输入格式判断有误。
处理:查看该端点的 CloudWatch 日志组,确认 /ping 正常返回;在本地用同一镜像复现推理,修正后重新部署。
训练启动阶段长时间停在下载数据
原因:数据量大且使用 File 模式从 S3 全量拷贝到实例磁盘,启动开销大。
处理:改用 Pipe 模式流式读取或 Fast File 模式,或把数据集挂到 FSx for Lustre;同时检查小文件是否拆得过碎。
GPU 训练报 CUDA out of memory
原因:batch size 或序列长度超过显存,或分布式配置下每个进程仍按单卡显存设定。
处理:调小 batch size 并配合梯度累积、启用混合精度,或调整 SageMaker 分布式训练库的分片策略。
最佳实践
- 把训练脚本容器化并固定依赖版本,本地能跑通再上云,减少作业反复启动的调试成本。
- 数据与模型产物统一放 S3 并开启版本管理,训练输入使用明确的 S3 URI,便于复现。
- 生产端点开启 Auto Scaling 与 CloudWatch 告警,并定期用 Model Monitor 检查数据漂移。
- 用 Pipeline 加 Model Registry 固化训练到部署的流程,避免手工在控制台点击造成环境不一致。
常见问题
SageMaker 和自己在 EC2 上跑训练有什么区别?
SageMaker 托管实例生命周期、日志与产物上传,作业结束即释放资源;自建需要自己处理调度、扩缩容与监控,灵活度更高但运维成本更大。
SageMaker 一定要用 Studio 吗?
不是。Studio 只是 Web IDE,训练作业、端点、Pipeline 都可以用 AWS CLI、SDK 或 CloudFormation 创建,很多团队只用 Studio 做探索。
端点空闲时还会收费吗?
会。实时端点只要处于 InService 就按实例时长计费,与是否有请求无关;无流量时可删除端点,或改用 Serverless Inference、Batch Transform。
训练可以用 Spot 省成本吗?
可以。Managed Spot Training 用 Spot 容量训练,中断后从上次 checkpoint 恢复,建议训练脚本定期把 checkpoint 写入 S3。
模型可以完全走私有网络吗?
可以。把 SageMaker 配置在 VPC 内并关闭直接互联网访问,通过 VPC Endpoint 访问 S3、ECR 与 CloudWatch,需自行准备 NAT 或端点。
支持自带框架和镜像吗?
支持。可以使用自有容器镜像,只要实现训练入口和推理所需的 HTTP 接口;镜像放在 ECR 并由执行角色授权拉取。