AWS EMR 使用Instance Profile 限制 S3 访问权限
导出 PDF
浅色排版、带版权水印,可在打印窗口另存为 PDF
AWS EMR 可以指定 EC2 instance profile 来限制 EMR 节点中的程序的权限.
注意: 这里说的是
EC2 instance profile, 不是EMR role, 这两个容易混淆. 但可以肯定的是:
- 如果想限制在 EMR 集群中的 EC2 节点上运行的程序的 AWS 相关资源的权限, 应该使用
EC2 instance profile
EC2 instance profile
而今天遇到这样一个需求: 一个 EMR 集群需要仅仅开放对 hive 的 test 数据库的读写权限. 而 test 数据库的数据存储在 s3 上.
按照以往的经验, 直接写了一个 IAM policy:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:*"
],
"Resource": [
"arn:aws-cn:s3:::test-bucket/hive/test.db/*",
"arn:aws-cn:s3:::test-bucket/hive/test.db"
]
}
]
}
其中 s3://test-bucket/hive/test.db 就是 test db 在 hive 中的 location. 上线测试, aws cli 访问 s3 一切正常. 但 hive 任务执行类似
推荐
推荐服务 · 一站式办理
由云市场认证服务商承接,下单后按需沟通交付。
腾讯云市场
NGINX / APACHE / TOMCAT / IIS 证书配置 · SSL证书安装
各服务器环境 SSL 证书安装配置,教程看不懂?直接交给服务商办。
查看服务 →
阿里云市场
代购 SSL 证书 · DigiCert / GeoTrust / RapidSSL 单域名 DV
单域名 DV 证书代购,主流品牌可选,比官网渠道更省。
查看服务 →
阿里云市场
Wildcard 通配符 SSL 证书安装部署续费申请
一张通配符保护全部一级子域名,含安装部署与续费服务。
查看服务 →
腾讯云市场
SSL证书申请+配置 · 宝塔/WDCP 面板全站加密(OV 企业单域名等规格)
付费证书云上签发、一键部署到宝塔/WDCP 站点,OV 企业单域名可选。
查看服务 →
阿里云市场
企业级 EV / OV 证书与代码、驱动签名服务
SSL EV/OV 证书 + 软件代码签名、驱动签名,企业级一站式办理。
查看服务 →
阿里云市场
GlobalSign 代码签名证书服务(OV/EV 企业版)
对 exe/dll/驱动等软件做数字签名,消除「未知发布者」警告,企业版含申请代办。
查看服务 →
阿里云市场
HTTPS证书申请 · SSL证书安装部署 · 证书续费
证书过期、部署报错、需要续期?申请+部署+续费一站式办理。
查看服务 →
云市场服务直达
阿里云市场
- Wildcard 通配符 SSL 证书安装部署续费申请
- SSL证书申请 · SSL证书购买 · SSL证书安装配置
- 代购 SSL 证书 · DigiCert / GeoTrust / RapidSSL 单域名与通配符
腾讯云市场
华为云商店
CREATE TABLE test.test_table AS SELECT * FROM test.src_table;
就直接报错, 说 s3 访问失败. 到处检查无果, 最后通过报错信息中的 s3 Request ID 看出端倪: API 请求访问的 s3 路径居然是 s3://test-bucket/hive/test.db_$folder$, 简直泪奔. 居然是 hive 在访问过程中创建了临时路径的缘故.
修改了 IAM policy file, 如下:
{
"Version": "2012-10-17",
"Statement": [
{
"Effect": "Allow",
"Action": [
"s3:*"
],
"Resource": [
"arn:aws-cn:s3:::test-bucket/hive/test.db/*",
"arn:aws-cn:s3:::test-bucket/hive/test.db",
"arn:aws-cn:s3:::test-bucket/hive/test.db_$folder$/*",
"arn:aws-cn:s3:::test-bucket/hive/test.db_$folder$"
]
}
]
}
执行 SQL 全部成功, 只不过今后相关的 policy file 都会变成这种乱七八糟的样子.
总结
- 限制 EMR 集群权限是非常必要的. 但由于 EMR 不支持在同一集群中实现不同用户对 s3 的权限控制, 只有通过开启不同的 EMR 集群来实现.
- 账户默认的
EMR_EC2_DefaultRole权限是针对所有 s3 资源 开启了s3:*的权限, 非常不建议使用 - AWS IAM 设计的非常好. 可以通过 policy 的组合实现复用.
— EOF —