QQ咨询
阿里旺旺
#skype#
Posted in: AWS EMR Spark on yarn 使用记录, AWS EMR上搭建HBase环境
AWS EMR Spark on yarn 使用记录
1. Dynamic Resource Allocation在AWS EMR Spark中已经默认配置好了。因此–num-executors只是job启动时的一个初始值，cluster会根据可用资源情况再自动分配。不要设置成太大，因为如果初始申请的资源超过现有资源，就会提交job失败。
2. CPU的申请和使用：yarn是hadoop 2的资源管理框架。在默认配置下，它和mesos （hadoop V1提供的资源管理框架）一样，只将内存作为可...