1. Dynamic Resource Allocation在AWS EMR Spark中已经默认配置好了。因此–num-executors只是job启动时的一个初始值，cluster会根据可用资源情况再自动分配。不要设置成太大，因为如果初始申请的资源超过现有资源，就会提交job失败。   2. CPU的申请和使用：yarn是hadoop 2的资源管理框架。在默认配置下，它和mesos （hadoop V1提供的资源管理框架）一样，只将内存作为可...

Continue reading »

AWS EMR 可以指定 EC2 instance profile 来限制 EMR 节点中的程序的权限. 注意: 这里说的是 EC2 instance profile, 不是 EMR role, 这两个容易混淆. 但可以肯定的是: 如果想限制在 EMR 集群中的 EC2 节点上运行的程序的 AWS 相关资源的权限, 应该使用 EC2 instance profile EC2 instance profile 而今天遇到这样一个需求: 一个 EMR 集群需要仅仅开放对 hive 的 test 数据库的读写...

Continue reading »

0. 概述 AWS的EMR服务为客户提供的托管 Hadoop 框架可以让您轻松、快 速、经济高效地在多个动态可扩展的 Amazon EC2 实例之间分发和处理 大量数据。您还可以运行其他常用的分发框架（例如 Amazon EMR 中的 Spark 和 Presto）与其他 AWS 数据存储服务（例如 Amazon S3 和 靠地处理大数据使用案例，包括日志分析、Web 索引、数据仓库、机器 学习、财务分析、科学模拟和生物信息。 通过EMR...

Continue reading »

Nginx碰过好几次了，一次比一次熟，了解的配置也越来越多。跨域问题经常会碰到，这次尝试通过Nginx来解决跨域问题。 关于跨域，SegmentFault里面有篇详解JS跨域的文章。 实践部分 以下是自己的情况： A: 前端Web应用，访问地址是http://yunwei123.com:33867 B: 服务器，提供api服务，地址是https://yunwei123.com:8383 因为这里A和B的协议和端口都不同，所以需要在后端进行允许跨域的配...

Continue reading »

前言 公司在 AWS 上通过 MarketPlace 里 WordPress( powered by BitNami ) 的镜像弄了个主页，现在要给它加 SSL 认证，可以通过 Let’s Encrypt 来完成认证和到期后的自动更新。 通用办法 一般服务器上网站的 SSL 认证通过 Certbot 的官方教程就可以完成。 基于 Bitnami 的 SSL 认证 先基于 Bitnami Doc 中 how-to-install-the-certbot-client-for-the-lets-encrypt-certificate-author...

Continue reading »