www.awsgood.com
將最近帮一台湾客户在 AWS 上的 NAT Instance 換成 NAT Gateway,事前評估、驗證、溝通與執行紀錄。
m3.medium,擔心 Network Throughput 不夠。400Mbps 的頻寬,當整個 VPC 對外流量一大的時候,會造成 bottleneck。我們使用的 NAT instance type 是 m3.medium,從 CloudWatch 就可以發現 Network Out 已經達到頂點,實際使用狀況大約在 280Mpbs,如下圖:
其他單位測試 m3.medium 的數據參考,如下圖:
Source: Benchmarking: Network Performance of m1 and m3 instances using iperf tool
以官方這篇比較為參考:Comparison of NAT Instances and NAT Gateways
有好有壞,以 NAT Gateway 來看,比較如下:
優點:
缺點:
成本:
切換前的網路架構,圖中 ap-northeast-1c 裡的 NAT Instance 就是現況,也就是不管是在 ap-northeast-1a or 1c 對外的流量,全部都會走 NAT Instance。
註:實際上圖中的 public and private subnets 都有數十個。主要是規劃給不同 layers 使用的,像是 DB, Web 分屬不同 layers
預計切換後的網路架構:
切換過程必要的考慮因素:不能有 Downtime。基於這樣的考量,以及現況網路架構的複雜程度,規劃三個步驟。剛開始所有的 traffic 都走 Route Table A,接下來步驟:
步棸ㄧ:建立另一張 Route Table B 和新的 NAT Gateway B,並且讓往 0.0.0.0/0 透過 NAT Gateway B 出去。
步驟二:讓所有 Subnets 的 traffic 都走 Route Table B,維持沒有 Downtime
步驟三:
NAT Gateway A,並且 attach 原本的 EIPRoute Table A 上的 0.0.0.0/0,透過 NAT Gateway ARoute Table A圖檔來源:VPC Route Table
原本使用 EC2 Instance 做 NAT 有 CloudWatch 提供的 Network In/Out 可以知道資料流量,但是 NAT Gateway 並沒有 (目前) 提供相關資訊,所以我用 VPC Flow Log + CloudWatch Log + CloudWatch Dashboard 來解這問題。
基本步驟如下:
CloudWatch Log 後,找到 Log Groups,點選上面藍色的 Create Metric FilterDefine Logs Metric Filter 頁面, 設定 Filter Pattern ,如下:
[version, accountid, interfaceid, srcaddr=<ENI-Private-IP>, dstaddr, srcport, dstport, protocol, packets, bytes, start, end, action, log_status]Test Pattern 是否有找到對應的資料Create Metric Filter and Assign a Metric 頁面的 Metric Details,指定以下:
NAT-GatewayNetwork-Out_Bytes$bytes以上設定好之後,在 CloudWatch Metric 的 Custom Metric 就會出現新的 Metric Namespace,這邊的例子叫做 NAT-Gateway,點進去就可以找到 Metric Name,然後顯示成圖,也可以放在 CloudWatch Dashboard 上,下圖是我做的例子。
如果沒有圖出來,檢查 Graphed metric 裡的 statistic 與 period 設定。
主要要確認 切換流程 的過程中,Subnet 裡的機器對外的 traffic 是不會受到影響的,也就是如果有些應用是會主動去打外面的服務,像是 兩階段驗證、別人家的認證服務 (SSO)、取資料 … 等,就會受到影響。
因為 VPC 裡 subnets 數量非常的多、且上面跑的服務很複雜,沒有人知道切換過程是否會有什麼狀況。
這個實驗是模擬切換 Route Table 過程,持續性的連線從 VPC 裡面連出去外面,是否會受到影響?測試驗證點有兩個:
持續傳輸或者送 ICMP,過程中切換 Route Table 不會受到影響。
這個實驗可以確認:VPC Route Table 的狀態是持續性的 (Stateful),跟 Security Group 一樣,不同於 Network ACLs。SGs 跟 Network ACLs 參見 Security Groups and Network ACLs 說明。
Subnets 裡有哪一些機器,他們的用途,然後跟相關單位確認,是否有對外連線,連線單位是哪裡?這步驟最辛苦。
溝通協調這部分,是整個切換過程中,最花費心力的。
ENI 找到 NAT Gateway 的,然後針對他建立 Flow Log