外向きの IP アドレスを固定する
ECS の配備が外へ出るときの送信元 IP アドレスを調べ、作り直しても変わらないように保ちます。 社内のファイアウォールや SaaS の IP 許可リストには、このアドレスを登録してもらいます。
| あなたがやること | 起きること |
|---|---|
| NAT ゲートウェイの Elastic IP を調べて、許可リストに登録してもらう | 配備から外への通信は、すべてこのアドレスから出る |
作り直す前に、取得した状態に NatEipAllocationId があるか確かめる |
次の構築が同じアドレスを使う。許可リストを変えずに済む |
稼働中のスタックには NatEipAllocationId を渡さない |
アドレスは保持されたまま、NAT ゲートウェイも置き換わらない |
アドレスを調べる
Section titled “アドレスを調べる”既定の EgressRoute=nat-gateway では、配備はちょうど 1 つのアドレスから外へ出ます。00-network の NAT ゲートウェイに付いた Elastic IP です。
- ワークスペースの git・モデルの API・パッケージの取得も、Control Plane 自身の通信も、すべてこのアドレスを通ります
- スロットと Control Plane のタスクは、パブリック IPv4 のないプライベートサブネットにあります。スロットの起動テンプレートも、パブリック IPv4 を付けません
- VPC エンドポイントは、プライベートのルートテーブルの S3 ゲートウェイエンドポイントだけです。これは自分のアドレスを持たずに AWS の S3 に届きます
EgressRoute=gatewayでは、ワークスペースはゲートウェイのアドレスから出ます。両方を登録してもらいます(外向きの通信をゲートウェイで制御する)
alloc=$(aws cloudformation describe-stacks --stack-name af-ecs-network \ --query "Stacks[0].Outputs[?OutputKey=='NatEipAllocationId'].OutputValue" --output text)aws ec2 describe-addresses --allocation-ids "$alloc" --query "Addresses[0].PublicIp" --output text作り直してもアドレスを保つ
Section titled “作り直してもアドレスを保つ”NatEip には DeletionPolicy: Retain と UpdateReplacePolicy: Retain が付いています。teardown.sh で全部を消しても、スタックの操作でアドレスが解放されることはありません。次の構築では、その割り当て ID を渡します。
この ID は capture-env.sh が引き継ぎます。
- スタックが自分で EIP を作ったとき、
NatEipAllocationIdは空のパラメータで、本当の ID はスタックの出力にしかありません capture-env.shは、取得した値が空のパラメータと同じ名前の出力があれば、その値を使います- そのため ID はほかのパラメータと同じように取得した状態に入り、次の構築で渡されます
古い取得結果から構築する前に確かめる
Section titled “古い取得結果から構築する前に確かめる”この規則より前に取った取得結果には NatEipAllocationId の行がありません。そのまま構築すると、2 つめの EIP が作られます。
- パラメータが空なので EIP がもう一度作られ、保持していたアドレスは使われないまま残ります
- 取引先が登録したアドレスが、知らないうちに変わります
- 使われない EIP は 1 つあたり月 $3.6 ほどかかります
構築する前に、取得した状態を見ます。
grep '^NatEipAllocationId=' ~/.config/agent-fleet/deploy/<p>.<r>/params/00-network行がないか空のときは、配備の状態で対処が変わります。
| 配備 | 対処 |
|---|---|
| まだ動いている | 取得し直す(capture-env.sh --force)か、出力を読んで行を手で書く |
| すでに撤去した | 保持されたアドレスはアカウントに残っている。新しく割り当てさせず、タグで探して渡す |
出力を読んで手で書くとき:
aws cloudformation describe-stacks --stack-name af-ecs-network \ --query "Stacks[0].Outputs[?OutputKey=='NatEipAllocationId'].OutputValue" --output text# -> NatEipAllocationId=eipalloc-... を ~/.config/agent-fleet/deploy/<p>.<r>/params/00-network に書く撤去したあとにタグで探すとき:
aws ec2 describe-addresses --output text --query \ "Addresses[].[AllocationId,PublicIp,AssociationId,Tags[?Key=='Name']|[0].Value]"# 名前が af-<stack>-nat-eip で association id のない行が、保持されたアドレス見つけた ID を、新しく構築するときに渡します。
aws cloudformation deploy --stack-name af-ecs-network --template-file cfn/00-network.yaml \ --capabilities CAPABILITY_IAM --parameter-overrides NatEipAllocationId=eipalloc-...稼働中のスタックにはパラメータを渡さない
Section titled “稼働中のスタックにはパラメータを渡さない”- CloudFormation は、
AllocationIdの出どころが!GetAtt NatEip.AllocationIdからパラメータに変わったと見て、NAT ゲートウェイの置き換え(ReplaceAndDelete)を計画します - 同じ割り当てが古い NAT ゲートウェイに付いたままなので、外への通信が止まり、作成も成功しません。稼働中の配備で、変更セットを実行せずに確かめた結果です
- このパラメータは、新しく構築するときのためのものです。動いているスタックでは、保持だけでアドレスは守られます
NAT ゲートウェイは 1 つの AZ にしかない
Section titled “NAT ゲートウェイは 1 つの AZ にしかない”00-network は、費用を抑えるため、NAT ゲートウェイを最初の AZ に 1 つだけ置きます。
- その AZ が落ちると、2 つめの AZ のワークスペースも含め、すべてのワークスペースが外へ出られなくなります
- AZ ごとに NAT を置けば直りますが、配備は2 つのアドレスから出るようになります
- 許可リストに登録してもらう前に決めておきます。付いていない EIP は月 $3.6 ほどなので、2 つめを先に割り当てて両方を登録しておくのが、安く選択肢を残す方法です
- 外向きの通信をゲートウェイで制御する
- スクリプトで構築・一時停止・撤去する:
capture-env.shとstandup.sh - 撤去する:撤去しても残るもの
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/aws-ecs/egress-ip/index.md を読んで