外向きの通信をゲートウェイで制御する
ECS の配備で、ワークスペースの外向きの通信を egress ゲートウェイに通します。 すべての接続が宛先の名前つきで記録され、許可リストで絞れるようになります。許可リストの運用は 外向きの通信を制御する にあります。
| あなたがやること | 起きること |
|---|---|
| ワークスペース用のアドレスを先に割り当て、許可リストに登録してもらう | 切り替えの前から、接続先の組織がそのアドレスを許可できる |
00-network を 2 回に分けてデプロイし、間に update.sh を実行する(GatewayRouteEnabled=false、続いて true。有効にする) |
ルートがゲートウェイに向く前に Control Plane がトークンを持ち、ワークスペースにプロキシを渡す |
| 管理の「通信」でモードと許可リストを決める | ゲートウェイのエージェントがその方針を Squid に書き、接続を記録して Control Plane に送る |
pause.sh で一時停止する |
ワークスペースが止まり、記録を送り終えてから、ゲートウェイを 0 台にする |
Control Plane・スロットのインスタンス・推論エンジン・ホーム用のタスクは、どちらの経路でも NAT ゲートウェイから出ます。ゲートウェイを通るのはワークスペースだけです。
NAT ゲートウェイとの違い
Section titled “NAT ゲートウェイとの違い”00-network の EgressRoute が、ワークスペースのルートテーブルの既定ルートの行き先を決めます。
nat-gateway(既定) |
gateway |
|
|---|---|---|
| 記録 | なし。管理の「通信」は空のまま | ワークスペースのすべての接続を、名前(SNI / Host)とアドレスで、ワークスペースごとに記録する。「通信」にはホストごとの件数が出る。ワークスペースごとのイベントは GET /api/admin/egress/events(super_admin)で読み、Console には出ない |
| 許可リスト | 効かない | log-only か enforce(リストにない名前を拒否) |
| 時間あたりの費用 | NAT ゲートウェイ(リージョンにより約 $0.045〜0.062/時) | NAT ゲートウェイ(Control Plane とホストが使う)+ゲートウェイのインスタンス(t3.small で約 $0.02〜0.03/時)+その Elastic IP($0.005/時) |
| GB あたりの費用 | ワークスペースの全通信(S3 も含む)に NAT のデータ処理料($0.045〜0.062/GB) | ワークスペースの通信にはかからない(通常のデータ転送料だけ。同じリージョンの S3 は無料) |
| 運用 | AWS が管理する | 動かすインスタンスが 1 台増える。AMI の更新で置き換わり、そのあいだ数分ワークスペースが外へ出られない |
| 可用性 | AWS の管理で、1 つの AZ | 1 つの AZ に 1 台。1 台の Auto Scaling グループが置き換える |
| HTTP 以外(SSH の git、ほかのポート) | 通る | enforce では tcp: のエントリで名前を挙げた宛先だけ。ほかは落として記録する。log-only(既定のモード)では通して、遮断候補として記録する |
| ワークスペースの送信元アドレス | NatEip |
ゲートウェイ自身のアドレス。許可リストに 2 つめとして登録する |
ゲートウェイの費用は、管理の「クラウド費用」で見られます。インスタンス、ルートボリューム、ネットワークインターフェース(2 本)、00-network が作る Elastic IP に af-role: egress-gateway が付き、「何のための費用か」に「egress ゲートウェイ」の行として出ます。NAT ゲートウェイとそのアドレスには付けません。Control Plane とホストも使うためです。タグが効くのは付けた日からで、それ以前の費用は「役割タグなし」のままです。渡した Elastic IP はスタックがタグを付けません。その行に入れたいときは、自分で af-role: egress-gateway を付けてください。外向きのデータ転送料はリソース ID なしで請求されるため、この行に入らず「役割タグなし」に残ることがあります。
このタグを足す最初のデプロイでは、起動テンプレートが変わるため、ゲートウェイのインスタンスが置き換わります(インスタンスとそのボリュームのタグは起動時にしか付かないためです)。AMI の更新と同じく、新しいインスタンスがインターフェースを付け直して最初の方針を受け取るまでの数分、ワークスペースが外へ出られません。デプロイを分ける必要はありません。インターフェースとトークンは残ります。
ゲートウェイの構成
Section titled “ゲートウェイの構成”PublicSubnet0に、AL2023 のインスタンス 1 台の Auto Scaling グループを置きます- インスタンスは起動時に、スタックが持つネットワークインターフェース
GatewayEniを付けます。ワークスペースのルートテーブルはこれを指し、その Elastic IP(GatewayEip)がワークスペースの送信元アドレス、プライベートアドレスが明示プロキシ(EgressProxyAddr、:3128)になります - 置き換わったインスタンスも同じインターフェースを付けるので、ルート・プロキシのアドレス・送信元アドレスは動きません
- Squid が、ワークスペースのサブネットからのポート 80 をインターセプトし、明示プロキシも受けます。インターセプトした 443 は
af-cp egress-relayが受け、ワークスペースが接続しようとしたアドレスへの CONNECT として Squid に渡します。ほかの TCP はaf-cp egress-relay --mode tcpが受けます - 何も転送しません(
ip_forward=0) af-cp egress-agent(Control Plane のイメージからコピーしたバイナリ)が、ユーザーsquidとして動きます。Control Plane の方針から Squid の許可とモードのファイルを書き、ログを/internal/egressに送ります。認証には、スタックが Secrets Manager に作るAF_EGRESS_TOKENを使います- Control Plane は
AF_EGRESS_PROXY_ADDRとAF_EGRESS_TOKENを受け取ります(30-ingressのEgressProxyAddr/EgressTokenSecretArn)。Fargate とecs-ec2のワークスペースのタスク定義にプロキシの変数が入り、NO_PROXYにはタスクロールの認証情報のエンドポイント(169.254.170.2)、インスタンスメタデータ(169.254.169.254)、Control Plane の内部ホストが入ります - トークンはワークスペースには届きません。エージェントの認証情報です
HTTP 以外の TCP を通す
Section titled “HTTP 以外の TCP を通す”SSH の git やデータベースへの接続です。GatewaySg はワークスペースのサブネットからの TCP をすべて受け、通すかどうかは nftables と中継が決めます。
| モード | 起きること |
|---|---|
| enforce | 管理者が tcp: のエントリを足すまで、HTTP(S) 以外は出ない。名前のない宛先は落として記録する |
| log-only(既定のモード) | どのポートも通し、遮断候補(would-deny)として記録する。enforce に切り替えるまで何も閉じない |
- エントリは管理の「通信」で足すか、メンバーの申請を管理者が承認します。例:
tcp:git.example.com:22、tcp:db.example.com:1433 - クライアントを別のポートへ向けるサービスには、範囲
tcp:db.example.com:11000-11999を使えます。最大 2048 ポートで、ホストは完全一致か IPv4 アドレスです。53・80・443・853・3128 は指定できません - エージェントは 30 秒ごとにホストを名前解決します。中継は、過去 15 分以内に解決したアドレスへの、エントリのポート宛ての接続を通します
- どの接続も、アドレスとポートで記録され、ほかと同じようにワークスペースに結び付けられます(ポートも宛先の一部です)
- VPC・リンクローカル(メタデータサービス)・ループバック・このホスト・ポート 53 / 853 は、どちらのモードでも拒否します
- UDP と ICMP は、セキュリティグループで落とし、記録しません
- 切り替えの前に、宛先側のファイアウォールで、ゲートウェイの Elastic IP(ワークスペースの送信元アドレス)をそのポートで通してもらいます。 クライアントを別のポート範囲へ向けるマネージドデータベースでは、その範囲もファイアウォールで通してもらい、エントリにも含めます
- 中継のログはインスタンスの
/var/log/squid/af-tcp.log、サービスはjournalctl -u af-egress-relay-tcpです - この経路は、実機の配備ではまだ動かしていません
拒否された TCP も、最初はつながったように見える
Section titled “拒否された TCP も、最初はつながったように見える”インターセプトは中継が判断する前に起きます。そのため中継は、ワークスペースの接続をいったん受けて元の宛先(SO_ORIGINAL_DST)を読み、そのあとで外へはつながずにソケットを閉じて拒否します。
- ワークスペース側のハンドシェイクは終わっています。
nc -z host portやただのconnect()は成功します - そのあとの読み書きが失敗します(EOF か、
Connection reset by peerなどのリセット)。どちらになるかはタイミングと未読のデータによります。最初の小さな書き込みは手元では成功することもあります - 「つながった」は「許可された」の証拠になりません。中継のログ
af-tcp.logで確かめます
判断を記録できた接続は、ログに <verdict> <entry> で終わる 1 行として残ります。
| verdict | 意味 |
|---|---|
deny |
拒否。enforce では tcp: のエントリにない宛先。どちらのモードでも、常に塞いでいる宛先(VPC・リンクローカル・ループバック・このホスト・ポート 53 / 853 など)と、方針をまだ読み込んでいないあいだのすべての宛先 |
would-deny |
log-only が通した接続 |
deny-cap |
中継の接続数の上限で拒否した接続 |
admit |
許可した接続 |
- 元の宛先を読めなかったときや、ログを書けなかったときは、行を残しません
- 管理画面のイベント(
GET /api/admin/egress/events、「通信」)は、Control Plane がこのログから非同期に作るものです。同じ行ではありません
ゲートウェイの input チェーン
Section titled “ゲートウェイの input チェーン”ゲートウェイで nft list ruleset を実行すると chain input { ... policy accept; } と出ますが、インスタンスが開いているわけではありません。
inputチェーン(/etc/af-egress/nft.conf、テーブルinet af_egress)は、ワークスペースのサブネットからゲートウェイのインターフェースに届くパケットのうち、確立済み・関連の通信、preroutingチェーンが向け直した通信(ct status dnat)、TCP 3128(明示プロキシ)だけを受けます- それ以外は
af-egress-input-dropの接頭辞でログに残し(1 秒に 10 件まで。journalctl -kで読む)、最後のdropで落とします - どのルールもワークスペースのサブネットからの送信元にだけ当たるので、
policy acceptはそれ以外(インスタンス自身や VPC の通信)に効きます forwardチェーンはpolicy dropで、ip_forwardは 0 です。ゲートウェイを経由して何かがルーティングされることはありません
既存のスタックは、この手順を踏むまで nat-gateway のままです。先にワークスペース用のアドレスを割り当てて、許可リストに登録してもらいます(アドレスを 2 つ登録する)。
切り替えは、次の順の 5 段階です。Control Plane が、ワークスペースの通信をゲートウェイに通す前に、ゲートウェイのトークンを持っている必要があるためです。トークンは 00-network が作りますが、Control Plane が受け取るのは update.sh を実行したあと(新しいタスクが立ち上がるまで約 90 秒)です。それより先にゲートウェイが通信を受けると、方針の取得がすべて 401 になって閉じたままになり、log-only でもすべてのワークスペースが外へ出られなくなります。
-
ワークスペースのルートを NAT ゲートウェイに残したまま、ゲートウェイを作ります
ターミナルウィンドウ aws cloudformation deploy --stack-name af-ecs-network --template-file cfn/00-network.yaml \--capabilities CAPABILITY_IAM --parameter-overrides EgressRoute=gateway GatewayRouteEnabled=false \GatewayEipAllocationId=eipalloc-... GatewayEipAddress=<its public address> -
Control Plane にトークンを、ゲートウェイに設定を渡します
ターミナルウィンドウ VERSION=<v> ./update.sh --profile <p> --region <r> # 20-platform(トークンの読み取り)と 30-ingressここまで、動いているワークスペースには影響しません。手順 4 が終わるまで、ワークスペースを起動・再起動しないでください。タスク定義にプロキシが入るのに、ゲートウェイはまだすべてを拒否するためです。
GatewayRouteEnabledがfalseのあいだ、update.shは最後にNEXT:の行を出します。 -
ゲートウェイが最初の方針を適用するまで待ちます。インスタンスで
journalctl -u af-egress-agentにpolicy appliedが出ます(インスタンスへは ゲートウェイが動いているか確かめる のとおり SSM で入ります。/var/log/af-egress-gateway.logはインストールの手順の記録です) -
ワークスペースをゲートウェイに移します
ターミナルウィンドウ aws cloudformation deploy --stack-name af-ecs-network --template-file cfn/00-network.yaml \--capabilities CAPABILITY_IAM --parameter-overrides GatewayRouteEnabled=true -
動いているワークスペースは、次の起動でプロキシの変数を受け取ります。それまでは、通信はインターセプトされて通ります
GatewayRouteEnabled の既定は true で、これは従来の 1 回のデプロイで切り替える方法です。今も動きますが、上の遮断が起きます。ルートがすでにゲートウェイを向いているのに 30-ingress にトークンが無いときは、update.sh が警告します。ゲートウェイを作り直すときも、同じ分割が要ります。GatewayEni が新しくなると(PublicSubnet0 を置き換えたとき、またはゲートウェイを一度外してまた付けたとき)、トークンの名前にインターフェースの ID が入っているため、トークンも新しくなります。そのデプロイで GatewayRouteEnabled=false を指定し、手順 2〜4 を行ってください。インスタンスの置き換えや新しい AMI では、インターフェースもトークンも変わらないので、何も要りません。
GatewayEip* の 2 つのパラメータを渡さないと、スタックが自分でアドレスを割り当てます(保持もします)。その場合、アドレスがわかるのは、ワークスペースがすでにそのアドレスから外へ出始めたあとです。
ルートが GatewayEni に向いたあとのワークスペースの通信は次のとおりです。分割した手順なら、手順 4 の時点で最初の 2 行はもう過ぎています。1 回のデプロイで切り替えると、すべてを通ります。
| 段階 | ワークスペースの外への通信 |
|---|---|
インスタンスが GatewayEni を付けるまで(数分。インスタンスの /var/log/af-egress-gateway.log) |
出られない |
update.sh がエージェントの設定(/af-egress/<network stack>/agent)を書き、エージェントが最初の方針を取るまで |
Squid がすべて拒否する。Control Plane に届かないゲートウェイは、開かずに閉じたままになる |
| 最初の方針を取ったあと | 方針どおりに通る |
- 最初の方針を取るまで、
af-egress-installは失敗して 30 秒後にやり直します(設定がないときはすぐ、方針がないときはエージェントを 30 秒待ってから失敗します)。update.shが設定を書いてから通信が通るまでの空白は、1 分ほどに、Control Plane のイメージの最初の取得と Control Plane の起動にかかる時間を足した長さです af-egress-installは、そのあとも 10 分ごとに動きます。新しい Control Plane のイメージは、これでエージェントに届きます- インスタンスの置き換えのあとも、最初の方針を取るまではすべて拒否します
エージェントは Control Plane のイメージからコピーしたバイナリなので、ゲートウェイはそのイメージを取得します。
GatewayInstanceTypeは、いつもGatewayAmiIdのアーキテクチャに合わせます- Control Plane のイメージが単一アーキテクチャのときだけ、その CPU アーキテクチャにも合わせます。マルチアーキテクチャのイメージなら、ゲートウェイは自分のアーキテクチャ向けのイメージを取得します。そのため、x86_64 のゲートウェイと arm64 の Control Plane(
30-ingressのCpArch)を組み合わせられます
アドレスを 2 つ登録する
Section titled “アドレスを 2 つ登録する”ゲートウェイを使う配備は、2 つの固定のアドレスから外へ出ます。
| 送信元 | アドレス |
|---|---|
| Control Plane・スロットのホスト・推論エンジン | NAT ゲートウェイの NatEip(外向きの IP アドレスを固定する) |
| すべてのワークスペース | ゲートウェイの GatewayEip |
配備を許可リストに載せてもらう組織には、両方を登録してもらいます。ワークスペースのアドレスも、NAT のアドレスと同じように扱います。
切り替えの前に割り当てる
Section titled “切り替えの前に割り当てる”先に割り当てておけば、まだ何も使っていないうちに許可リストに登録してもらえます。
aws ec2 allocate-address --domain vpc --tag-specifications 'ResourceType=elastic-ip,Tags=[{Key=Name,Value=af-<network stack>-egress-gateway-eip}]'- 出てきた
AllocationIdとPublicIpを、GatewayEipAllocationIdとGatewayEipAddressに渡します - 2 つは両方渡すか、どちらも渡さないかです。片方だけだと、テンプレートの Rules が拒否します
- ALB は
GatewayEipAddressでゲートウェイを受け入れます。自分が作っていない割り当てのアドレスは CloudFormation が読めないので、アドレスも渡します - 渡したアドレスを、スタックが作ったり、置き換えたり、解放したりすることはありません
作り直しても残る
Section titled “作り直しても残る”- スタックが自分で割り当てたアドレスは保持されます(
DeletionPolicy: Retain) - 出力の
GatewayEipAllocationIdとGatewayEipAddressには、誰が割り当てたかにかかわらずアドレスが入ります。capture-env.shは、取得した値が空だった 2 つのパラメータをこの出力で埋めます(NatEipAllocationIdと同じ規則) EgressRoute=gatewayのとき、standup.shは構築する前に、割り当てがまだあること、アドレスが取得したものと同じこと、この配備のゲートウェイのインターフェース以外が持っていないことを確かめます
保持されたアドレスを渡し直す
Section titled “保持されたアドレスを渡し直す”nat-gateway に戻したゲートウェイや撤去した配備では、アドレスが割り当てられたまま、どこにも付かずに残ります($0.005/時がかかり続けます)。次に gateway に切り替えるときや再構築するときは、新しく割り当てさせず、タグで探して渡します。
aws ec2 describe-addresses --output text --query \ "Addresses[?Tags[?Key=='Name' && Value=='af-<network stack>-egress-gateway-eip']].[AllocationId,PublicIp,AssociationId]"# AssociationId が None の行が 1 つあれば、その AllocationId と PublicIp を# GatewayEipAllocationId= GatewayEipAddress= に渡す(EgressRoute=gateway と一緒に)。または standup.sh の前に# ~/.config/agent-fleet/deploy/<p>.<r>/params/00-network に 2 行とも書くアドレスを 1 つにしたいとき
Section titled “アドレスを 1 つにしたいとき”2 つめのアドレスをどうしても登録できない組織のための案です。
| 案 | 中身 | 状態 |
|---|---|---|
| ゲートウェイを NAT 経由のサブネットに置く | Squid の接続が NatEip から出る。ワークスペースの全通信に、NAT のデータ処理料($0.045〜0.062/GB)がまたかかる |
作っていない |
NatEip をゲートウェイに移す |
NAT に新しいアドレスが要るので、結局許可リストが変わる。そのうえ外へ出られない時間ができる | 採らない |
NAT ゲートウェイに戻す
Section titled “NAT ゲートウェイに戻す”逆の 2 コマンドでは戻せません。メンテナンスの時間を取ります。動いているワークスペースは、再起動するまで HTTP(S)_PROXY がゲートウェイを指したままで、ゲートウェイがなくなるとプロキシを使うクライアントがすべてタイムアウトします。先にプロキシを外します。
-
30-ingressのプロキシを空にします。ほかのパラメータは前の値のままですターミナルウィンドウ ./clear-params.sh --profile <p> --region <r> --stack <ingress stack> EgressProxyAddr EgressTokenSecretArn変更セットを作って表示します。
TaskDef(Control Plane のタスク定義)と、新しいリビジョンに従うServiceのModify、2 つのキーが空になることだけを確かめ、表示された--executeのコマンドを実行します(--yesで確認を省けます)。update.shは使いません。ゲートウェイがあるあいだは、その出力を渡し直してしまいますdeploy --parameter-overrides EgressProxyAddr= EgressTokenSecretArn=も使いません。これでは空になりませんでした
-
動いているワークスペースをすべて止めて起動し直します(
pause.sh --statusで一覧が出ます)。タスク定義に変数が残っていないことを確かめます。そのあいだも、通信はゲートウェイがインターセプトしていますターミナルウィンドウ aws ecs describe-task-definition --task-definition <family> --query "taskDefinition.containerDefinitions[0].environment[?name=='HTTPS_PROXY']"空なら外れています。
-
00-networkをEgressRoute=nat-gatewayでデプロイします(--capabilities CAPABILITY_IAM)。ワークスペースのルートが NAT ゲートウェイに戻ります。GatewayEipは保持されます -
update.shを実行します。ネットワークの出力も30-ingressの値も空なので、ほかには何も変えません
一時停止する
Section titled “一時停止する”pause.sh は、00-network の GatewayEnabled でゲートウェイを止めます。false で Auto Scaling グループを 0 台にします。
aws autoscalingで手で 0 台にしないでください。次にスタックをデプロイすると元に戻りますGatewayEniとGatewayEipは残ります。--upで、同じルートの行き先・プロキシのアドレス・送信元アドレスが戻ります。Elastic IP の料金($0.005/時)はかかり続けます- ゲートウェイを止めているあいだ、ワークスペースのルートは行き先がなく捨てられます。ワークスペースが動いていないから害がないだけです。
GatewayEnabled=falseのスタックでワークスペースを起動しないでください
止める順番:
- ワークスペースを止めます。ゲートウェイを止めるのは Control Plane より前で、次の 2 つを確かめてからです
- サービスの desired count にかかわらず、クラスターにワークスペースのタスクが残っていない(
AF_WS_TASK_WAIT_SEC、既定は 600 秒) - Squid を止めてすべてのトンネルを記録させたうえで、Control Plane がログを全部受け取っている(ログファイルのサイズが、エージェントが
state.jsonに記録したオフセットより小さいかで確かめます。AF_GATEWAY_DRAIN_SEC、既定は 300 秒)
- サービスの desired count にかかわらず、クラスターにワークスペースのタスクが残っていない(
- 0 台にするとインスタンスのディスクが消えるので、どちらかを確かめられないときは、
pause.shは失敗し、ゲートウェイと Control Plane を動かしたままにします
--up は、NAT ゲートウェイを起動するのと同じデプロイでゲートウェイを起動し、2 回待ちます。
| いつ | 待つもの |
|---|---|
| Control Plane を起動する前 | インスタンスが GatewayEni を付け、Squid と af-egress-agent が動く |
| Control Plane が起動したあと | エージェントのいまの実行が方針を適用した(モードのファイルを書いて policy applied を記録した。Control Plane が止まっているあいだに始まった実行なら reloaded Squid with the policy on disk。どちらも Squid の再読み込みが成功したあと)。その最後の行が方針のファイルより古くない |
- その方針を渡せるのは Control Plane だけで、それまで Squid はすべて拒否します
- ゲートウェイが立ち上がらないと、Control Plane も止まったままです。それぞれの待ちは
AF_GATEWAY_WAIT_SEC(既定は 1200 秒)で打ち切ります - インスタンスでの確認は SSM Run Command で動きます。実行する人には
ssm:SendCommand(ドキュメントAWS-RunShellScript、タグaf-egress-gateway=<network stack>のインスタンス)とssm:GetCommandInvocationが要ります。インスタンスのロールはAmazonSSMManagedInstanceCoreをすでに持っています --statusはゲートウェイも表示しますstandup.shは、取得したGatewayEnabled=falseをtrueに置き換え、最後に最初の方針を待ちます
通信の記録を S3 に残す
Section titled “通信の記録を S3 に残す”Control Plane は、生の通信のイベントを消す前に、終わった日(UTC)ごとに S3 に書き出せます(AF_EGRESS_ARCHIVE_URL)。10-data がそのための S3 Bucket を持つまでは無効です。
aws cloudformation deploy --stack-name af-ecs-network --template-file cfn/00-network.yaml \ --capabilities CAPABILITY_IAM # S3 のエンドポイントポリシーがこの S3 Bucket を許可するaws cloudformation deploy --stack-name af-ecs-data --template-file cfn/10-data.yaml \ --capabilities CAPABILITY_AUTO_EXPAND CAPABILITY_IAM --parameter-overrides EgressArchive=create./update.sh --profile <p> --region <r> # 20-platform の CP への権限、次に 30-ingress の URL- 取得した状態に
EgressArchive=createがあれば、standup.shも再構築で同じことをします - S3 Bucket の名前は
af-<data stack>-egress-archive-<account id>-<region>です。暗号化され、TLS だけを受け、バージョニングはなく、書き出したデータはEgressArchiveRetentionDays(既定は 365)日後に消えます - スタックを消しても S3 Bucket は保持されます。再構築では
EgressArchive=existingで使い直します。standup.shはこれを自分で設定します - Control Plane のタスクロールが得るのは、その S3 Bucket の
egress/*へのs3:PutObject/s3:GetObjectと、s3:ListBucketだけです。エンドポイントのポリシーも、このアカウントの同じ S3 Bucket だけを通します - この方法で作った S3 Bucket でしか動きません。自分の S3 Bucket はエンドポイントで拒否されます
- パラメータと権限の詳細は
deploy/aws/ecs/cfn/PARAMETERS.mdの「The egress archive」にあります - 実際のアカウントではまだ動かしていません
Squid・エージェント・中継・この構成(一時停止と再開も含む)は、テスト用の配備でだけ確かめています。本番ではまだ使っていません。
- 生のイベントは 30 日で消えます。 Control Plane は、
AF_EGRESS_EVENT_RETENTION_DAYS(既定は 30。0なら消さない)より古い生の通信のイベントと、それをワークスペースに結び付けるためのアドレスの期間の記録を消します。ホストごとの日ごとの件数は残ります。ECS のテンプレートにはこのパラメータがないので、配備は既定のままです。長く残すときは、上の S3 への書き出しを使います - enforce は、アドレスではなく TLS の名前(SNI)で判断します。 ワークスペースは、許可された SNI を付ければ、ポート 443 のどの公開アドレスにも送れます(明示プロキシでもインターセプトでも)。ほかのポート・ループバック・リンクローカル・VPC にはこの方法で届かず、許可リストにない名前はどのアドレスに送っても拒否されます。名前とアドレスを結び付けるには復号が要り、ゲートウェイは復号しません
- インターセプトした 443 は
af-cp egress-relayを通ります。 Squid 自身のインターセプト用の HTTPS ポートは SNI を名前解決し直し、ワークスペースのアドレスがその答えにないと接続を拒否します(409、cache.logに「Host header forgery」)。DNS の答えが入れ替わる名前(S3・ECR・STS)は、この確認でほとんど失敗していました - 中継は Control Plane のイメージに入っていて、エージェントと一緒に起動します。最初のインストールまで、新しいゲートウェイはインターセプトした 443 を拒否します(方針を取るまでは、どのみちすべて拒否します)
- 新しい Control Plane のイメージは中継を再起動し、そのとき開いている、インターセプトした TLS 接続を切ります
- 中継が持つ接続は最大 4,096 です。Squid が自分の側を閉じて 10 秒たった接続と、書き込みが 2 分止まった接続を閉じます
ゲートウェイが動いているか確かめる
Section titled “ゲートウェイが動いているか確かめる”EgressRoute=gateway の配備で確かめます。
-
インスタンスを探して、シェルを開きます
ターミナルウィンドウ aws ec2 describe-instances --filters Name=tag:af-egress-gateway,Values=<network stack> Name=instance-state-name,Values=running --query 'Reservations[].Instances[].InstanceId' --output textaws ssm start-session --target <id> -
起動とサービスを見ます
sudo tail -50 /var/log/af-egress-gateway.logsystemctl status squid af-egress-agent af-egress-relay af-egress-relay-tcp af-egress-nft af-egress-install.timersudo squid -k parse(読み込んだ設定を表示し、誤りがあれば失敗します)ip route show default(最初の既定ルートが、付けたインターフェースです)
-
方針を見ます
sudo cat /var/lib/af-egress-agent/af-allow.txt /var/lib/af-egress-agent/af-mode.confに、エージェントのヘッダーと Control Plane の許可リストが出ます。起動時の仮の内容(# bootstrap: closed until the first policy、すべて拒否)のままなら、まだ方針を取っていませんjournalctl -u af-egress-agentに再読み込みが出ます
-
ワークスペースのターミナルから、
curl -sI https://example.com(明示プロキシ)とcurl -sI --noproxy '*' https://example.com(インターセプト)を実行します。ゲートウェイでは次を確かめますsudo tail /var/log/squid/af-egress.logに、ワークスペースのアドレス・TCP_TUNNEL・SNI の付いたaf1の行がそれぞれ 1 行sudo getfattr -n user.af-egress.gen /var/log/squid/af-egress.logに世代、sudo cat /var/lib/af-egress-agent/state.jsonに送り終えたオフセット- 管理の「通信」にそのホストの件数、
GET /api/admin/egress/eventsに 2 つのイベントが、ワークスペースに結び付いて出る
-
ログのローテーション:
sudo squid -k rotateのあと 1 回リクエストし、エージェントがaf-egress.log.0を読み終えて新しいファイルに進んだこと(イベントの重複も抜けもないこと)を確かめます -
メタデータ: ワークスペースから次を実行し、拒否されることを確かめます。通ってしまうと、ワークスペースがゲートウェイのロールの認証情報を読めます
ターミナルウィンドウ curl -s -x <EgressProxyAddr> -X PUT -H 'X-aws-ec2-metadata-token-ttl-seconds: 60' http://169.254.169.254/latest/api/tokenSquid の
to_linklocalが拒否し、nftables も Squid 自身の169.254.0.0/16への接続を落とします。 -
enforce: 管理の「通信」でモードを切り替え、エージェントの再読み込み(
af-mode.confにssl_bump terminate allが入る)を待ちます。許可リストにない名前が、ワークスペースから明示プロキシでもインターセプトでも失敗し、拒否として記録されることを確かめます
- 外向きの通信を制御する:許可リストとモードの運用
- 外向きの IP アドレスを固定する
- スクリプトで構築・一時停止・撤去する
- 費用を抑える
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/aws-ecs/egress-gateway/index.md を読んで