スクリプトで構築・一時停止・撤去する
ECS の配備を、4 つのスクリプトで記録し、一時停止し、撤去し、再構築します。
対象の配備は、update.sh と同じく AWS のプロファイルで指定します。ほかの値はすべて、動いている配備から読み取ります。同じテンプレートから構築した 2 つの配備でも、プールのスタック名が af-ecs-pool と af-ecs-ec2-pool のように違うことがあり、決め打ちの既定値では外れるためです。
| あなたがやること | 起きること |
|---|---|
capture-env.sh で記録する |
各スタックに渡したパラメータが、リポジトリの外のファイルに残る |
pause.sh で止める |
時間で課金されるものを、取り残しが出ない順番で止める・消す。データは残る |
pause.sh --up で戻す |
NAT ゲートウェイ・データベース・Control Plane が戻る。ワークスペースはメンバーが起動する |
teardown.sh --yes で撤去する |
配備のすべてを、途中で詰まらない順番で消す |
standup.sh --yes で再構築する |
記録したパラメータで配備を構築する |
./capture-env.sh --profile <p> --region <r> # 動いている配備を記録する./pause.sh --profile <p> --region <r> [--up] # 止める / 再開する(データは残る)./teardown.sh --profile <p> --region <r> [--yes] # 全部消す./standup.sh --profile <p> --region <r> [--yes] # 作り直す--yes が要る操作
Section titled “--yes が要る操作”| スクリプト | --yes なし |
--yes あり |
|---|---|---|
capture-env.sh |
--yes を取らず、すぐに記録を書く。すでにある記録は --force がなければ上書きを拒む |
— |
pause.sh(一時停止) |
計画を表示して終わる。何も止めない | 一時停止する |
pause.sh --up |
すぐに再開する。--up は確認を求めない |
— |
pause.sh --status |
読むだけ | — |
teardown.sh |
消えるものの一覧と計画を表示して終わる | 消す |
standup.sh |
計画を表示して終わる | 構築する |
--yesを受け付けるスクリプトをターミナルで実行すると、FQDN の入力も求められます
最初に capture-env.sh を実行する
Section titled “最初に capture-env.sh を実行する”各スタックに渡したパラメータを ~/.config/agent-fleet/deploy/<profile>.<region>/ に書きます。値はアカウントに固有なので、リポジトリの外に置きます。
- テンプレートはリポジトリにありますが、それに渡した値は配備の中にしかありません。
delete-stackで消えます teardown.shは、この記録がないと実行を拒みます。standup.shは、これがないと何も構築できません- シークレットは記録も復元もしません。 SSM の SecureString は CloudFormation のパラメータではありません。
standup.shは、それがあることだけを確かめます。撤去は既定で/af-cp/*を残すので、同じアカウントに再構築できます - 空で記録したパラメータに同じ名前のスタックの出力があれば、その値を使います。パラメータが空なのは「スタックが自分で作った」場合が多く、そのとき作ったものの ID は出力にしか残らないためです(
NatEipAllocationIdなど。外向きの IP アドレスを固定する)
記録はイメージの存在を保証しない
Section titled “記録はイメージの存在を保証しない”記録が保証するのはパラメータで、そこに書かれたイメージがまだあるかは別です。次の 3 つが重なると、記録は残っているのに、指すワークスペースのイメージがどこにもない、という状態になります。
| 原因 | 中身 |
|---|---|
dev-deploy.sh |
イメージをビルドし直さない実行では、ECR の中でワークスペースのイメージにタグを付け直す。そのタグのワークスペースのイメージは GHCR に届かない |
capture-env.sh |
--force がないと記録し直さない。記録した AF_IMAGE_TAG は、記録した日に動いていたもののままになる |
20-platform の ECR |
EmptyOnDelete: true なので、撤去でイメージも消える |
そのため、古くなりやすいところで、次のように記録の新しさを保ちます。
dev-deploy.shは、最後に新しいタグを記録に書きますcapture-env.shはAF_IMAGE_RECOVERABLE=yes|no|unknown(そのタグが GHCR から取れるか)を記録します。unknownはcraneがなかったという意味で、「もうない」とはみなしませんteardown.shは、確認の前に、3 つのどれに当たるかを表示します。ECR からcrane copyで救えるのは、そのときが最後ですstandup.shの事前確認でも表示されますが、その時点ではコピー元がもう残っていません
開発用の配備がどれかは、このリポジトリには書いてありません。dev-deploy.sh は、手元の記録に AF_DEV_DEPLOY=1 がある配備だけを触ります。
pause.sh で一時停止する
Section titled “pause.sh で一時停止する”時間で課金されるものを、何も取り残さない順番で止めるか消します。
| 順番 | 止まるもの | 戻るとき(--up) |
|---|---|---|
| 1 | ワークスペース | メンバーが自分で起動する |
| 2 | スロットと推論エンジンの GPU のインスタンス。止まるのを待つ。--fast では待たずに、スロットは直接停止し、GPU のインスタンスは直接終了する |
— |
| 3 | egress ゲートウェイ(EgressRoute=gateway のとき) |
NAT ゲートウェイと一緒に起動し、Control Plane の起動の前とあとで準備を待つ |
| 4 | Control Plane | データベースのあと |
| 5 | まだ動いている推論エンジンのインスタンスを終了する | — |
| 6 | RDS のインスタンス(--keep-db で残す) |
Control Plane より先に起動する |
| 7 | NAT ゲートウェイ(--keep-nat で残す) |
いちばん先に戻す。Control Plane のイメージの取得とログが通るため |
- Control Plane が止まったあとは、推論エンジンのインスタンスを終了させる仕組みがほかにありません。g6.xlarge を残すと 1 日 $28 ほどかかるので、最後にまとめて終了します
- Control Plane が止まったあと、
pause.shはワークスペースのサービスとスロットをもう一度読みます。ゴールデンイメージを焼いている途中で止まった Control Plane が、ワークスペースを起こし直していることがあるためです。起きているワークスペースは 0 に落とし、動いているスロットは直接止め、何を止め直したかを出力します。ここで読み取りに失敗すると実行は失敗で終わるので、もう一度pause.shを実行します --statusで、いまの状態を表示します。golden bakeの行には、まだシードやプローブのワークスペースを抱えているゴールデンイメージの焼き込み(タスクが動いているサービスや、サービスがなくなっても生きているタスク)が出ます。ないときは(none)、読めなかったときは(cannot tell: …)です- egress ゲートウェイの止め方と待ち方は 外向きの通信をゲートウェイで制御する にあります。インターフェースと Elastic IP には触りません
NAT ゲートウェイは消して作り直す
Section titled “NAT ゲートウェイは消して作り直す”NAT ゲートウェイには「停止」がないので、消します。delete-nat-gateway ではなく、00-network の NatEnabled パラメータで消します。 手で消すと、スタックが存在しない物理 ID を持ったままになり、次の更新が失敗します。
pause.shはcfn/00-network.yamlをNatEnabled=false/trueでcloudformation deployします。ほかのパラメータは今の値のままです- 削除と作成は、それぞれ 1〜2 分かかります。
NatEipは保持されるので、送信元の IP は変わりません - ゲートウェイがないあいだ、プライベートサブネットからは ECR・ログ・インターネットに届きません
- 一時停止中に記録すると
NatEnabled=falseが残ります。standup.shはそれをtrueに置き換えます pause.shはこのチェックアウトのテンプレートをデプロイします。そのため、それより古いネットワークスタックには、一時停止か再開のときにワークスペースのサブネットが追加されます。S3 エンドポイントはスイッチがオフの状態で加わるので、エンドポイント自体は作られません(このスイッチを一度も持ったことのないスタックにはS3EndpointEnabled=falseを渡します)- Control Plane がネットワークスタックのワークスペースのサブネットを使っていないとき、
--upはワークスペースが起動できるようになる前に警告します。update.shを実行し、S3 ゲートウェイエンドポイントを有効にする の手順に進みます
RDS は 7 日で勝手に起動する
Section titled “RDS は 7 日で勝手に起動する”10-data(RdsRestopOnForcedStart、既定は true)が、もう一度止める仕組みを持っています。
- 仕組みは、EventBridge のルール(
RDS-EVENT-0154の強制起動と、RDS-EVENT-0088の起動)と小さな Lambda です。RDS-EVENT-0088は、Lambda が待機と再試行に使う約 46 分より長くかかった起動も拾います。止め直すと、7 日のカウントも最初からになります - 対象になるのは、タグ
af-paused=trueの付いたインスタンスだけです。タグは「一時停止中」という意味です。意図してデータベースを動かしておくときは、タグを外すか--upを実行します pause.shはデータベースを止める前にタグを付け、--upの最初に外します(--keep-dbでも)。タグを書き込めなければ、実行は失敗します(データベースは止まったままです)- 古い配備は、
10-dataを 1 回デプロイすると仕組みが入ります。--statusは Lambda があればその名前を表示し、Control Plane が止まっているのにデータベースが動いていれば警告します - データベースはふつうの RDS PostgreSQL のインスタンスです。Aurora のクラスターには
RDS-EVENT-0153とクラスター用の呼び出しが要りますが、ここには用意していません
--up との競合は完全には防げませんが、起こりうる範囲を限っています。RDS には「状態を比べてから止める」操作がないためです。
- Lambda が最後に行うタグの読み取りと停止の呼び出しには、接続 3 秒・読み取り 5 秒のタイムアウトを設定し、SDK の再試行はしません
--upはタグを外してから 20 秒(AF_TAG_GRACE_SEC)待ってデータベースの状態を読みます。止まりかけていれば起動し直し、Control Plane が起動したあとにもう一度読んで、使える状態でなければ失敗します- タイムアウトは呼び出し側が待つ時間を決めるだけで、送ったリクエストが効くかどうかは決めません。応答が失われた停止が
--upのあとに効くことがあり、そのときは上の失敗になります。--upをもう一度実行すれば、データベースが起動します
撤去と再構築
Section titled “撤去と再構築”- 撤去の手順と、撤去しても残るものは 撤去する にあります。
teardown.shはその手順をそのまま実行します standup.shは、記録したパラメータでスタックを構築します。読み上げ(params/50-tts)と推論エンジン(params/60-engines)は、そのファイルがあるときだけ構築します(日本語の読み上げを足す・推論エンジンを足す)
- 撤去する
- 費用を抑える
- アイドル停止と強制停止を使う:一時停止と削除の概要
- 外向きの IP アドレスを固定する
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/aws-ecs/lifecycle/index.md を読んで