撤去する
ECS の配備を、途中で止まらない順番ですべて消します。
ふつうは ./teardown.sh --profile <p> --region <r> を使います。このページは、スクリプトが実行する手順そのものです。スクリプトのどこかの手順が失敗したときは、このページを見て続けます。
| あなたがやること | 起きること |
|---|---|
先に capture-env.sh で記録する |
再構築するためのパラメータが残る |
teardown.sh を実行する |
消えるものの一覧と計画が出る |
teardown.sh --yes を実行する |
下の手順 1〜11 を順に実行する |
--purge-retained / --purge-secrets を付ける |
retain で残したものと /af-cp/* も消える |
| 最後に Elastic IP と S3 Bucket を自分で消す | 配備のものが何も残らない |
順番が大事な理由
Section titled “順番が大事な理由”配備が持つものの多くは、スタックの中にありません。Control Plane が動きながら作ります。
- ワークスペースのサービス、EFS のアクセスポイント、SSM のパラメータ
WsRuntime=ecs-ec2では、スロットのインスタンス、ホームの EBS ボリューム、ゴールデンスナップショット
先にスタックを消すと、これらが残り、それらが持つ依存関係のせいで削除が止まります。下の順番は、Persistence=delete と =retain の実際の ecs-ec2 の配備 2 つで最初から最後まで試し、どちらのアカウントでも残りを数える点検の結果がすべて 0 になったものです。
1. Control Plane を先に止める
Section titled “1. Control Plane を先に止める”手順 2〜7 で消すものは、すべて Control Plane が管理しているものです。Control Plane は必要に応じてスロットを起動するので、動いたままだと、消したものを作り直すことがあります。
CL=af-af-ecs-platform # クラスター = af-<platform のスタック名>aws ecs update-service --cluster $CL --service af-af-ecs-ingress-cp --desired-count 0teardown.sh は、このあと読み上げのエンジンと推論エンジンのサービスも 0 台にします。
2. ワークスペースのサービスを消す
Section titled “2. ワークスペースのサービスを消す”名前は af-ws-* で、ワークスペースを起動したことのあるメンバーごとに 1 つあります。delete-service --force はサービスの Cloud Map のエントリも消すので、それを手で消さないでください(ServiceNotFound になります)。
for s in $(aws ecs list-services --cluster $CL --query 'serviceArns[]' --output text | tr '\t' '\n' | grep /af-ws-); do aws ecs update-service --cluster $CL --service "$s" --desired-count 0 >/dev/null aws ecs delete-service --cluster $CL --service "$s" --force >/dev/nulldone3. プールのインスタンスとホームディレクトリのボリュームを消す
Section titled “3. プールのインスタンスとホームディレクトリのボリュームを消す”スロットを終了するとルートボリュームは消えますが、ホームのボリュームは消えません。ホームのボリュームはわざとデタッチして残す設計なので、消すまで料金がかかり続けます。
F="Name=tag:af-pool,Values=$CL" # この配備のプールだけ(スロットとエンジンのインスタンス)aws ec2 describe-instances --filters "$F" Name=instance-state-name,Values=pending,running,stopping,stopped \ --query 'Reservations[].Instances[].[InstanceId,State.Name,Tags[?Key==`af-role`]|[0].Value]' --output tableIDS=$(aws ec2 describe-instances --filters "$F" Name=instance-state-name,Values=pending,running,stopping,stopped \ --query 'Reservations[].Instances[].InstanceId' --output text)# 表にこの配備のインスタンスだけが並ぶことを確かめてから:[ -n "$IDS" ] && aws ec2 terminate-instances --instance-ids $IDS && aws ec2 wait instance-terminated --instance-ids $IDSaws ec2 describe-volumes --filters "$F" --query 'Volumes[].[VolumeId,State,Size]' --output table# 並んだホームのボリュームを確かめてから:for v in $(aws ec2 describe-volumes --filters "$F" --query 'Volumes[].VolumeId' --output text); do aws ec2 delete-volume --volume-id "$v"done絞り込みは af-pool のタグで、その値はこの配備のクラスター(手順 1 の $CL)です。同じリージョンのほかの配備のものは出ません。teardown.sh と同じく、スロット(ecs-ec2)と、Control Plane が調達した推論エンジンのインスタンスが対象です。Name のタグ(af-slot-*)だけで絞ると、ほかの配備のスロットまで拾います。
4. 登録が残ったコンテナインスタンスを外す
Section titled “4. 登録が残ったコンテナインスタンスを外す”EC2 のインスタンスが消えたあとも、クラスターがそれを一覧に残すことがあります(あるアカウントでは 4 台中 3 台)。そのままだと、プラットフォームのスタックがクラスターを消せずに失敗します。1 台ずつ aws ecs deregister-container-instance --cluster $CL --container-instance <arn> --force を実行します。
5. EFS のアクセスポイントを消す
Section titled “5. EFS のアクセスポイントを消す”describe-access-points --file-system-id <efs> で一覧し、1 つずつ消します。
- これを忘れると、
delete-stack af-ecs-dataが止まります - ファイルシステムの ID は
af-ecs-dataの出力EfsIdです。FileSystemIdではありません。間違った名前で ID を引く点検のスクリプトは、エラーを出さずに何も消さないまま終わります
6. SSM の /af-ws/* を消す
Section titled “6. SSM の /af-ws/* を消す”ワークスペースごとの DEK とトークンです。/af-cp/* は、30-ingress の前に自分で作った Control Plane のシークレットです。同じアカウントに再構築するなら残し、前提の準備から通しで試し直すなら消します。
7. ゴールデンスナップショットを消す
Section titled “7. ゴールデンスナップショットを消す”describe-snapshots --owner-ids self で一覧し、1 つずつ消します。ビルドしたホームごとに 50 GiB で、イメージのタグごとに 1 つあります。teardown.sh は、休止とバックアップのスナップショットも消します。
8. スタックを逆の順に 1 つずつ消す
Section titled “8. スタックを逆の順に 1 つずつ消す”Persistence=retain では、このループの前にデータベースの削除保護を外します。外さないとデータスタックの削除が失敗し、ループがそこで止まります。teardown.sh も、スタックを消す直前に外します。
aws rds modify-db-instance --db-instance-identifier <db> --no-deletion-protection --apply-immediatelyループの前に、20-platform のテンプレート置き場の S3 Bucket(CfnTemplatesBucket)も空にします。CloudFormation は中身のある S3 Bucket を消せないので、空にしないと 20-platform が DELETE_FAILED で止まり、ループもそこで止まります。バージョニングはないので、s3 rm --recursive で足ります。
CFN_BUCKET=$(aws cloudformation describe-stacks --stack-name af-ecs-platform \ --query "Stacks[0].Outputs[?OutputKey=='CfnTemplatesBucket'].OutputValue" --output text)aws s3 rm "s3://$CFN_BUCKET" --recursiveそれでも 20-platform が DELETE_FAILED になったら、スタックのイベントで理由を読み、S3 Bucket をもう一度空にしてから、ループをもう一度実行します。削除済みのスタックは飛ばします。
for s in af-ecs-ingress af-ecs-engines af-ecs-tts af-ecs-pool af-ecs-platform af-ecs-data af-ecs-network; do if ! err=$(aws cloudformation describe-stacks --stack-name $s 2>&1 >/dev/null); then case "$err" in *"does not exist"*) echo "skip $s (not deployed)"; continue ;; esac echo "$err" >&2; break # 認証情報・権限・通信のエラー: ここで止める fi aws cloudformation delete-stack --stack-name $s aws cloudformation wait stack-delete-complete --stack-name $s || break # 最初の失敗で止めるdone- 順番は
teardown.shと同じです。ingress → 推論エンジン(60-engines)→ 読み上げ(50-tts)→ スロットのプール(40-ec2-pool)→ platform → data → network - 推論エンジン・読み上げ・プールのスタックは任意です。
af-ecs-enginesは推論エンジンを足したときだけ、af-ecs-ttsは読み上げを有効にしたときだけ、af-ecs-poolはecs-ec2のときだけあります。ループが飛ばすのは、CloudFormation が存在しないと答えたスタック(does not exist)だけです。それ以外のdescribe-stacksのエラー(認証情報の期限切れ・権限不足・通信の障害)は表示して止まるので、確かめていないスタックを「飛ばした」と報告することはありません - 上の名前は既定の例です。実際のスタック名(
60-engines.yaml/50-tts.yaml/40-ec2-pool.yamlなどをデプロイしたときの名前)に置き換えます。teardown.shは名前を配備から読みます 50-ttsを消す前に、エンジンのサービスを 0 台にしておきます。タスクが登録されているあいだは Cloud Map のサービスを消せず、停止処理中のタスクもまだ登録されている扱いです- かかる時間は、
deleteで約 10 分、retainで約 16 分(RDS のスナップショットを取るため)です
9. retain の配備で残ったものを消す
Section titled “9. retain の配備で残ったものを消す”Persistence=retain では、データスタックを消しても 3 つのものが残ります。af-ecs-data が消えてから消します(削除保護は手順 8 で外してあります)。
# af-ecs-data が消えたあとで:aws rds delete-db-snapshot --db-snapshot-identifier af-ecs-data-snapshot-db-<suffix> # DeletionPolicy: Snapshot で 1 つ残るaws efs delete-file-system --file-system-id <efs> # DeletionPolicy: Retain で残る# EFS のバックアップボールト(DeletionPolicy: Retain)は、中の復旧ポイントを消すまで消せない:aws backup list-backup-vaults --query "BackupVaultList[?starts_with(BackupVaultName,'af-ecs-data-efs-')].BackupVaultName"for rp in $(aws backup list-recovery-points-by-backup-vault --backup-vault-name <vault> \ --query 'RecoveryPoints[].RecoveryPointArn' --output text); do aws backup delete-recovery-point --backup-vault-name <vault> --recovery-point-arn "$rp"doneaws backup delete-backup-vault --backup-vault-name <vault> # 復旧ポイントが消えてからteardown.sh は手順 8 の前に削除保護を外しますが、最後のスナップショット・EFS・バックアップのボールトは、--purge-retained を付けたときだけ消します。付けなければ、ボールトの復旧ポイントは EfsBackupRetentionDays のとおりに自然に期限切れになります。
10. タスク定義を消す
Section titled “10. タスク定義を消す”料金はかかりませんが、どのスタックよりも長く残ります。
list-task-definitions --family-prefix af-wsは、ACTIVE のリビジョンが 9 つあるのに 0 と答えたことがあります。接頭辞なしで一覧して数えます- ACTIVE のリビジョンをすべて登録解除し、そのあと INACTIVE のものを 10 個ずつ
delete-task-definitionsで消します --max-itemsを--output textと使うと、ページ送りのトークン(None)が 1 行として付きます。それをdelete-task-definitionsに渡すと、まとめて失敗します。grep '^arn:'で絞ります
11. ACM の検証用 CNAME を消す
Section titled “11. ACM の検証用 CNAME を消す”30-ingress は証明書と ALB のエイリアスのレコードを消しますが、_<hash>.<fqdn> はホストゾーンにずっと残ります。
- 害はありません。ただ、残すと次の配備の証明書が、自分で作っていないレコードで検証されてしまい、発行の不具合に気づけません
change-resource-record-setsで消します。DELETE には正確な TTL と値が要ります。TTL は 300 です
撤去しても残るもの
Section titled “撤去しても残るもの”次のものは、上のどの手順でも消えません。
| 残るもの | 理由 |
|---|---|
| ホストゾーン | 配備のものではない |
/af-cp/* のシークレット(残したとき) |
同じアカウントに再構築するため。--purge-secrets で消える |
| NAT ゲートウェイの Elastic IP | 再構築しても同じアドレスから外へ出られるようにするため(外向きの IP アドレスを固定する) |
egress ゲートウェイの Elastic IP(GatewayEip、EgressRoute=gateway でスタックが割り当てたとき) |
同上(外向きの通信をゲートウェイで制御する) |
通信の記録の S3 Bucket(EgressArchiveBucket、EgressArchive=create のとき) |
中身をスタックより長く残すため |
60-engines のモデルの S3 Bucket |
同上。大きなモデルを Hugging Face から取り直すと時間が読めない |
-
どれも
Retainで、teardown.shは触りません -
付いていない EIP は、解放するまで 1 つあたり月 $3.6 ほどかかります。S3 Bucket は中身の分がかかります
-
配備を完全にやめるときは、アドレスと S3 Bucket ごとに 1 手順ずつ足します
ターミナルウィンドウ aws ec2 release-address --allocation-id eipalloc-... # EIP ごとにaws s3 rb s3://<bucket> --force # S3 Bucket ごとに、空にしてから消す -
残りがないことを点検します: EC2 のインスタンス・ボリューム・スナップショット・AMI・EIP、ECS のクラスターとタスク定義、EFS、RDS のインスタンスと手動のスナップショット、ALB、ACM、NAT、ECR、Cloud Map の名前空間、
/afのロググループ、af-*の IAM ロールとインスタンスプロファイル、デフォルトでない VPC
- スクリプトで構築・一時停止・撤去する
- EFS をバックアップ・復元する
- アイドル停止と強制停止を使う:一時停止と削除の比べ方
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/aws-ecs/teardown/index.md を読んで