コンテンツにスキップ

スロットプールで困ったとき

ecs-ec2 の配備で、スロットやホームがうまく動かないときに、症状から原因と対処を探します。 ECS の配備に共通する構築や起動のつまずきは ECS で困ったとき にあります。

あなたがやること わかること・起きること
「管理」→「スロット」を見る 各スロットの状態、隔離・応答しないスロット、golden snapshot の状況
隔離されたスロットを「終了」で消す インスタンスとルートボリュームが消え、課金が止まる
応答しないスロットを「停止(強制)」で止める インスタンスが止まります。次の起動で同じスロットが正常に戻るか、コンテナインスタンスの登録を解除した場合は、ホームが新しいスロットに移ります
下の表で症状を探す 原因と、どのページの手順で直すか

画面の見かたは スロットを入れ替える・止める にあります。

ホームディレクトリをマウントできないスロット(隔離)

Section titled “ホームディレクトリをマウントできないスロット(隔離)”

ホームをマウントできなかったスロットは、Control Plane が隔離します。隔離は、何度やり直しても直らない故障に備えたものです(削除したボリュームの NVMe 名前空間をカーネルがつかんだまま固まっている場合など)。

隔離で起きること 中身
プールから外す タグが af-role=quarantined になり、ほかの人はこのスロットに載らない
ホームを外す ホームは、ほかのスロットで使えるようになる
インスタンスを止める ルートボリュームは残り、課金が続く

隔離したスロットは、自動では消えません。「スロット」の画面に理由つきで残ります。

  1. 「管理」→「スロット」を開きます。隔離したスロットがあると、上に台数が出て、行は「隔離」になります
  2. 調べたいことがあれば、先に済ませます。インスタンスとルートボリュームは、終了すると戻せません
  3. 行の端の「終了」を押し、確認ダイアログで理由を確かめてから終了します
  • 隔離の理由は、インスタンスとタグが消える前に監査ログに残ります
  • このボタンは、製品の中で、指示を受けてマシンを消す唯一の操作です(DELETE /api/admin/ec2-pool/slots/{id}、super_admin)
  • 受け付けるのは、このプールの af-role=quarantined のインスタンスで、ホームが付いておらず、起動中の claim もないものだけです。稼働中のスロットは拒否します。稼働中のスロットは Ec2SlotTerminateAfterSec で消えます

EC2 は動いていてステータスチェックも ok なのに、ECS エージェントがつながらず、SSM も応答せず、ホームが付いたままのスロットです。「停止(強制)」で止めます。手順と、拒否されたときのコードは 応答しないスロットを止める にあります。

誰かが起動する前に気づく方法は 応答しないスロットに気づく にあります。

症状 原因と対処
ecs-ec2 にしたら Control Plane が起動しない Ec2SlotLaunchTemplate が空です。40-ec2-pool の出力 SlotLaunchTemplateId を渡します(プールを構築する)
ログに slot class "…" is arm64 but AF_ECS_EC2_AMI_ARM64 is empty と出て起動しない arm64 のクラスがあるのに Ec2SlotAmiArm64 が空です(Graviton(arm64)のクラスを足す)
書いたクラスが画面に出ない arch が x86_64 でも arm64 でもないか、使える段がありません。そのクラスは捨てられます(クラスを書く)
症状 原因と対処
起動が slot pool is full で失敗する Ec2MaxSlots に達し、取り戻せる休眠中のスロットもありません。すべて動いているか、起動中のものが押さえています。Ec2MaxSlots を上げます(3 つの上限)
起動が no configured AZ (…) could take a new … slot で失敗する どの AZ でもそのタイプのインスタンスを起動できませんでした(容量・クォータ)。時間をおくか、ほかのクラスを使います
あるユーザーだけ、ずっと起動できない そのユーザーのホームがある AZ でスロットを動かせません。ホームは AZ を出られません(AZ を移す・失う)
起動が no workspace subnet in … (AF_ECS_WORKSPACE_SUBNETS) で失敗する AF_ECS_SUBNETS のある AZ に、ワークスペース用のサブネットがありません。AZ ごとに 1 つ足します
ある AZ に載ったタスクだけ起動しない その AZ に EFS のマウントターゲットがなく、ログイン情報をマウントできません(複数の AZ で使う前に)
arm64 のクラスで、スロットは起動したのにタスクが動かない ワークスペースのイメージに arm64 のマニフェストがありません(Graviton(arm64)のクラスを足す)
「起動中」が長く続いたあと、別のスロットで作り直される スロットが EC2 では running なのに、クラスターからそのエージェントに到達できませんでした。Control Plane は AF_ECS_EC2_SLOT_LOST_AFTER_SEC(既定 300 秒)でそのスロットをあきらめ、ほかのスロットで作り直します
アーキテクチャの違うクラスに移したメンバーの次の起動が数分長い アーキテクチャに依存するツールを入れ直しています。~/repos のビルド結果はメンバーが入れ直します(メンバーをアーキテクチャの違うクラスに移す)
症状 原因と対処
新しいメンバーの最初の起動が遅い golden snapshot が使われず、空のホームから作っています。理由は「スロット」の「golden snapshot」の欄に出ます(golden snapshot)
golden の欄が、スロットの空きを待ったまま進まない ビルドするには空きのスロットが 2 台要ります。手でビルドしたシードを破棄していなければ、破棄します(手動でビルドする)
golden の欄に、別のイメージからビルドされたので使わないと出る イメージが変わりました。自動でビルドする配備なら待ちます。AF_ECS_EC2_GOLDEN_AUTOBAKE=0 なら bake-golden.sh でビルドし直します
スロットの I/O のアラームが鳴る ワークスペースがインスタンスのメモリを使い切り、インスタンスがスラッシングを起こしています。Ec2HostReserveMb が off なら auto に戻し、応答しないスロットは強制停止します(ワークスペースが使えるメモリ)
退避したホームからの起動が遅い snapshot から戻しています。その起動は約 2 分長く、戻した直後の数時間はディスクが遅くなります
症状 原因と対処
誰も働いていないのに EBS の費用が減らない Ec2SlotTerminateAfterSec が 0 で、止めたスロットのルートボリュームが Ec2MaxSlots まで残っています。14400 にします(3 つの上限)
長く使われないホームの費用がかかり続ける 退避がオフです。テナントか配備の既定で決めます(使われないホームディレクトリを退避する)

ホームディレクトリの退避と予備

Section titled “ホームディレクトリの退避と予備”
症状 原因と対処
退避も予備も、まったく動かない AF_IDLE_SWEEP_INTERVAL=0 です。どちらもアイドル停止のスイーパーが動かします
あるテナントだけ退避されない そのテナントに 0 が入っています(テナントごとに設定する)
「予備」列が「なし」のまま テナントにも配備の既定(AF_ECS_EC2_BACKUP_EVERY_SEC)にも間隔がありません(ホームディレクトリの予備のコピーを取る)
外したメンバーの予備が残る ホームの掃除では消えません。「バックアップを削除」か、ワークスペースの破棄で消えます(メンバーを外す)
AZ を失い、そこにホームがあるユーザーが起動できない まず障害の AZ を外し、戻らなければ予備から作り直します(AZ を失ったとき、予備からホームディレクトリを戻す)

エージェント向け

この指示をエージェントに送ると、このページを読ませられます。

https://agent-fleet.org/docs/ja/operate/aws-ecs/slot-troubleshooting/index.md を読んで