スロットプールで困ったとき
ecs-ec2 の配備で、スロットやホームがうまく動かないときに、症状から原因と対処を探します。
ECS の配備に共通する構築や起動のつまずきは ECS で困ったとき にあります。
| あなたがやること | わかること・起きること |
|---|---|
| 「管理」→「スロット」を見る | 各スロットの状態、隔離・応答しないスロット、golden snapshot の状況 |
| 隔離されたスロットを「終了」で消す | インスタンスとルートボリュームが消え、課金が止まる |
| 応答しないスロットを「停止(強制)」で止める | インスタンスが止まります。次の起動で同じスロットが正常に戻るか、コンテナインスタンスの登録を解除した場合は、ホームが新しいスロットに移ります |
| 下の表で症状を探す | 原因と、どのページの手順で直すか |
画面の見かたは スロットを入れ替える・止める にあります。
ホームディレクトリをマウントできないスロット(隔離)
Section titled “ホームディレクトリをマウントできないスロット(隔離)”ホームをマウントできなかったスロットは、Control Plane が隔離します。隔離は、何度やり直しても直らない故障に備えたものです(削除したボリュームの NVMe 名前空間をカーネルがつかんだまま固まっている場合など)。
| 隔離で起きること | 中身 |
|---|---|
| プールから外す | タグが af-role=quarantined になり、ほかの人はこのスロットに載らない |
| ホームを外す | ホームは、ほかのスロットで使えるようになる |
| インスタンスを止める | ルートボリュームは残り、課金が続く |
隔離したスロットは、自動では消えません。「スロット」の画面に理由つきで残ります。
- 「管理」→「スロット」を開きます。隔離したスロットがあると、上に台数が出て、行は「隔離」になります
- 調べたいことがあれば、先に済ませます。インスタンスとルートボリュームは、終了すると戻せません
- 行の端の「終了」を押し、確認ダイアログで理由を確かめてから終了します
- 隔離の理由は、インスタンスとタグが消える前に監査ログに残ります
- このボタンは、製品の中で、指示を受けてマシンを消す唯一の操作です(
DELETE /api/admin/ec2-pool/slots/{id}、super_admin) - 受け付けるのは、このプールの
af-role=quarantinedのインスタンスで、ホームが付いておらず、起動中の claim もないものだけです。稼働中のスロットは拒否します。稼働中のスロットはEc2SlotTerminateAfterSecで消えます
応答しないスロット
Section titled “応答しないスロット”EC2 は動いていてステータスチェックも ok なのに、ECS エージェントがつながらず、SSM も応答せず、ホームが付いたままのスロットです。「停止(強制)」で止めます。手順と、拒否されたときのコードは 応答しないスロットを止める にあります。
誰かが起動する前に気づく方法は 応答しないスロットに気づく にあります。
Control Plane が起動しない
Section titled “Control Plane が起動しない”| 症状 | 原因と対処 |
|---|---|
ecs-ec2 にしたら Control Plane が起動しない |
Ec2SlotLaunchTemplate が空です。40-ec2-pool の出力 SlotLaunchTemplateId を渡します(プールを構築する) |
ログに slot class "…" is arm64 but AF_ECS_EC2_AMI_ARM64 is empty と出て起動しない |
arm64 のクラスがあるのに Ec2SlotAmiArm64 が空です(Graviton(arm64)のクラスを足す) |
| 書いたクラスが画面に出ない | arch が x86_64 でも arm64 でもないか、使える段がありません。そのクラスは捨てられます(クラスを書く) |
ワークスペースが起動しない
Section titled “ワークスペースが起動しない”| 症状 | 原因と対処 |
|---|---|
起動が slot pool is full で失敗する |
Ec2MaxSlots に達し、取り戻せる休眠中のスロットもありません。すべて動いているか、起動中のものが押さえています。Ec2MaxSlots を上げます(3 つの上限) |
起動が no configured AZ (…) could take a new … slot で失敗する |
どの AZ でもそのタイプのインスタンスを起動できませんでした(容量・クォータ)。時間をおくか、ほかのクラスを使います |
| あるユーザーだけ、ずっと起動できない | そのユーザーのホームがある AZ でスロットを動かせません。ホームは AZ を出られません(AZ を移す・失う) |
起動が no workspace subnet in … (AF_ECS_WORKSPACE_SUBNETS) で失敗する |
AF_ECS_SUBNETS のある AZ に、ワークスペース用のサブネットがありません。AZ ごとに 1 つ足します |
| ある AZ に載ったタスクだけ起動しない | その AZ に EFS のマウントターゲットがなく、ログイン情報をマウントできません(複数の AZ で使う前に) |
| arm64 のクラスで、スロットは起動したのにタスクが動かない | ワークスペースのイメージに arm64 のマニフェストがありません(Graviton(arm64)のクラスを足す) |
| 「起動中」が長く続いたあと、別のスロットで作り直される | スロットが EC2 では running なのに、クラスターからそのエージェントに到達できませんでした。Control Plane は AF_ECS_EC2_SLOT_LOST_AFTER_SEC(既定 300 秒)でそのスロットをあきらめ、ほかのスロットで作り直します |
| アーキテクチャの違うクラスに移したメンバーの次の起動が数分長い | アーキテクチャに依存するツールを入れ直しています。~/repos のビルド結果はメンバーが入れ直します(メンバーをアーキテクチャの違うクラスに移す) |
| 症状 | 原因と対処 |
|---|---|
| 新しいメンバーの最初の起動が遅い | golden snapshot が使われず、空のホームから作っています。理由は「スロット」の「golden snapshot」の欄に出ます(golden snapshot) |
| golden の欄が、スロットの空きを待ったまま進まない | ビルドするには空きのスロットが 2 台要ります。手でビルドしたシードを破棄していなければ、破棄します(手動でビルドする) |
| golden の欄に、別のイメージからビルドされたので使わないと出る | イメージが変わりました。自動でビルドする配備なら待ちます。AF_ECS_EC2_GOLDEN_AUTOBAKE=0 なら bake-golden.sh でビルドし直します |
| スロットの I/O のアラームが鳴る | ワークスペースがインスタンスのメモリを使い切り、インスタンスがスラッシングを起こしています。Ec2HostReserveMb が off なら auto に戻し、応答しないスロットは強制停止します(ワークスペースが使えるメモリ) |
| 退避したホームからの起動が遅い | snapshot から戻しています。その起動は約 2 分長く、戻した直後の数時間はディスクが遅くなります |
| 症状 | 原因と対処 |
|---|---|
| 誰も働いていないのに EBS の費用が減らない | Ec2SlotTerminateAfterSec が 0 で、止めたスロットのルートボリュームが Ec2MaxSlots まで残っています。14400 にします(3 つの上限) |
| 長く使われないホームの費用がかかり続ける | 退避がオフです。テナントか配備の既定で決めます(使われないホームディレクトリを退避する) |
ホームディレクトリの退避と予備
Section titled “ホームディレクトリの退避と予備”| 症状 | 原因と対処 |
|---|---|
| 退避も予備も、まったく動かない | AF_IDLE_SWEEP_INTERVAL=0 です。どちらもアイドル停止のスイーパーが動かします |
| あるテナントだけ退避されない | そのテナントに 0 が入っています(テナントごとに設定する) |
| 「予備」列が「なし」のまま | テナントにも配備の既定(AF_ECS_EC2_BACKUP_EVERY_SEC)にも間隔がありません(ホームディレクトリの予備のコピーを取る) |
| 外したメンバーの予備が残る | ホームの掃除では消えません。「バックアップを削除」か、ワークスペースの破棄で消えます(メンバーを外す) |
| AZ を失い、そこにホームがあるユーザーが起動できない | まず障害の AZ を外し、戻らなければ予備から作り直します(AZ を失ったとき、予備からホームディレクトリを戻す) |
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/aws-ecs/slot-troubleshooting/index.md を読んで