コンテンツにスキップ

データベースに届かないときのアラームを設定する

Control Plane がデータベースにつながらなくなったとき、メールで通知が届くようにします。 任意の設定に見えますが、構築したら必ず設定してください。

あなたがやること 起きること
何もしない Control Plane のログの DB_UNAVAILABLE が、CloudWatch のメトリクス AgentFleet/<stack>/DbUnavailable になる。誰にも通知されない
30-ingress に CpAlarmEmail を設定する SNS のトピックとアラームができ、そのアドレスにメールが届く
届いた SNS の確認メールで購読を承認する アラームが鳴ると、メールが届く
20-platform をデプロイし直す RDS がパスワードを入れ替えても、Control Plane が新しいパスワードを読み直せる

データベースに届かなくなっても、外からは何も異常に見えません。

  • /healthz はデータベースに触らないので、ok を返し続けます
  • そのため ALB のターゲットは正常、ECS のサービスは安定、CloudFormation にもドリフトはありません
  • RDS は管理するマスターパスワードを定期的に入れ替えます。ECS はタスク定義の secrets をタスクの起動時に 1 回だけ解決するので、動き続けている Control Plane は古いパスワードを使い続けます

Control Plane は、Postgres に拒否されるとシークレットを読み直します。このアラームは、それすら効かなかったときに知らせるものです。

  1. 30-ingress に CpAlarmEmail を設定してデプロイします(パラメータを変える)

    ターミナルウィンドウ
    --parameter-overrides CpAlarmEmail=oncall@example.com ...
  2. 届いた SNS の確認メールで、購読を承認します。承認していない購読は、アラームがないのと同じです

  3. 20-platform をデプロイし直します(下を参照)

CpAlarmEmail の既定は空です。その場合、メトリクスはあっても誰にも通知されません。

30-ingress だけでは足りません。パスワードの読み直しは CpTaskRole で動き、そのロールに secretsmanager:GetSecretValue の権限が要ります。

  • 実行ロールにある同じ権限は、起動時に変数を入れるためだけのものです
  • タスクロールの権限がなくても、Control Plane は起動時に渡されたパスワードで問題なく動きます。ただし、それも次の入れ替えまでです

読み直しが失敗していないかは、次のコマンドで確かめます。何も出なければ問題ありません。

ターミナルウィンドウ
aws logs filter-log-events --log-group-name "/af/<ingress-stack>/cp" \
--filter-pattern DB_SECRET_REFRESH_FAILED
  1. 上のコマンドで DB_SECRET_REFRESH_FAILED を探します。出ていれば、CpTaskRole の secretsmanager:GetSecretValue がない可能性が高いので、20-platform をデプロイし直します

  2. それでも戻らないときの最後の手段は、Control Plane のサービスを新しくデプロイし直すことです。ブルー/グリーンなので止まらず、約 4 分で終わります

    ターミナルウィンドウ
    aws ecs update-service --cluster <cluster> --service <cp-service> --force-new-deployment

データベースに届くかを外から確かめるときは、/healthz ではなく /readyz を見ます。/readyz はデータベースに問い合わせ、届かなければ 503 を返します。

エージェント向け

この指示をエージェントに送ると、このページを読ませられます。

https://agent-fleet.org/docs/ja/operate/aws-ecs/alarms/index.md を読んで