データベースに届かないときのアラームを設定する
Control Plane がデータベースにつながらなくなったとき、メールで通知が届くようにします。 任意の設定に見えますが、構築したら必ず設定してください。
| あなたがやること | 起きること |
|---|---|
| 何もしない | Control Plane のログの DB_UNAVAILABLE が、CloudWatch のメトリクス AgentFleet/<stack>/DbUnavailable になる。誰にも通知されない |
30-ingress に CpAlarmEmail を設定する |
SNS のトピックとアラームができ、そのアドレスにメールが届く |
| 届いた SNS の確認メールで購読を承認する | アラームが鳴ると、メールが届く |
20-platform をデプロイし直す |
RDS がパスワードを入れ替えても、Control Plane が新しいパスワードを読み直せる |
なぜ設定するのか
Section titled “なぜ設定するのか”データベースに届かなくなっても、外からは何も異常に見えません。
/healthzはデータベースに触らないので、okを返し続けます- そのため ALB のターゲットは正常、ECS のサービスは安定、CloudFormation にもドリフトはありません
- RDS は管理するマスターパスワードを定期的に入れ替えます。ECS はタスク定義の
secretsをタスクの起動時に 1 回だけ解決するので、動き続けている Control Plane は古いパスワードを使い続けます
Control Plane は、Postgres に拒否されるとシークレットを読み直します。このアラームは、それすら効かなかったときに知らせるものです。
-
30-ingressにCpAlarmEmailを設定してデプロイします(パラメータを変える)ターミナルウィンドウ --parameter-overrides CpAlarmEmail=oncall@example.com ... -
届いた SNS の確認メールで、購読を承認します。承認していない購読は、アラームがないのと同じです
-
20-platformをデプロイし直します(下を参照)
CpAlarmEmail の既定は空です。その場合、メトリクスはあっても誰にも通知されません。
20-platform もデプロイし直す
Section titled “20-platform もデプロイし直す”30-ingress だけでは足りません。パスワードの読み直しは CpTaskRole で動き、そのロールに secretsmanager:GetSecretValue の権限が要ります。
- 実行ロールにある同じ権限は、起動時に変数を入れるためだけのものです
- タスクロールの権限がなくても、Control Plane は起動時に渡されたパスワードで問題なく動きます。ただし、それも次の入れ替えまでです
読み直しが失敗していないかは、次のコマンドで確かめます。何も出なければ問題ありません。
aws logs filter-log-events --log-group-name "/af/<ingress-stack>/cp" \ --filter-pattern DB_SECRET_REFRESH_FAILEDアラームが鳴ったとき
Section titled “アラームが鳴ったとき”-
上のコマンドで
DB_SECRET_REFRESH_FAILEDを探します。出ていれば、CpTaskRoleのsecretsmanager:GetSecretValueがない可能性が高いので、20-platformをデプロイし直します -
それでも戻らないときの最後の手段は、Control Plane のサービスを新しくデプロイし直すことです。ブルー/グリーンなので止まらず、約 4 分で終わります
ターミナルウィンドウ aws ecs update-service --cluster <cluster> --service <cp-service> --force-new-deployment
データベースに届くかを外から確かめるときは、/healthz ではなく /readyz を見ます。/readyz はデータベースに問い合わせ、届かなければ 503 を返します。
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/aws-ecs/alarms/index.md を読んで