コンテンツにスキップ

アラートを設定する

GKE の配備で、CP が応答しない、ワークスペースが起動できない、ノードのディスクが足りないといった問題に、メンバーより先に気づけるようにします。 ログは Cloud Logging に送られます。アラートは Cloud Monitoring に設定します。

あなたがやること 起きること
Cloud Monitoring に下の表のアラートを作る 問題が起きると通知が届く
メンバーを外したあと、監査ログを SQL で見る 破棄で消しきれなかったものがわかる。これだけは Cloud Logging にない
アラート 方法
CP の準備ができていない(データベースも含む) https://<fqdn>/readyz の稼働時間チェック
証明書の期限が近い 同じ稼働時間チェックで、SSL 証明書の検証と有効期限のアラートをオンにする
ワークスペースが Pending のまま ワークスペースの Namespace で起きる FailedScheduling イベントからログベースの指標を作り、10 分続いたら通知する。起動のダイアログにも同じ理由が出る
クォータが起動を拒んだ ワークスペースの Namespace で、メッセージに exceeded quota を含むイベントから作るログベースの指標
ワークスペースのノードのディスクが足りない ワークスペース用プールのノードについて、ノード状態 DiskPressure、または kubernetes.io/node/ephemeral_storage/allocatable_bytes と使用量の比較

破棄は、削除を確認できなかったものを監査ログに書きます。監査ログはデータベースにあり、Cloud Logging にはありません。メンバーを外したあとに、次のクエリで確かめます。

SELECT at, target, detail FROM audit_log WHERE action = 'workspace.destroy' AND detail LIKE '%NOT deleted:%'

見つかったものの片付けかたは ノードを入れ替える・止まったノードに対処する にあります。

エージェント向け

この指示をエージェントに送ると、このページを読ませられます。

https://agent-fleet.org/docs/ja/operate/kubernetes/alerts/index.md を読んで