コンテンツにスキップ

一時停止する・費用を見る

使わないあいだ、データを残したまま GKE の配備を一時停止し、また再開します。費用の内訳と、一時停止しても課金され続けるものもここで説明します。 コマンドは GKE に構築する のシェル変数と、kubectl がこのクラスターを指していることを前提にしています。

あなたがやること 起きること
pause.sh --status 動いているものとまだ課金されているものを表示する。何も変えない
pause.sh --yes CP をレプリカ 0 にし、ワークスペースの Pod を消し、ワークスペースのプールとシステムプールを 0 台にし、Cloud SQL を止める
pause.sh --up 逆の順で戻す。Cloud SQL、システムプール、ワークスペースのプールのオートスケーリング、CP

deploy/gcp/gke/pause.sh が、必要な順序どおりに進めます。kubectl がこのクラスターを指しているシェルで実行します(3. kubectl をこのクラスターに向ける)。

ターミナルウィンドウ
deploy/gcp/gke/pause.sh --project "$PROJECT" --location "$LOCATION" --prefix "$PREFIX" --status
deploy/gcp/gke/pause.sh --project "$PROJECT" --location "$LOCATION" --prefix "$PREFIX" --yes
deploy/gcp/gke/pause.sh --project "$PROJECT" --location "$LOCATION" --prefix "$PREFIX" --up
オプション 意味
--project Google Cloud のプロジェクト(Terraform の project_id)
--location クラスターの場所。通常はリージョン、ゾーンクラスター(zonal_cluster = true)ならそのゾーン
--prefix Terraform の name_prefix
--status 動いているものと課金されているものを表示する。何も変えない
--yes 実際に止める。付けないと計画を表示するだけ
--up 戻す。--yes なしですぐに始まる
--dry-run 書き込みをすべて表示し、実行しない(読み取りは実行する)
--stop-workspaces 動いているワークスペースを 0 にする(セッションは終わる)。付けないと、動いているワークスペースがあるときは一時停止を拒む
--keep-db Cloud SQL を動かしたままにする(既定では止める)
--system-nodes N (--up)記録がないときのゾーンあたりのシステムノード数(Terraform の system_node_count)
--workspace-min N / --workspace-max N (--up)記録がないときのゾーンあたりのオートスケーリングの最小と最大(既定は 0 と 4)
--wait SEC ワークスペースの Pod が消えるのを待つ時間(既定は 900)
  • 読み取りが失敗したとき、または kubectl のコンテキストのサーバーと CA がこのクラスターのものでないときは、書き込みの前に止まります。先に get-credentials を実行してください。DNS エンドポイントのコンテキストは拒みます
  • Cloud SQL は、RDS と違って 7 日たっても自動では起動し直しません

止めているあいだに起きること

Section titled “止めているあいだに起きること”
  • ワークスペースのプールには taint がありません。 システムプールが 0 だと、オートスケーラーは kube-system の Pending の Pod のためにワークスペースのノードを起動してしまいます。そのため、スクリプトはそのプールのオートスケーリングをオフにし、自分で 0 台にします
  • 止めているあいだ、terraform plan はプールのオートスケーリングとシステムプールのサイズを差分として報告します。--up で消えます
  • ノード数(ゾーンあたり)はプールのインスタンスグループから読み、CP の Namespace のアノテーション(agent-fleet.io/pause-*)に一度だけ記録します。既存の記録は上書きしないので、中断したあとにもう一度止めても、元のサイズが残ります
  • --up は記録どおりにすべて戻し、途中だったサイズ変更も終わらせ、CP が戻ったら記録を消します。Namespace を消してしまったときは、--up に --system-nodes N(必要なら --workspace-min / --workspace-max)が要ります

消さない限り、次は課金され続けます。

  • GKE の管理手数料
  • ロードバランサーの転送ルール
  • Private Service Connect のエンドポイント
  • Cloud NAT とその予約アドレス
  • 永続ディスク(各ワークスペースの claim 2 本、CP の af-cp-data)
  • Cloud SQL のストレージ

消すには 撤去する を使います。

部分 中身
固定費 クラスターの管理手数料、システムプール、Cloud SQL、Cloud NAT とそのアドレス、ロードバランサー
動いているワークスペースの容量 ワークスペースのプールは、動いているワークスペースに合わせて伸び縮みする
ワークスペースごとの永続ディスク 2 本 停止中も課金される。EBS のホームディレクトリと同じ

すでに動かしているクラスターを使うなら、固定費からクラスターの分がなくなります。

deploy/gcp/gke の既定値で実測した費用です。asia-northeast1、定価、クレジット前の円です。1 日あたりの数字は、ほかの作業が混ざらない時間帯の 1 時間あたりの額 × 24 です(動いている状態: CP が動きワークスペースのノードがない 4 時間、止めている状態: 下の項目がすべて 0 の 16 時間)。ほかのリージョンや通貨は、その単価で読み替えます。

測った構成:

  • 2 ゾーンにノードがあるリージョンクラスター
  • システムプールはゾーンごとに e2-standard-2 を 1 台
  • ワークスペースのプールは n2-standard-8 で、ゾーンごとに 0〜4 台のオートスケーリング、200 GB の pd-balanced のブートディスク
  • Cloud SQL db-custom-1-3840 REGIONAL(高可用性)、10 GB の SSD
  • グローバル外部アプリケーションロードバランサー、Cloud NAT
項目 動いている、ワークスペースなし(円/日) 止めている(円/日)
システムプール、e2-standard-2 ×2(コア + RAM) 649 0
Cloud SQL 高可用性、vCPU + RAM 663 0
Cloud SQL のストレージ(リージョン) 22 22
GKE のリージョンクラスターの管理手数料 377 377
pd-balanced の容量(動いているあいだのノードのブートディスク、claim) 181 49
ロードバランサーの転送ルールの最低額(グローバル) 94 94
Private Service Connect のパートナーエンドポイント 38 38
Cloud NAT のアドレスとゲートウェイ 30 19
Managed Service for Prometheus のサンプル 58 0
Network Intelligence Center 23 0
DNS、KMS、Secret Manager、BigQuery、Cloud Storage ~1 ~1
合計 ~2,140 ~600

30 日では、ワークスペースなしで動かして約 64,000 円、止めて約 18,000 円です。そのうち管理手数料だけで約 11,300 円です。

ワークスペースが動いていると、ワークスペースのノードが 1 台起動します。

  • n2-standard-8 が 1 台で 1 時間あたり約 78 円(8 コア時間 × 6.385 円と 32 GiB 時間 × 0.852 円)に、ノードがあるあいだの 200 GB のブートディスクが加わります
  • ノードは丸ごと課金されます。1 つのワークスペースでも、割り当て可能な資源に入るだけのワークスペースでも同じです。どれも動いていなければ、プールは 0 台に戻ります
  • 各メンバーの claim 2 本(50 GB のホームディレクトリ、5 GB の状態、pd-balanced)は、停止中も含めていつも課金されます
  • ワークスペースのノードが約 18.5 時間動いた 1 日の受け入れ作業で、2,325 円でした

作った直後のワークスペースのプールは 0 台ではない

Section titled “作った直後のワークスペースのプールは 0 台ではない”
  • プールはノード付きで作られます(設定で初期の台数を指定していないので、GKE の既定のゾーンあたり 1 台になります。観測した結果で、GKE のドキュメントでは確かめていません)
  • オートスケーラーがアイドルのノードを外すのは、しばらくたってからです。1 ゾーンの小さな構成では、プールができてから約 12 分で 0 台になったことがあります
  • 外れるまで、ワークスペースのノードが 1 台、上の時間単価で課金されます(n2-standard-4 なら 1 時間あたり約 39 円)。2 ゾーンならその 2 倍です
  • 12 分と決まっているわけではありません。20 分後も 70 分後もノードが残っていたことがあります。システムプールがまだ立ち上がる途中に約 15 個の kube-system の Pod(kube-dns、metrics-server、konnectivity-agent など)がそのノードに置かれ、オートスケーラーがそれらを動かさなかったためです。最初のワークスペースの Pod も、そのノードに置かれました
  • 試用期間中は常にかかる費用と考えてください。pause.sh はプールを明示的に 0 台にします

kubectl get nodes -L agent-fleet.io/pool で、なくなったかどうかがわかります。

測っていないもの: 外向きの通信(試験では無視できる程度)、実際の利用での Cloud Logging の量、CP のディスクのスナップショットの増え方。

  • ECS の配備の常時の費用は、東京リージョンで月 107 ドル程度です。1 ドル 150 円で換算すると(測定の一部ではない仮定です)月約 16,000 円で、GKE の既定値はアイドルでおよそ 4 倍です
  • 差は Kubernetes そのものではなく、高可用性の選択から来ます。Cloud SQL の REGIONAL、2 つのゾーンのシステムノード、リージョンクラスターの管理手数料(ゾーンクラスター 1 つは請求先アカウントごとに GKE の無料枠に入ります)です
  • ワークスペースのプールがノード丸ごとで課金されることも効きます。ECS は各ワークスペースの Fargate のタスク(1 vCPU + 2 GB)で課金されます
  • ほとんどは変数で変えられます(zonal_cluster、sql_availability_type、sql_tier、system_machine_type、node_zones、workspace_machine_type、managed_prometheus)。ただし、ワークスペースの Pod は 1 台のノードに収まる必要があります

試用向けの小さな構成 の見積もりです。上で実測した単価(asia-northeast1、円)から出した、ワークスペースなしで動かしたときの 1 日あたりの額です。

  • 実測した単価はクレジット前です。「小さな構成」の列は、GKE の無料枠(請求先アカウントごとの月のクレジット)がまだ残っている前提で、管理手数料を 0 にしています
  • ほかのゾーンクラスターや Autopilot のクラスターが無料枠を使っていれば、1 日あたり約 377 円を足します
項目 既定の構成 小さな構成 根拠
システムプール 649 ~325 e2-standard-2 が 2 台でなく 1 台
Cloud SQL の vCPU + RAM 663 ~331 ZONAL は REGIONAL の半分
GKE の管理手数料 377 0 ゾーンクラスター 1 つは請求先アカウントごとに無料。2 つめは課金される
Managed Prometheus のサンプル 58 0 オフ
そのほか 393 393 変えない。ディスクと SQL のストレージは少し減るが数えていない
合計 ~2,140 ~1,050
  • 30 日で約 31,500 円(既定の構成は約 64,000 円)で、ECS の常時の費用(上の換算で約 16,000 円)のまだ約 2 倍です
  • 止めていれば管理手数料もなくなり、1 日あたり約 220 円です
  • n2-standard-4 のワークスペースのノードは 1 時間あたり約 39 円です(n2-standard-8 の半分。コア時間と GiB 時間がマシンに比例するため)
  • Cloud SQL とシステムプールの数字は、実測から比例で出したもので、請求額ではありません。Network Intelligence Center の費用(1 日あたり約 23 円)を変える変数はありません

エージェント向け

この指示をエージェントに送ると、このページを読ませられます。

https://agent-fleet.org/docs/ja/operate/kubernetes/pause/index.md を読んで