一時停止する・費用を見る
使わないあいだ、データを残したまま GKE の配備を一時停止し、また再開します。費用の内訳と、一時停止しても課金され続けるものもここで説明します。
コマンドは GKE に構築する のシェル変数と、kubectl がこのクラスターを指していることを前提にしています。
| あなたがやること | 起きること |
|---|---|
pause.sh --status |
動いているものとまだ課金されているものを表示する。何も変えない |
pause.sh --yes |
CP をレプリカ 0 にし、ワークスペースの Pod を消し、ワークスペースのプールとシステムプールを 0 台にし、Cloud SQL を止める |
pause.sh --up |
逆の順で戻す。Cloud SQL、システムプール、ワークスペースのプールのオートスケーリング、CP |
一時停止する
Section titled “一時停止する”deploy/gcp/gke/pause.sh が、必要な順序どおりに進めます。kubectl がこのクラスターを指しているシェルで実行します(3. kubectl をこのクラスターに向ける)。
deploy/gcp/gke/pause.sh --project "$PROJECT" --location "$LOCATION" --prefix "$PREFIX" --statusdeploy/gcp/gke/pause.sh --project "$PROJECT" --location "$LOCATION" --prefix "$PREFIX" --yesdeploy/gcp/gke/pause.sh --project "$PROJECT" --location "$LOCATION" --prefix "$PREFIX" --up| オプション | 意味 |
|---|---|
--project |
Google Cloud のプロジェクト(Terraform の project_id) |
--location |
クラスターの場所。通常はリージョン、ゾーンクラスター(zonal_cluster = true)ならそのゾーン |
--prefix |
Terraform の name_prefix |
--status |
動いているものと課金されているものを表示する。何も変えない |
--yes |
実際に止める。付けないと計画を表示するだけ |
--up |
戻す。--yes なしですぐに始まる |
--dry-run |
書き込みをすべて表示し、実行しない(読み取りは実行する) |
--stop-workspaces |
動いているワークスペースを 0 にする(セッションは終わる)。付けないと、動いているワークスペースがあるときは一時停止を拒む |
--keep-db |
Cloud SQL を動かしたままにする(既定では止める) |
--system-nodes N |
(--up)記録がないときのゾーンあたりのシステムノード数(Terraform の system_node_count) |
--workspace-min N / --workspace-max N |
(--up)記録がないときのゾーンあたりのオートスケーリングの最小と最大(既定は 0 と 4) |
--wait SEC |
ワークスペースの Pod が消えるのを待つ時間(既定は 900) |
- 読み取りが失敗したとき、または kubectl のコンテキストのサーバーと CA がこのクラスターのものでないときは、書き込みの前に止まります。先に
get-credentialsを実行してください。DNS エンドポイントのコンテキストは拒みます - Cloud SQL は、RDS と違って 7 日たっても自動では起動し直しません
止めているあいだに起きること
Section titled “止めているあいだに起きること”- ワークスペースのプールには taint がありません。 システムプールが 0 だと、オートスケーラーは kube-system の Pending の Pod のためにワークスペースのノードを起動してしまいます。そのため、スクリプトはそのプールのオートスケーリングをオフにし、自分で 0 台にします
- 止めているあいだ、
terraform planはプールのオートスケーリングとシステムプールのサイズを差分として報告します。--upで消えます - ノード数(ゾーンあたり)はプールのインスタンスグループから読み、CP の Namespace のアノテーション(
agent-fleet.io/pause-*)に一度だけ記録します。既存の記録は上書きしないので、中断したあとにもう一度止めても、元のサイズが残ります --upは記録どおりにすべて戻し、途中だったサイズ変更も終わらせ、CP が戻ったら記録を消します。Namespace を消してしまったときは、--upに--system-nodes N(必要なら--workspace-min/--workspace-max)が要ります
止めても課金されるもの
Section titled “止めても課金されるもの”消さない限り、次は課金され続けます。
- GKE の管理手数料
- ロードバランサーの転送ルール
- Private Service Connect のエンドポイント
- Cloud NAT とその予約アドレス
- 永続ディスク(各ワークスペースの claim 2 本、CP の
af-cp-data) - Cloud SQL のストレージ
消すには 撤去する を使います。
| 部分 | 中身 |
|---|---|
| 固定費 | クラスターの管理手数料、システムプール、Cloud SQL、Cloud NAT とそのアドレス、ロードバランサー |
| 動いているワークスペースの容量 | ワークスペースのプールは、動いているワークスペースに合わせて伸び縮みする |
| ワークスペースごとの永続ディスク 2 本 | 停止中も課金される。EBS のホームディレクトリと同じ |
すでに動かしているクラスターを使うなら、固定費からクラスターの分がなくなります。
既定の構成の費用
Section titled “既定の構成の費用”deploy/gcp/gke の既定値で実測した費用です。asia-northeast1、定価、クレジット前の円です。1 日あたりの数字は、ほかの作業が混ざらない時間帯の 1 時間あたりの額 × 24 です(動いている状態: CP が動きワークスペースのノードがない 4 時間、止めている状態: 下の項目がすべて 0 の 16 時間)。ほかのリージョンや通貨は、その単価で読み替えます。
測った構成:
- 2 ゾーンにノードがあるリージョンクラスター
- システムプールはゾーンごとに e2-standard-2 を 1 台
- ワークスペースのプールは n2-standard-8 で、ゾーンごとに 0〜4 台のオートスケーリング、200 GB の pd-balanced のブートディスク
- Cloud SQL
db-custom-1-3840REGIONAL(高可用性)、10 GB の SSD - グローバル外部アプリケーションロードバランサー、Cloud NAT
| 項目 | 動いている、ワークスペースなし(円/日) | 止めている(円/日) |
|---|---|---|
| システムプール、e2-standard-2 ×2(コア + RAM) | 649 | 0 |
| Cloud SQL 高可用性、vCPU + RAM | 663 | 0 |
| Cloud SQL のストレージ(リージョン) | 22 | 22 |
| GKE のリージョンクラスターの管理手数料 | 377 | 377 |
| pd-balanced の容量(動いているあいだのノードのブートディスク、claim) | 181 | 49 |
| ロードバランサーの転送ルールの最低額(グローバル) | 94 | 94 |
| Private Service Connect のパートナーエンドポイント | 38 | 38 |
| Cloud NAT のアドレスとゲートウェイ | 30 | 19 |
| Managed Service for Prometheus のサンプル | 58 | 0 |
| Network Intelligence Center | 23 | 0 |
| DNS、KMS、Secret Manager、BigQuery、Cloud Storage | ~1 | ~1 |
| 合計 | ~2,140 | ~600 |
30 日では、ワークスペースなしで動かして約 64,000 円、止めて約 18,000 円です。そのうち管理手数料だけで約 11,300 円です。
ワークスペースが動いていると、ワークスペースのノードが 1 台起動します。
- n2-standard-8 が 1 台で 1 時間あたり約 78 円(8 コア時間 × 6.385 円と 32 GiB 時間 × 0.852 円)に、ノードがあるあいだの 200 GB のブートディスクが加わります
- ノードは丸ごと課金されます。1 つのワークスペースでも、割り当て可能な資源に入るだけのワークスペースでも同じです。どれも動いていなければ、プールは 0 台に戻ります
- 各メンバーの claim 2 本(50 GB のホームディレクトリ、5 GB の状態、pd-balanced)は、停止中も含めていつも課金されます
- ワークスペースのノードが約 18.5 時間動いた 1 日の受け入れ作業で、2,325 円でした
作った直後のワークスペースのプールは 0 台ではない
Section titled “作った直後のワークスペースのプールは 0 台ではない”- プールはノード付きで作られます(設定で初期の台数を指定していないので、GKE の既定のゾーンあたり 1 台になります。観測した結果で、GKE のドキュメントでは確かめていません)
- オートスケーラーがアイドルのノードを外すのは、しばらくたってからです。1 ゾーンの小さな構成では、プールができてから約 12 分で 0 台になったことがあります
- 外れるまで、ワークスペースのノードが 1 台、上の時間単価で課金されます(
n2-standard-4なら 1 時間あたり約 39 円)。2 ゾーンならその 2 倍です - 12 分と決まっているわけではありません。20 分後も 70 分後もノードが残っていたことがあります。システムプールがまだ立ち上がる途中に約 15 個の
kube-systemの Pod(kube-dns、metrics-server、konnectivity-agentなど)がそのノードに置かれ、オートスケーラーがそれらを動かさなかったためです。最初のワークスペースの Pod も、そのノードに置かれました - 試用期間中は常にかかる費用と考えてください。
pause.shはプールを明示的に 0 台にします
kubectl get nodes -L agent-fleet.io/pool で、なくなったかどうかがわかります。
測っていないもの: 外向きの通信(試験では無視できる程度)、実際の利用での Cloud Logging の量、CP のディスクのスナップショットの増え方。
ECS と比べる
Section titled “ECS と比べる”- ECS の配備の常時の費用は、東京リージョンで月 107 ドル程度です。1 ドル 150 円で換算すると(測定の一部ではない仮定です)月約 16,000 円で、GKE の既定値はアイドルでおよそ 4 倍です
- 差は Kubernetes そのものではなく、高可用性の選択から来ます。Cloud SQL の
REGIONAL、2 つのゾーンのシステムノード、リージョンクラスターの管理手数料(ゾーンクラスター 1 つは請求先アカウントごとに GKE の無料枠に入ります)です - ワークスペースのプールがノード丸ごとで課金されることも効きます。ECS は各ワークスペースの Fargate のタスク(1 vCPU + 2 GB)で課金されます
- ほとんどは変数で変えられます(
zonal_cluster、sql_availability_type、sql_tier、system_machine_type、node_zones、workspace_machine_type、managed_prometheus)。ただし、ワークスペースの Pod は 1 台のノードに収まる必要があります
小さな構成の費用
Section titled “小さな構成の費用”試用向けの小さな構成 の見積もりです。上で実測した単価(asia-northeast1、円)から出した、ワークスペースなしで動かしたときの 1 日あたりの額です。
- 実測した単価はクレジット前です。「小さな構成」の列は、GKE の無料枠(請求先アカウントごとの月のクレジット)がまだ残っている前提で、管理手数料を 0 にしています
- ほかのゾーンクラスターや Autopilot のクラスターが無料枠を使っていれば、1 日あたり約 377 円を足します
| 項目 | 既定の構成 | 小さな構成 | 根拠 |
|---|---|---|---|
| システムプール | 649 | ~325 | e2-standard-2 が 2 台でなく 1 台 |
| Cloud SQL の vCPU + RAM | 663 | ~331 | ZONAL は REGIONAL の半分 |
| GKE の管理手数料 | 377 | 0 | ゾーンクラスター 1 つは請求先アカウントごとに無料。2 つめは課金される |
| Managed Prometheus のサンプル | 58 | 0 | オフ |
| そのほか | 393 | 393 | 変えない。ディスクと SQL のストレージは少し減るが数えていない |
| 合計 | ~2,140 | ~1,050 |
- 30 日で約 31,500 円(既定の構成は約 64,000 円)で、ECS の常時の費用(上の換算で約 16,000 円)のまだ約 2 倍です
- 止めていれば管理手数料もなくなり、1 日あたり約 220 円です
n2-standard-4のワークスペースのノードは 1 時間あたり約 39 円です(n2-standard-8 の半分。コア時間と GiB 時間がマシンに比例するため)- Cloud SQL とシステムプールの数字は、実測から比例で出したもので、請求額ではありません。Network Intelligence Center の費用(1 日あたり約 23 円)を変える変数はありません
- アイドル停止と強制停止を使う:配備の一時停止とワークスペースの自動停止
- 撤去する
- デプロイ先を選ぶ
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/kubernetes/pause/index.md を読んで