撤去する
GKE の配備を、データベース・クラスター・ネットワークまで消します。最後に、手で消す必要があるものも片付けます。
コマンドは GKE に構築する のシェル変数と、kubectl がこのクラスターを指していることを前提にしています。
| あなたがやること | 起きること |
|---|---|
| Console で全メンバーのワークスペースを破棄する | ディスクが claim と一緒に消える |
| 必要ならバックアップを取る | オーバーレイを消すと af-cp-data のディスクも消えるので、その前に残したいものを残しておける |
オーバーレイを kubectl delete -k する |
Namespace、CP、そのディスクが消える |
削除保護を外して terraform destroy する |
Cloud SQL、クラスター、ネットワークなどが消える |
| スナップショットと予定を手で消す | 費用が残らない |
Cloud SQL、クラスター、KMS キーには、意図的に削除保護をかけています。
- Console で、すべてのメンバーのワークスペースを先に破棄します。ディスクが claim と一緒に消えます
- あとで要るかもしれないものがあれば、CP をアップグレードする の手順 2 のバックアップを取ります。オーバーレイを消すと claim
af-cp-dataが消え、reclaimPolicy: Deleteなのでそのディスクも消えます - 先に CP のディスクの名前を控えます(CP のディスクを探す)。StorageClass が作ったディスクには
af-cp-dataではなくボリュームの名前が付くので、控えた名前でしか見つけられません。それからオーバーレイを消し、配備のボリュームとディスクが残っていないことを確かめます。終わっていない復元のRetainのボリュームがあると、そのディスク(名前は$PREFIX-cp-data-…)が残ります。残っていたら消しますターミナルウィンドウ # 先に「CP のディスクを探す」のブロックで PV・HANDLE・ZONE・DISK を読むkubectl delete -k "$OVERLAY"kubectl get pv | grep "$PREFIX-cp"gcloud compute disks describe "$DISK" --zone "$ZONE" --project "$PROJECT" # "not found" と出るはずgcloud compute disks list --project "$PROJECT" --filter="name~$PREFIX-cp-data" # 復元やリハーサルのディスク - Terraform が設定した削除保護をすべて外し、適用してから destroy します
| リソース | 外すもの |
|---|---|
| クラスター | deletion_protection = false |
| Cloud SQL のインスタンス | deletion_protection = false(Terraform 自身の保護)と settings.deletion_protection_enabled = false(Cloud SQL API の保護。これだけでも削除を拒む)の両方 |
| KMS キー | prevent_destroy を消す |
$TF apply$TF destroydestroy がつまずかないための設定
Section titled “destroy がつまずかないための設定”Google Cloud のふるまいで destroy が止まらないように、3 つのリソースに設定があります。
| リソース | 設定 | 理由 |
|---|---|---|
google_sql_database.agentfleet、google_sql_user.cp |
deletion_policy = "ABANDON" |
CP のデータベースユーザーは、自分が最初の起動で作るデータベースのオーナーになるので、Terraform はどちらも消せない。どちらも Cloud SQL のインスタンスと一緒に消え、何も残らない |
google_service_networking_connection.private_service_access |
deletion_policy = "REMOVE_PEERING" |
Service Networking は、インスタンスが消えたあとも長いあいだ接続を使用中と報告する。この設定はネットワークから VPC ピアリングを外すので、VPC の削除が止まらない(ABANDON だとピアリングが残って止まる) |
ABANDON は、全体の destroy に限らず、Terraform がそのリソースを消すときにはいつも API の呼び出しを省きます。
- インスタンスを残したままデータベースやユーザーを設定から消す、それだけを destroy する、または名前を変える(置き換えになる)と、古いデータベースとそのデータ、古い IAM データベースユーザーが、Terraform の管理から外れて Cloud SQL に残ります
- 意図して消すときは、オーナーと依存関係を解消し、
deletion_policy = "DELETE"にして先に適用するか、手で片付けます(また管理するならterraform import)
これらの設定より前に作った配備は、$TF destroy の前に上の $TF apply で設定をステートに記録します。それでもピアリングのせいで VPC の削除が拒まれたら、手で消して destroy し直します。
gcloud compute networks peerings delete servicenetworking-googleapis-com --network "$PREFIX-vpc" --project "$PROJECT"実際の撤去で見たこと
Section titled “実際の撤去で見たこと”ゾーンクラスター 1 つ、小さな構成での撤去で見たことです。
- 上の削除の設定があると、destroy はデータベースとユーザーを飛ばし(0 秒)、Cloud SQL のインスタンスを約 2.5 分で消し、サービスネットワーキングの接続、アドレス範囲、サブネット、VPC を、長く待たされることも、手でピアリングを削除することもなく消しました
- 最初の
$TF destroyが、google_certificate_manager_certificate_mapで 1 回失敗することがあります(ターゲット HTTPS プロキシに “already being used by”)。Gateway のコントローラーが、クラスターが消えたあと非同期にそのプロキシを消すためです。1 分ほどおいて$TF destroyをもう一度実行します。タイミングによるもので、3 回の撤去のうち 1 回で起き、残りは 1 回の destroy で終わりました terraform initも、プロバイダーのダウンロード中に “connection reset by peer” で 1 回失敗することがあります。もう一度実行します- ワークスペースの Namespace を先に消していると、
kubectl delete -kがその Namespace のネットワークポリシーについてNotFoundで終了コード 1 を返します。何も残らないので問題ありません - KMS のキーリングとキーの名前は、destroy のあと使い直せません。キーのバージョンは破棄がスケジュールされる(30 日後。
kms.tfはdestroy_scheduled_durationを設定しないので、Cloud KMS の既定値です)だけで、キーリングは削除できないためです。同じname_prefixでスタックを作り直すと、kms.tfで “already exists” になります。別の接頭辞を使うか、キーリングとキーを新しいステートに import します
手で消すもの
Section titled “手で消すもの”- KMS キーは Google Cloud が消さず、バージョンの破棄がスケジュールされるだけです
- CP のディスクのスナップショットとスナップショットの予定は、destroy のあとも残ります。いらなくなったら
gcloud compute snapshots deleteとgcloud compute resource-policies deleteで消します
手で消すものはこれだけです。データベースとユーザーはインスタンスと一緒に消え、Private Service Access の予約アドレス範囲は Terraform のリソースなので destroy が消します。
- 一時停止する・費用を見る:データを残したまま費用を下げる
- バックアップ・復元する
- アイドル停止と強制停止を使う
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/kubernetes/teardown/index.md を読んで