CP をアップグレードする
Kubernetes の配備で、データベースと CP のディスクのバックアップを取ってから CP を新しいバージョンに上げます。うまくいかなかったときに、両方のバックアップと前のイメージで戻す方法もここにあります。
コマンドは GKE に構築する のシェル変数と、kubectl がこのクラスターを指していることを前提にしています。
| あなたがやること | 起きること |
|---|---|
| CP を止め、Pod が消えるのを待つ | データベースに書き込むものがなくなる |
| データベースのバックアップと CP のディスクのスナップショットを取る | 戻せる状態になる |
| オーバーレイのタグを変えて適用する | CP が起動時にデータベースを移行する。ダウングレードはできない |
| ワークスペースはメンバーに任せる | 動いているワークスペースは起動したときのイメージのまま。次の起動で新しいイメージになる |
- Deployment の戦略は
Recreateなので、2 つの CP が 1 つのデータベースに対して動くことはありません - 一般的な注意(リリースノート、バックアップ)は アップグレードする にあります
- CP を止め、Pod が消えるまで待ちます(スケールは非同期です)
ターミナルウィンドウ kubectl -n "$PREFIX-cp" scale deployment/af-cp --replicas=0kubectl -n "$PREFIX-cp" wait --for=delete pod -l app.kubernetes.io/name=af-cp --timeout=300s - 両方のバックアップを取り、それぞれ終わるのを待ちます。
DISKとZONEは CP のディスクを探す の方法で取得しますターミナルウィンドウ gcloud sql backups create --instance "$PREFIX-pg" --project "$PROJECT" --description "before <version>"gcloud compute snapshots create "$PREFIX-cp-data-before-<version>" --project "$PROJECT" \--source-disk "$DISK" --source-disk-zone "$ZONE" - オーバーレイの
images:に新しいタグを設定して適用します。kubectl applyがレプリカを 1 に戻しますターミナルウィンドウ kubectl apply -k "$OVERLAY"kubectl -n "$PREFIX-cp" rollout status deployment/af-cp
ワークスペースのイメージは、deployment.yaml の workspaceImage に従います。
- 動いているワークスペースは、起動したときのイメージのままです
- 次の起動で、そのタグの今のダイジェストに固定されます
- 古いイメージのままのワークスペースには、Console が古いことを示します
戻すとは、上げるときの手順 2 の両方のバックアップと、前のイメージを一緒に戻すことです。移行済みのデータベースで前のイメージを動かしても、ロールバックにはなりません。
- CP を止め、Pod が消えるのを待ちます(上げるときの手順 1 と同じ)。Pod が消える前に復元を始めないでください。CP が動いていると、置き換え中のデータベースに書き込んでしまいます
- データベースを戻します
ターミナルウィンドウ gcloud sql backups list --instance "$PREFIX-pg" --project "$PROJECT"gcloud sql backups restore <backup-id> --restore-instance "$PREFIX-pg" --project "$PROJECT" - ディスクを戻すのは、スナップショットのあとに内部の git プロバイダーを使ったときだけです。今のディスクは残したまま、スナップショットから新しいディスクを作り、それから claim をそちらに向けます。新しいディスクを作れなかった場合は、まだ何も変わっていません。使う手順は スナップショットからディスクとボリュームを作る にあります。内部の git プロバイダーを使っていなければ、この手順は飛ばします。claim
af-cp-dataは今のディスクにバインドされたままです。それで何が変わるかは手順 4 と 5 にあります手順 4 の前にやめるときは、新しいボリュームを消し、古いボリュームにバインドされた claim を作り直します(ターミナルウィンドウ OLD_PV="$PV" OLD_DISK="$DISK" # 「CP のディスクを探す」からNAME="$PREFIX-cp-data-restore-$(date +%Y%m%d%H%M)" CLAIM=af-cp-data SNAP="$PREFIX-cp-data-before-<version>"# ……「スナップショットからディスクとボリュームを作る」のディスクの部分……kubectl patch pv "$OLD_PV" -p '{"spec":{"persistentVolumeReclaimPolicy":"Retain"}}' # 古いディスクを残すkubectl -n "$PREFIX-cp" delete pvc af-cp-data# ……「スナップショットからディスクとボリュームを作る」のボリュームの部分……kubectl patch pv "$OLD_PV" -p '{"spec":{"claimRef":null}}'のあと、volumeName: $OLD_PVの claimaf-cp-data) - オーバーレイに前のタグを設定し、
kubectl apply -kします。手順 3 を実行したなら、claim が作り直されて戻したボリュームにバインドされます。飛ばしたなら claim を消していないので、元のボリュームのままです。これを確かめ、あわせて CP がディスクのゾーンで動いていることも確かめますターミナルウィンドウ kubectl -n "$PREFIX-cp" get pvc af-cp-data # Bound。VOLUME は手順 3 を実行したなら $NAME、飛ばしたなら元のボリュームkubectl -n "$PREFIX-cp" rollout status deployment/af-cpkubectl -n "$PREFIX-cp" get pods -o wide -l app.kubernetes.io/name=af-cp # $ZONE のノード - 手順 3 を実行したときだけです。 飛ばしたなら、ディスクもスナップショットの予定も元のままなので、することはありません。実行したなら、戻した配備が動くことを確かめて(サインインし、リポジトリをクローンする)から、ディスクを整理します。古いディスクを消し、戻したボリュームを StorageClass の
Deleteに戻し(破棄や撤去でほかと同じく消えるように)、スナップショットの予定を新しいディスクに移しますターミナルウィンドウ echo "old: $OLD_PV $OLD_DISK new: $NAME" # 3 つとも、このシェルの手順 3 で設定したもの。空なら止めるkubectl delete pv "$OLD_PV"gcloud compute disks delete "$OLD_DISK" --zone "$ZONE" --project "$PROJECT"kubectl patch pv "$NAME" -p '{"spec":{"persistentVolumeReclaimPolicy":"Delete"}}'# 「CP のディスクを探す」のブロックで PV・HANDLE・ZONE・DISK を読み直してから:gcloud compute disks add-resource-policies "$DISK" --zone "$ZONE" --project "$PROJECT" \--resource-policies "$PREFIX-cp-data"
ホームディレクトリの配置より前のバージョンに戻す
Section titled “ホームディレクトリの配置より前のバージョンに戻す”今のバージョンでは、ワークスペースのホームディレクトリはホームディレクトリ用の claim の中のディレクトリ .af-home です。この配置での最初の起動が以前のホームディレクトリをそこへ移し、そのことを状態の claim に記録します。
それより前の CP はこの配置を知りません。この配置で起動したことのあるワークスペースがあるなら、そのバージョンまで戻すのは安全ではありません。
| 前の CP でやること | 起きること |
|---|---|
| ワークスペースを起動する | Pod が claim のルートをホームディレクトリとしてマウントする。メンバーにはほとんど空のホームディレクトリが見え、ファイルは .af-home に隠れる |
| 「ホームを掃除する」・管理者の「home を掃除」 | .af-home ごと消す。移したホームディレクトリも、ログインも消える |
| 「作り直す」 | ルートの repos だけを消す。移した ~/repos は隠れたまま残る |
CP をそのバージョンより前に戻すときは、次のようにします。
- 先にすべてのワークスペースを止めます。ホームディレクトリを戻すまで、前の CP でどれも起動・作り直し・掃除しないでください
- ワークスペースごとに 1 つずつ戻します。ホームディレクトリのディスクのスナップショットを取り、ワークスペースを止めたまま、ワークスペースのイメージから Pod を動かします。ワークスペースの Pod と同じセキュリティコンテキスト(
devとして)で、ホームディレクトリ用の claim を/v、状態の claim を/sにマウントし、その中で次をスクリプトとして(sh -s)実行しますターミナルウィンドウ V=/v R=/s/wipe/layoutset -eucd "$V"# Stopped after the last move: only the record is left to remove.if [ "$(cat -- "$R" 2>/dev/null)" = reverting ] && [ ! -e .af-home ] && [ ! -L .af-home ]; then rm -f -- "$R"; exit 0; fi[ -d .af-home ] && [ ! -L .af-home ] || { echo ".af-home is missing or not a directory"; exit 1; }[ -f "$R" ] && [ ! -L "$R" ] || { echo "no layout record at $R"; exit 1; }st=$(cat -- "$R")case "$st" indone)for e in .[!.]* ..?* *; do[ -e "$e" ] || [ -L "$e" ] || continuecase "$e" in .af-home|lost+found) ;; *) echo "the root holds $e besides the home: see step 3"; exit 1;; esacdone ;;reverting) ;; # a run stopped halfway: carry on*) echo "the layout record is not done or reverting"; exit 1 ;;esacfor e in .af-home/.[!.]* .af-home/..?* .af-home/*; do[ -e "$e" ] || [ -L "$e" ] || continuen=${e#.af-home/}case "$n" in .af-home|lost+found) echo "the home holds $n, a name the root keeps"; exit 1;; esacif [ -e "$n" ] || [ -L "$n" ]; then echo "$n is both in the home and on the root"; exit 1; fidone# Only now, with every check passed, mark the move; replaced whole, never truncated.if [ "$st" = done ]; thenif [ -e "$R.tmp" ] || [ -L "$R.tmp" ]; then echo "$R.tmp is in the way"; exit 1; fi{ echo reverting > "$R.tmp" && mv -fT -- "$R.tmp" "$R"; } || { echo "cannot mark $R"; exit 1; }fifor e in .af-home/.[!.]* .af-home/..?* .af-home/*; do[ -e "$e" ] || [ -L "$e" ] || continuen=${e#.af-home/}; ro=# Moving a directory rewrites its "..", which needs write permission on it.if [ -d "$e" ] && [ ! -L "$e" ] && [ ! -w "$e" ]; then chmod u+w -- "$e"; ro=1; fimv -T -- "$e" "$n"[ -z "$ro" ] || chmod u-w -- "$n"donermdir .af-homerm -f -- "$R"- スクリプトは、記録や移動をする前にすべてを確かめます。既存の名前を上書きする移動はしません
- 途中で止まると、記録は
revertingになります。表示されたことを直してもう一度実行すると、続きから進みます - 終わるまで、そのワークスペースはどちらの CP でも起動しないでください。今のバージョンは
revertingの記録を拒み、前のバージョンは半分移したルートをマウントします - 移す途中で止まった読み取り専用のディレクトリは、書き込める状態で残ることがあります
- 記録が消えたあと、今のバージョンでの次の起動がホームディレクトリをもう一度移します
- それでも前の CP でワークスペースが動いてしまったら、今のバージョンはそれを起動し直すのを拒みます。
kubectl logs <pod> -c home-layoutに、claim のルートにホームディレクトリ以外のものがあると出ます- ルートには前の CP のセッションが書いたもの、
.af-homeには移したホームディレクトリがあります - ワークスペースを止めてディスクのスナップショットを取り、同じような Pod の中で、項目ごとにどちらのコピーを残すか決めます。ルートに
.af-homeとlost+foundだけが残るようにします。または手順 2 のとおりにホームディレクトリを戻します
- ルートには前の CP のセッションが書いたもの、
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/kubernetes/upgrade/index.md を読んで