バックアップ・復元する
GKE の配備で失うと困るものを把握し、CP のディスクにスナップショットの予定を入れます。データベースとディスクの復元は、本番に触れずにリハーサルします。
コマンドは GKE に構築する のシェル変数と、kubectl がこのクラスターを指していることを前提にしています。
| あなたがやること | 起きること |
|---|---|
| 何もしない | Terraform がデータベースの自動バックアップとポイントインタイムリカバリをオンにしている(sql_backup_retention_days、既定は 7 日) |
| 最初の起動のあとに、CP のディスクにスナップショットの予定を入れる | 毎日スナップショットが取られ、ディスクがあるあいだは 14 日で消える |
| データベースを複製して中を確かめ、消す | データベースを戻せることと、かかる時間がわかる |
| スナップショットからディスクを作り、Pod で中を読み、消す | ディスクを戻せることと、かかる時間がわかる |
残すべきもの
Section titled “残すべきもの”配備の状態を持つものは 2 つで、組になっています。
| もの | 中身 |
|---|---|
| データベース(Cloud SQL) | すべての行 |
CP 自身のディスク(claim af-cp-data、WS_DATA の /var/lib/af-cp) |
内部の git プロバイダーのベアリポジトリと LFS オブジェクト、git トークンのキー。これがないと、データベースにあるリポジトリの一覧は役に立たない。キーが新しくなると、発行済みの git トークンがすべて無効になる |
- 3 つめは
AF_MASTER_KEYで、シークレットストアにあります(P14) - ホームディレクトリはこのバージョンではバックアップされません。ディスクを失うと、ホームディレクトリも失います
- CP を止めて取ったバックアップなら、2 つの中身が整合します。定期的に自動で取るものは整合しません。ディスクのスナップショットとデータベースのバックアップは違う時刻に動くので、そのあいだにプッシュしたリポジトリは片方にしかないことがあります
CP のディスクを探す
Section titled “CP のディスクを探す”復元するとディスクが置き換わるので、復元のあとにもう一度探します。
PV="$(kubectl -n "$PREFIX-cp" get pvc af-cp-data -o jsonpath='{.spec.volumeName}')"HANDLE="$(kubectl get pv "$PV" -o jsonpath='{.spec.csi.volumeHandle}')" # projects/<p>/zones/<z>/disks/<name>ZONE="$(echo "$HANDLE" | cut -d/ -f4)"; DISK="${HANDLE##*/}"スナップショットの予定を入れる
Section titled “スナップショットの予定を入れる”最初の起動のあとに一度、そして復元でディスクが置き換わるたびに入れます(予定は claim ではなくディスクに付きます)。
gcloud compute resource-policies create snapshot-schedule "$PREFIX-cp-data" --project "$PROJECT" \ --region "$REGION" --daily-schedule --start-time 02:00 --max-retention-days 14 # 1 回だけ。UTC で、ちょうどの時刻gcloud compute disks add-resource-policies "$DISK" --zone "$ZONE" --project "$PROJECT" \ --resource-policies "$PREFIX-cp-data"予定で取ったスナップショットは、元のディスクがあるあいだは 14 日で消えます。ディスクが消えても(復元で置き換わった、撤去で消した)、--on-source-disk-delete の既定が keep-auto-snapshots なので、スナップショットは自分で消すまで残ります。ディスクがなくなったあとでも戻せるのはそのためです。下の手順やアップグレードで手で取ったものも、消すまで残ります(gcloud compute snapshots delete <name> --project "$PROJECT")。
スナップショットからディスクとボリュームを作る
Section titled “スナップショットからディスクとボリュームを作る”ディスクのリハーサルと、CP をアップグレードする の戻す手順は、どちらもスナップショットからディスクを作り、事前に作ったボリュームとして Kubernetes に渡します。
- このボリュームには、StorageClass が作るボリュームと違ってゾーンの情報がないので、PersistentVolume にゾーンを書きます
nodeAffinityがないと、Pod がシステムプールの別のゾーンに置かれることがあります。そのゾーンではディスクをアタッチできないので、Pod はいつまでも起動しません
変数を設定します。ZONE は CP のディスクを探す のものです。
| 変数 | 中身 |
|---|---|
NAME |
新しいディスクとボリュームの名前。復元ごとに違う名前にする。決まった名前だと、前の復元で使い始めたディスクとぶつかる |
CLAIM |
そのボリュームを使う claim |
SNAP |
スナップショット |
手順が 2 つに分かれているので、ほかを何も変えないうちにディスクだけを作れます。
ディスク:
gcloud compute disks create "$NAME" --zone "$ZONE" --project "$PROJECT" \ --source-snapshot "$SNAP" --type pd-balancedSIZE="$(gcloud compute disks describe "$NAME" --zone "$ZONE" --project "$PROJECT" --format='value(sizeGb)')"claim $CLAIM 用のボリューム:
kubectl apply -f - <<YAMLapiVersion: v1kind: PersistentVolumemetadata: name: $NAMEspec: capacity: { storage: ${SIZE}Gi } accessModes: ["ReadWriteOnce"] persistentVolumeReclaimPolicy: Retain # 確かめ終わるまで。それぞれの手順を参照 storageClassName: $PREFIX-workspace claimRef: { namespace: $PREFIX-cp, name: $CLAIM } csi: driver: pd.csi.storage.gke.io volumeHandle: projects/$PROJECT/zones/$ZONE/disks/$NAME fsType: ext4 nodeAffinity: required: nodeSelectorTerms: - matchExpressions: - { key: topology.gke.io/zone, operator: In, values: ["$ZONE"] }YAMLデータベースの復元をリハーサルする
Section titled “データベースの復元をリハーサルする”構築したあとに一度、そしてデータベースの設定を変えるたびに、本番のインスタンスに触らずにリハーサルします。
gcloud sql instances clone "$PREFIX-pg" "$PREFIX-pg-rehearsal" --project "$PROJECT" \ --point-in-time "$(date -u -d '-15 min' +%Y-%m-%dT%H:%M:%SZ)"# gcloud は 10 分ほどで待つのをやめることがある("taking longer than expected")が、複製は続いている。# 表示されたオペレーションの終わりか、複製の状態が RUNNABLE になるまで待つ:# gcloud beta sql operations wait --project "$PROJECT" --timeout unlimited <operation># gcloud sql instances describe "$PREFIX-pg-rehearsal" --project "$PROJECT" --format='value(state)'# 「4. データベースの権限を付ける(最初の 1 回)」と同じ方法で複製に接続し、データがあることを確かめる:# SELECT count(*) FROM identity; SELECT max(at) FROM audit_log;gcloud sql instances patch "$PREFIX-pg-rehearsal" --project "$PROJECT" --no-deletion-protectiongcloud sql instances delete "$PREFIX-pg-rehearsal" --project "$PROJECT"- 複製への接続は GKE に構築する の psql の Pod と同じ方法です
- 複製は本番のインスタンスから削除保護を受け継ぐので、削除コマンドだけでは “The instance is protected” で失敗します
- 削除保護を外すのは複製だけ(
$PREFIX-pg-rehearsal)にしてください。$PREFIX-pgでは外しません。本番のデータベースを誤って消さないように、Terraform がそこに設定しています
ディスクの復元をリハーサルする
Section titled “ディスクの復元をリハーサルする”スナップショットを本番のディスクとは別のディスクに戻し、中を読んでから消します。ディスクを作れただけでは、中身について何もわかりません。
スナップショットを取る前に:
- テスト用のリポジトリに、内部の git プロバイダーを通して確認用のコミットをプッシュし、コミット ID を控えます
- LFS を使うなら、そのコミットで 1 つのファイルを LFS で追跡し、oid とサイズを控えます(
git lfs ls-files -lが oid、wc -cがサイズを示します)
いま存在する LFS オブジェクトを確かめるだけでは足りません。LFS オブジェクトが 1 つもないスナップショットでも合格してしまうからです。
本番の claim には触らずに、次を実行します。
NAME="$PREFIX-cp-data-rehearsal-$(date +%Y%m%d%H%M)" CLAIM=af-cp-data-rehearsal SNAP=<snapshot>SENT_REPO="git/<tenant slug>/<test repo>.git" SENT_REF=refs/heads/<branch> SENT_COMMIT=<commit id>LFS_OID=<oid, or empty without LFS> LFS_SIZE=<bytes, or empty>LFS_PATH=""; [ -n "$LFS_OID" ] && LFS_PATH="$SENT_REPO/lfs/objects/${LFS_OID:0:2}/${LFS_OID:2:2}/$LFS_OID"# ……「スナップショットからディスクとボリュームを作る」の両方の部分……IMAGE="$(kubectl -n "$PREFIX-cp" get deployment af-cp -o jsonpath='{.spec.template.spec.containers[?(@.name=="cp")].image}')"kubectl apply -f - <<YAMLapiVersion: v1kind: PersistentVolumeClaimmetadata: { name: $CLAIM, namespace: $PREFIX-cp }spec: accessModes: ["ReadWriteOnce"] storageClassName: $PREFIX-workspace volumeName: $NAME resources: { requests: { storage: ${SIZE}Gi } }---apiVersion: v1kind: Podmetadata: { name: af-cp-data-rehearsal, namespace: $PREFIX-cp }spec: restartPolicy: Never nodeSelector: { agent-fleet.io/pool: system } securityContext: runAsNonRoot: true runAsUser: 1000 runAsGroup: 1000 seccompProfile: { type: RuntimeDefault } containers: - name: check image: $IMAGE command: ["sh", "-c"] args: - | set -e; cd /data; ls -la test -d git || { echo "FAIL: no git/"; exit 1; } for r in git/*/*.git; do git --git-dir="\$r" fsck --no-dangling >/dev/null; echo "fsck ok \$r"; done test "\$(git --git-dir="$SENT_REPO" rev-parse "$SENT_REF")" = "$SENT_COMMIT" \ || { echo "FAIL: sentinel commit"; exit 1; } echo "sentinel commit ok" if [ -n "$LFS_PATH" ]; then test -f "$LFS_PATH" || { echo "FAIL: sentinel LFS object missing"; exit 1; } test "\$(wc -c < "$LFS_PATH")" -eq "$LFS_SIZE" || { echo "FAIL: sentinel LFS size"; exit 1; } test "\$(sha256sum "$LFS_PATH" | cut -c1-64)" = "$LFS_OID" || { echo "FAIL: sentinel LFS hash"; exit 1; } echo "sentinel lfs ok" fi find git -path '*/lfs/objects/*' -type f > /tmp/lfs; n=0 while read -r f; do test "\$(sha256sum "\$f" | cut -c1-64)" = "\$(basename "\$f")" || { echo "FAIL: \$f"; exit 1; } n=\$((n + 1)) done < /tmp/lfs echo "lfs objects present and intact: \$n" env: [{ name: HOME, value: /tmp }] securityContext: allowPrivilegeEscalation: false readOnlyRootFilesystem: true capabilities: { drop: ["ALL"] } volumeMounts: - { name: data, mountPath: /data, readOnly: true } - { name: tmp, mountPath: /tmp } volumes: - name: data persistentVolumeClaim: { claimName: $CLAIM, readOnly: true } - name: tmp emptyDir: {}YAMLkubectl -n "$PREFIX-cp" get pvc "$CLAIM" # Bound で、相手は $NAMEkubectl -n "$PREFIX-cp" wait --for=jsonpath='{.status.phase}'=Succeeded pod/af-cp-data-rehearsal --timeout=600skubectl -n "$PREFIX-cp" logs af-cp-data-rehearsal # リポジトリごとの "fsck ok"、"sentinel commit ok"、"sentinel lfs ok"kubectl -n "$PREFIX-cp" get pod af-cp-data-rehearsal -o wide # ノードが $ZONE にある次のすべてを満たしたときだけ合格です。
- claim がバインドされた
- Pod がディスクのゾーンで、uid 1000 として動き、
Succeededで終わった - どのリポジトリも
fsckを通った - 確認用のコミットが控えたものと一致した
- LFS を使うなら、確認用のオブジェクトがそのパスにあり、控えたサイズとハッシュに一致し、ほかのオブジェクトもそれぞれハッシュがファイル名と一致した
初回は、この確認がきちんと失敗できることも確かめます。SENT_COMMIT を 1 文字変える、LFS_OID を 1 文字変える(オブジェクトがない状態になる)、LFS_SIZE を違う値にする、の 3 とおりについて、それぞれ Pod を消してから適用し直します。どの場合も FAIL: の行を出して Failed で終わることを確かめます。
終わったらすべて消します。ボリュームは Retain なので、消すまでディスクが残ります。
kubectl -n "$PREFIX-cp" delete pod af-cp-data-rehearsalkubectl -n "$PREFIX-cp" delete pvc "$CLAIM"kubectl delete pv "$NAME"gcloud compute disks delete "$NAME" --zone "$ZONE" --project "$PROJECT"復元にかかる時間を記録する
Section titled “復元にかかる時間を記録する”リハーサルの日付と、それぞれの復元にかかった時間を記録します。その時間が、実際に復旧するときにかかる時間です。
ほとんど空のデータでの一例です。目安にすぎず、実際のデータではどれも長くなります。
| 作業 | かかった時間 |
|---|---|
| データベースの複製 | 約 10 分 |
| ディスクのスナップショット | 61 秒 |
| スナップショットからのディスク | 26 秒 |
| 確認用の Pod | 48 秒 |
- CP をアップグレードする:上げる前のバックアップと、戻す手順
- バックアップして復元する:ほかの形態
- 撤去する:撤去のあとに残るスナップショット
エージェント向け
この指示をエージェントに送ると、このページを読ませられます。
https://agent-fleet.org/docs/ja/operate/kubernetes/backup/index.md を読んで