コンテンツにスキップ

アップグレードする

ECS の配備を新しいリリースに上げ、問題があれば前のリリースに戻します。 どの形態にも共通する注意(バックアップ、メンバーに見えるもの)は アップグレードする にあります。このページは ECS の手順です。

あなたがやること 起きること
先に RDS と EFS のバックアップを取る 元に戻せるようになる
update.sh を実行する イメージを確かめ、20-platform などを順に更新し、30-ingress の ImageTag を変える。Control Plane のサービスがブルー/グリーンで入れ替わる
何もしない 動いているワークスペースは古いイメージのまま。次に停止して起動したときに新しいイメージになる
前のタグでもう一度上げる 前のリリースに戻る

Control Plane とワークスペースのイメージは、同じバージョンにそろえて一緒に上げます。30-ingress のパラメータ ImageTag(既定は dev)が、両方のタグです。

本番の配備では、上げる直前にバックアップを取ります。

  • Persistence=retain なら RDS には日次の自動バックアップがありますが、最新のものはほぼ 1 日前かもしれません
  • EFS に日次のバックアップがあるのは、データスタックにバックアップのボールトとプランがあるときだけです(次で確かめます)

RDS のスナップショットと、EFS のオンデマンドの復旧ポイントを取ってください。EFS の復旧ポイントにはボールトが要るので、古い配備では先に次の確認をします。

EFS のバックアップがあるか確かめる

Section titled “EFS のバックアップがあるか確かめる”

Persistence=retain の配備だけの確認です。update.sh も同じ確認を実行して警告します。

ターミナルウィンドウ
./efs-backup-check.sh --profile <p> --region <r> --stack af-ecs-ingress # 読み取りだけ
aws cloudformation describe-stacks --stack-name af-ecs-data \
--query "Stacks[0].Outputs[?OutputKey=='EfsBackupVaultName'].OutputValue" --output text \
--profile <p> --region <r>

EfsBackupVaultName が出ない(None)なら、データスタックは v0.26.0 より前のままです。Persistence が何であっても、EFS のバックアップはありません。

update.sh は 10-data に触らないので、手でオンにします。直接デプロイせず、変更セットを使います。

  1. deploy --no-execute-changeset で変更セットを作ります。パラメータを渡さなければ、保存されている値のままです
  2. describe-change-set で中身を見ます
  3. 足されるのが EfsBackup* の 4 つのリソースと、Control Plane のファイルシステムより古いデータスタックでは CpData* の 5 つのリソースだけのときだけ、execute-change-set で実行します。後者の場合は、読めるリポジトリを先に写す Control Plane のデータルート の手順に従います。FileSystem か Db に Modify や Replacement があれば、実行せずに止めます。retain ではどちらも消さずに残す設定ですが、作り直されると新しい空のリソースになります

v0.26.0 より前に構築した Persistence=retain の配備は、それ以来 EFS のバックアップがないまま動いていて、ほかにそれを知らせるものはありません。v0.26.0 を越えて上げたら、この確認を 1 回実行してください。データスタックの出力に EfsBackupVaultName が出て、翌朝に日次の復旧ポイントがあれば(aws backup list-recovery-points-by-backup-vault)完了です。

ふつうはこのスクリプトを使います。手で上げる手順を 1 つにまとめたもので、compose の docker compose pull && docker compose up -d にあたります。

ターミナルウィンドウ
VERSION=<v> ./update.sh --profile <p> --region <r> # push 済みのタグをデプロイする
VERSION=<v> ./update.sh --profile <p> --region <r> --push # 先に ECR に push する
VERSION=<v> ./update.sh --profile <p> --region <r> --dry-run
オプション 中身
なし ECR に push 済みのタグをデプロイする
--push 先に ECR に push する
--dry-run 計画を表示するだけで、何も変えない
--force 変更がなくても、Control Plane のサービスを新しくデプロイし直す
--pool-stack <stack> ecs-ec2 で、スロットプールのスタックの名前を指定する
すること 中身
EFS のバックアップがないと警告する Persistence=retain だけ。読み取りだけで確かめ、ないときは直す変更セットのコマンドを、デプロイする前と最後に表示する。上げるのは止めず、10-data も更新しない。バックアップの選択は、ファイルシステムの ARN をそのまま指定しているものだけを数え、読めなかったときや、NotResources・Conditions・タグで選んでいるときは「確認できない」と報告する
ECR にないタグを拒否する CloudFormation は文字列を保存するだけなので、push を忘れてもデプロイは成功し、Control Plane のタスクが CannotPullContainerError で落ちる。両方のリポジトリを先に確かめる
空の変更セットに気づく 同じタグに push し直すとテンプレートが変わらず、デプロイは「No changes to deploy」になり、古いイメージのまま動き続ける。そのときは ecs update-service --force-new-deployment に切り替え、サービスが安定するまで待つ
ecs-ec2 でスロットプールをデプロイし直す スロットのユーザーデータにセキュリティの設定があるため。起動テンプレートのバージョンを足すだけで、今あるスロットは起動したときのユーザーデータのまま。プールのスタックが見つからないと止まる(探すのに cloudformation:ListExports が要る)。--pool-stack <stack> で指定できる
追加のスタックが失敗しても先に進み、最後に失敗として終わる 50-tts と 60-engines をデプロイできなくても、30-ingress までデプロイして Control Plane を上げ、最後に FAILED: に続けてスタック名を示し、0 以外の終了コードで終わる。スタックのイベントで原因を直し、もう一度実行する。それより前の失敗(イメージの確認、20-platform、スロットプール)では止まる
リポジトリ・イメージ・スタックの順を守る 20-platform(ECR のリポジトリを持つ)を変更セットで先にデプロイし、作り直すものがないときだけ実行する。次に af-engine-tools:<EngineToolsImageTag> を GHCR から ECR に入れ、それから 60-engines をデプロイする。逆の順では、スタックは成功してもエンジンの取得用のコンテナが CannotPullContainerError のままになる。GHCR にもタグがなければ止まるので、先に engine-tools-image.yml を実行する
空になった値を消す ネットワークやデータのスタックにもうない値(ダウングレード後の WorkspaceSubnets など)を、30-ingress と 20-platform で変更セットを使って消し、読み戻す。ネットワークスタックを読めなければ、何も消さずに止まる
古いイメージのワークスペースを一覧する 自動では新しいイメージに移らないため。ワークスペースは止めない。止めるとそのメンバーのセッションが切れるので、いつにするかはメンバーが決める
プライベートサブネットに残る、動いているワークスペースを一覧する ネットワークスタックにワークスペース用のサブネットがあるとき。S3EndpointEnabled がすでに true なら警告になる。00-network はデプロイしない
残ったゴールデンスナップショットを知らせる ecs-ec2 だけ。前のイメージで作ったゴールデンは使われず、新しいメンバーのホームは空から作られる(最初の起動が遅くなるだけ)。自動の作り直し(既定でオン)なら、空きスロットが 2 つあれば数分で置き換わる。オフなら bake-golden.sh で作り直す

update.sh を使わないときの手順です。

  1. バックアップを取ります(上げる前に)

  2. 新しいタグを push します

    ターミナルウィンドウ
    VERSION=<v> ./release-ecr.sh --profile <p> --region <r>
  3. 30-ingress を、タグだけを変えてデプロイし直します。ほかのパラメータは前の値のままです

    ターミナルウィンドウ
    CFN_BUCKET=$(aws cloudformation describe-stacks --stack-name <platform stack> --query "Stacks[0].Outputs[?OutputKey=='CfnTemplatesBucket'].OutputValue" --output text --profile <p> --region <r>)
    aws cloudformation deploy --stack-name af-ecs-ingress \
    --template-file cfn/30-ingress.yaml --s3-bucket "$CFN_BUCKET" --s3-prefix cfn --capabilities CAPABILITY_NAMED_IAM \
    --parameter-overrides ImageTag=<v> \
    --profile <p> --region <r>
  • Control Plane と Console のサービスが新しいイメージに入れ替わります。ALB の裏で、短いブルー/グリーンの入れ替えです
  • ワークスペースには触りません。各ワークスペースは次に起動したときに新しいイメージになり、動いているワークスペースは停止して起動するまで今のタスクのままです
  • EFS と RDS は変わらず、状態はそのまま引き継がれます

メンバーには、Console の「新しいバージョンがあります」と、ワークスペースのバーの「要再起動」が出ます。違いは アップグレードする にあります。

「要再起動」は、ワークスペースが起動したときのイメージと、タグが今指すイメージを、Control Plane が ECR で比べて出します。バージョン番号は比べません。

  • そのために、CpTaskRole に、ワークスペースのリポジトリに対する ecr:BatchGetImage / ecr:DescribeImages が要ります。古い配備では、20-platform を 1 回デプロイし直してください。権限がないと比較が失敗しますが、エラーは出ず、バッジも出ません
  • AF_ECS_WORKSPACE_IMAGE が ECR のイメージでない配備(GHCR を直接使うなど)には、バッジは出ません

前のタグで同じ操作をすれば戻ります。

  • 一度出したリリースのタグに、別のイメージを push し直さないでください
  • リポジトリは MUTABLE なので、上書きは止められません。:dev を開発用に上書きできるようにするためで、リリースのタグを書き換えないのは運用の約束です

00-network と 10-data は、この手順にも update.sh にも含まれません。どちらかが要るリリースは、リリースノートにそう書きます。下の Control Plane のデータルート、ワークスペースのタスクを NFS から切り離す、v0.34.x から上げる がその例です。

aws cloudformation deploy --parameter-overrides Key= では、動いているスタックの値が空になりませんでした(「No changes」)。CLI は空の値を送っていて、原因はわかっていません。 update.sh と standup.sh は、空にする必要のある値を自分で空にし、読み戻して確かめます。手で空にするときは clear-params.sh を使います。

ターミナルウィンドウ
./clear-params.sh --profile <p> --region <r> --stack <stack> <Key>...

スタックの今のテンプレートで、指定したキーを外した変更セットを作ります。キーはテンプレートの Default が正確に "" のときだけ空になり、ほかのパラメータは前の値のままです。

実行のしかた 中身
オプションなし 変更セットを作り、リソースの変更と空になるキーを表示し、変更セットを残して、実行するコマンドを表示して止まる
--execute <change-set-name> <Key>... 表示を確かめて問題なければ、これで実行する。変更セットがない、AVAILABLE でない、そのキーを空にするだけのものでないときは拒否する(なくなっていたり実行中だったりしなければ、その変更セットを消す)。実行後に各値を読み戻す
--yes 作る・表示する・実行するを 1 回で行う
--dry-run 作って表示し、変更セットを消す
  • マスクされた(NoEcho)パラメータは UsePreviousValue のときだけ通します。SSM の型のパラメータは、同じ値に解決されるときだけです。変わらないと確かめられないものは拒否します
  • 作れなかった変更セット(「didn’t contain changes」など)は、報告して消します

ecs-ec2: スロットの AMI は Amazon の SSM パラメータに従う

Section titled “ecs-ec2: スロットの AMI は Amazon の SSM パラメータに従う”

WsRuntime=ecs-ec2 では、Control Plane が、Amazon の公開している ECS 最適化 AL2023 AMI の SSM パラメータ(x86_64 と arm64)を約 1 時間ごとに自分で読み、その AMI でスロットを起動します。デプロイしなくても、スロットは Amazon の更新に追随します。

  • SlotAmiId・SlotAmiIdArm64・Ec2SlotAmiArm64 は、最初の値と、読めないときの予備の値です
  • Control Plane のロールに、arn:aws:ssm:<region>::parameter/aws/service/ecs/optimized-ami/amazon-linux-2023/* への ssm:GetParameter と ec2:DescribeLaunchTemplateVersions が要ります。どちらも 20-platform にあるので、新しい Control Plane の前か同時に 20-platform をデプロイします
  • それまでは、Control Plane はログに 1 行出して静かに予備の値を使い、AMI を理由にスロットを古いと判定することはありません
  • 上げたあと最初の新しい AMI で、すべてのスロットが一斉に古くなり、次の起動で入れ替わります

古いスロットがどう入れ替わるかは スロットを入れ替える・止める にあります。

Control Plane は、内部 git のリポジトリとその LFS オブジェクトを、データルート(WS_DATA)の下に置きます。v0.45.x まではそれが Control Plane タスク自身のディスクの /tmp で、タスクが入れ替わるたび(アップグレード、再起動、タスクの異常終了)に空になっていました。以降のリリースでは、専用のファイルシステムをマウントします。

項目 内容
ファイルシステム 10-data の CpDataFileSystem。暗号化あり、スループットは elastic、Retain / Delete は Persistence に従う。retain では日次バックアップの対象(EFS のバックアップと復元)
マウントできるもの Control Plane のタスクだけ。専用のアクセスポイント(/cp-data)1 つを通し、TLS と IAM 認可が要る。マウントターゲットは Control Plane のセキュリティグループからの NFS しか受けず、ポリシーは匿名のクライアントを通さない
タスクの中 /var/lib/af-cp。これが WS_DATA。30-ingress は AF_DATA_DURABLE_REQUIRED=1 も設定する

上げるまで、リポジトリは動いている Control Plane タスク自身のディスクにあり、アップグレードはそのタスクを入れ替えます。いま Console に並んでいるリポジトリは 2 種類です。

種類 見分けかた どうなるか
タスクが最後に起動してから作られた、または push されたもの git ls-remote <clone URL> が答える まだ読める。先に外へ写さないと(手順 3)、唯一のコピーが古いタスクと一緒に消える
それより古いもの git ls-remote が失敗する(not found) もう空。行だけが残っている

update.sh より先に 10-data を更新します。30-ingress が新しいファイルシステムを読み込むためで、読めないうちは update.sh が「no readable CpDataEfsId output」で止まります。止まったときは何も変えていません。

  1. バックアップを取る(上げる前に)

  2. 作業の時間帯を知らせる。 手順 7 が終わるまで、内部リポジトリの作成・名前の変更・push をしないよう、メンバーに頼みます。止める仕組みはありません。手順 3 で写したあとの push は失われます。デプロイ中は、古いタスクと新しいタスクの両方が少しの間 /git/ に応答します

  3. まだ読めるリポジトリを全部外へ写す。 テナントごとに、そのテナントの管理者が、そのテナントにある自分のワークスペースの中で行います。そこでは git が内部 git に認証できるよう設定済みですが、外のマシンはそうではありません(認証エラーになるだけです)。ワークスペースを再起動しても残るホームの下のディレクトリで作業し、Console に出る clone URL(設定 >「内部リポジトリ」)を使います。どこかで失敗すれば関数は止まります。Control Plane が「not found」と答えたもの以外は、消えたものとして扱いません。やり直す前には、その <name>.git を消します

    ターミナルウィンドウ
    refs() { awk '$2 != "HEAD" && $2 !~ /\^\{\}$/' | sort; } # ls-remote の一覧から HEAD と peeled のタグを除いたもの
    rescue() { # 使い方: rescue <name> <clone URL>
    local name="$1" url="$2" out
    if ! out="$(git ls-remote "$url" 2>&1)"; then
    case "$out" in
    *"not found"*) echo "$name: lost"; return 0 ;;
    *) echo "$name: UNCONFIRMED: $out" >&2; return 1 ;;
    esac
    fi
    printf '%s\n' "$out" | refs > "$name.refs"
    git clone --mirror "$url" "$name.git" || return 1
    git -C "$name.git" lfs fetch --all || return 1
    git -C "$name.git" for-each-ref --format='%(objectname)%09%(refname)' | sort | diff "$name.refs" - || return 1
    echo "$name: copied"
    }
    rescue <name> <clone URL> # 並んだリポジトリごとに 1 回

    確認点: Console に並ぶすべてのリポジトリが copied か lost を出すまで、手順 4 に進みません。 UNCONFIRMED(認証エラー、タイムアウト、5xx)や、エラーで止まったものは、そのどちらでもありません。原因を調べて、もう一度実行します。ここまでは何も変えておらず、古いタスクがまだ唯一のコピーを持っています

  4. 10-data を変更セットで更新する。 パラメータは今のままです。どのコマンドにも同じ --profile と --region を付けます

    ターミナルウィンドウ
    aws cloudformation deploy --stack-name af-ecs-data --template-file cfn/10-data.yaml \
    --capabilities CAPABILITY_AUTO_EXPAND CAPABILITY_IAM --no-execute-changeset \
    --profile <p> --region <r>
    aws cloudformation describe-change-set --change-set-name <表示された ARN> \
    --query 'Changes[].ResourceChange.[Action,LogicalResourceId,Replacement]' --output text \
    --profile <p> --region <r>
    • 期待するのは CpDataEfsSg、CpDataFileSystem、CpDataAccessPoint、CpDataMountTarget0、CpDataMountTarget1 の Add
    • バックアップがすでにある retain では、EfsBackupSelection の Modify も出ます(置き換えになることもあります)。復旧ポイントはボールトに残るので問題ありません
    • v0.26.0 より前のデータスタック(出力に EfsBackupVaultName がない)の retain では、EfsBackup* の 4 つの Add も出ます(動いている配備でバックアップを有効にする)
    • FileSystem か Db に何か出たら、またはそれ以外のものが出たら、実行せずに止めます
    • それ以外なら実行して待ちます
    ターミナルウィンドウ
    aws cloudformation execute-change-set --change-set-name <その ARN> --profile <p> --region <r>
    aws cloudformation wait stack-update-complete --stack-name af-ecs-data --profile <p> --region <r>
  5. いつもどおり update.sh を実行する。 新しい Control Plane のタスクは、空のファイルシステムで起動します

  6. 古い行を片付ける。 Console で、手順 3 で copied か lost を出したリポジトリを削除します。新しいファイルシステムにはどれもありませんし、データベースに名前が残っていると同じ名前では作れません(already exists)。削除すると、テナントの LFS の上限に数えられていた分も戻ります

  7. 写したものを戻す。 同じワークスペースで、copied のリポジトリをそれぞれ元の名前で作り直し、写しを push します。push のあとに Control Plane が返す ref(名前とオブジェクト ID)が手順 3 で保存したものと一致しなければ、関数は止まります。Console で作ったリポジトリは main から始まります。元の既定ブランチが別だったなら、メンバーに伝えてください

    ターミナルウィンドウ
    refs() { awk '$2 != "HEAD" && $2 !~ /\^\{\}$/' | sort; }
    putback() { # 使い方: putback <name> <clone URL>
    local name="$1" url="$2"
    git -C "$name.git" lfs push --all "$url" || return 1
    git -C "$name.git" push --mirror "$url" || return 1
    git ls-remote "$url" | refs | diff "$name.refs" - || return 1
    echo "$name: restored"
    }
    putback <name> <clone URL>

lost を出したリポジトリは、配備からは戻せません。メンバーの手元に clone があれば、同じように作り直したリポジトリへ push できます。

30-ingress を v0.45.x に戻すと、WS_DATA は /tmp に戻ります。その間に push されたものは CpDataFileSystem に残りますが応答されず、戻したあとの push はまたタスクのディスクに置かれます。10-data に足したものは、そのままで構いません。

ecs-ec2: ワークスペースのタスクを NFS から切り離す

Section titled “ecs-ec2: ワークスペースのタスクを NFS から切り離す”

メンバーのログイン情報は EFS の、そのメンバー専用のアクセスポイントの下にあります。ファイルシステムの側ではどのメンバーのタスクかを見分けられないので、他のメンバーのアクセスポイント ID を知ったワークスペースは、それをマウントできました。このリリースからは、スロットがアクセスポイントをマウントし、タスクはディレクトリとして受け取るだけになります。これで、ファイルシステムをワークスペースのタスクから完全に閉じられます。Fargate(WsRuntime=ecs)ではできないので、EfsWorkspaceIngress は allow のままにします。

手順は 2 段で、2 段目の時期は運用者が決めます。

  1. update.sh の前に 10-data を更新します。チェンジセットを通し、パラメータは今のままにします。増えるのは、Home タスク用のセキュリティグループ、それを通すファイルシステム側セキュリティグループのルール、出力 2 つです。置き換わるものや消えるものはありません。update.sh は、それを読めるまで “no readable HomeOpsSgId / EfsSgId output” で止まり、止まったときは何も変えません。そのあと update.sh をいつもどおり実行します。スロット用の NFS のルールは、update.sh が 40-ec2-pool で足します。

  2. すべてのワークスペースが新しいリリースで停止・起動を済ませたら、10-data の EfsWorkspaceIngress を deny にします。アップグレード前から動いたままのワークスペースは、自分のネットワークインターフェース経由で EFS をマウントしているので、ルールが消えるとログイン情報を失います。先に確かめてください。

    ターミナルウィンドウ
    aws cloudformation deploy --stack-name af-ecs-data --template-file cfn/10-data.yaml \
    --capabilities CAPABILITY_AUTO_EXPAND CAPABILITY_IAM \
    --parameter-overrides EfsWorkspaceIngress=deny --no-execute-changeset

    チェンジセットを確かめ(変わるのはファイルシステムのセキュリティグループだけです)、実行します。

こうなったら こうする
Start が失敗し、Control Plane のログに “mounting access point … failed” が出る スロットからマウントターゲットに届いていません。40-ec2-pool が更新されていないか、別のデータスタックを指しています(DataStackName)。スロットは隔離されません。直してからもう一度起動します
このリリースより前に戻す 先に EfsWorkspaceIngress=allow に戻します。古いリリースはタスクから EFS をマウントします
再起動していないワークスペースが残ったまま 2 段目を済ませた NFS の接続が張り直されるまでは動き続け、そのあと再起動するまで ~/.claude とログイン情報を失います。再起動します

詳しくは PARAMETERS.md の “EFS: who may reach the mount targets” にあります。

v0.34.x の 00-network には、ポリシーのない S3 のゲートウェイエンドポイントがあり、ワークスペース用のサブネットがありません。今のリリースでは、ワークスペースが専用のサブネットを持ち、エンドポイントには、許可していない S3 のリクエストを拒否するポリシーが付きます(AccessDenied、NAT への切り替えもなし)。プライベートサブネットで動いているワークスペースの S3 も拒否されます。

update.sh は 00-network をデプロイしないので、手で行います。動いているワークスペースをすべて再起動するメンテナンスの時間を取ってください。

新しい 00-network を既定値のままデプロイしないでください。 S3EndpointEnabled の既定は true で、変更セットはワークスペース用の 6 つのリソースの Add と S3Endpoint の Modify(ポリシー)になります。実行すると、プライベートサブネットに残るすべてのワークスペースの S3 のリクエストが、一斉に拒否されます。

  1. バックアップを取ります(上げる前に)

  2. 00-network を S3EndpointEnabled=false で、変更セットを使ってデプロイします。 スタックに CAPABILITY_IAM が要るようになりました(EgressRoute=gateway のときだけ作る egress ゲートウェイのインスタンスロールを宣言しているため)

    ターミナルウィンドウ
    aws cloudformation deploy --stack-name af-ecs-network --template-file cfn/00-network.yaml \
    --capabilities CAPABILITY_IAM --parameter-overrides S3EndpointEnabled=false \
    --no-execute-changeset --profile <p> --region <r>
    aws cloudformation describe-change-set --change-set-name <the ARN it printed> \
    --query 'Changes[].ResourceChange.[Action,LogicalResourceId,Replacement]' --output text
    • 期待するのは、WorkspaceSubnet0・WorkspaceSubnet1・WorkspaceRt・WorkspaceDefaultRoute・WorkspaceAssoc0・WorkspaceAssoc1 の 6 つの Add と、S3Endpoint の Remove です
    • Remove は想定どおりです。手順 5 までは、プライベートサブネットの S3(ecs-ec2 のイメージの取得、モデルの取得)が NAT ゲートウェイを通り、そのデータ処理の料金がかかります
    • ほかに足される・変わる・作り直されるものがあれば、止めます
    • 問題なければ execute-change-set --change-set-name <ARN> を実行し、wait stack-update-complete --stack-name af-ecs-network で待ちます
  3. update.sh を実行します(VERSION=<v> ./update.sh --profile <p> --region <r>)。ネットワークスタックの WorkspaceSubnets を 30-ingress に渡すので、これ以後の起動はワークスペース用のサブネットに入ります。最後に、プライベートサブネットに残る動いているワークスペースを一覧します。あれば WARNING: が、確かめて 1 つもなければ「none」がはっきり出ます

  4. 動いているワークスペースをすべて停止して起動し直します(その一覧か pause.sh --status)。動いているタスクは今の ENI のままです。それぞれ次のコマンドでワークスペース用のサブネットにいることを確かめます。update.sh --dry-run は何も変えずに一覧を出し直します

    ターミナルウィンドウ
    aws ecs describe-tasks --cluster <c> --tasks <t> --query "tasks[].attachments[].details[?name=='subnetId'].value"
  5. 00-network を S3EndpointEnabled=true で、もう一度変更セットを使ってデプロイします。 変更は S3Endpoint の Add 1 つです。プライベートサブネットの S3 が NAT からエンドポイントに移り、開いている TCP の接続は切れるので、大きなモデルの取得やイメージの取得が動いていないときに行います

どこまで進めたか 戻しかた
手順 5 の前 プライベートサブネットの S3 は、すでに NAT を通っています
手順 5 のあと S3EndpointEnabled=false にすると、S3Endpoint の Remove だけになります
00-network を v0.34.x のテンプレートに戻す 6 つのリソースが消え、S3Endpoint はポリシーなしに戻ります。先にワークスペース用のサブネットで動くワークスペースをすべて止めます。そのあと update.sh が 30-ingress の WorkspaceSubnets を消します(ID がなくなるため)

v0.34.x に戻すと、v0.34.x が知らないパラメータ(GatewayEipAllocationId と GatewayEipAddress など)も消えます。次に EgressRoute=gateway に切り替えるときは、両方をもう一度渡してください。

エージェント向け

この指示をエージェントに送ると、このページを読ませられます。

https://agent-fleet.org/docs/ja/operate/aws-ecs/upgrade/index.md を読んで