[完了] 2021-04-04 17:00 ~: SpreadSheetのマイグレーションメンテナンス

[azu]

2021-04-04 17:00 ~ 18:00で、SpreadSheetのマイグレーションのメンテンスをします。
メンテンスモードに入るため、ウェブサイトにはアクセスできなくなります。

以下ができません。(つまり全部です)

• ウェブサイトの閲覧
• ウェブサイトからデータの追加
• SpreadSheetの変更

SpreadSheet自体はロックできませんが、SpreadSheet自体のマイグレーションをするので間には変更しないようにしてください。

関連PR

• Pull requests · azu/philan.net
• Definition of SpreadSheet Schema · Issue #22 · azu/philan.net

手順

1. chore: Enter maintenance 2021-04-04 by azu · Pull Request #35 · azu/philan.netをマージしてメンテンスモードにする
2. テスト環境に対してマイグレーションを実施する

npm run migrateion:test

• ユーザーが表示できる
• データを追加できる
• 新規登録した場合の動作を確認できる

3. テストのSnapshotsテストをアップデートする

npm run updateSnapshot

4. ローカルでDevのマイグレーションをテストする

npm run migrateion:prepare:dev
npm run migrateion:start:dev

5. ローカルのDevで動作を確認する
6. 本番の 少数のユーザーに対してマイグレーションを実施する

• テスト対象となってくれるユーザを募集
• マイグレーションに失敗した場合はSpreadSheetの"変更履歴"から一つ前のバージョンに戻すことで復元できる

npm run migrateion:prepare:prod
# migration/.target から対象以外を消す
# 消したらマイグレーション
# npm run migrateion:start:prod

7. 本番データで動作を確認する yarn dev:prod

アプリケーションとしてはどちらのデータも対応しているので、ローカルで本番データを使って確認できればOK

yarn dev:prod

8. その他のユーザーもマイグレーションする

npm run migrateion:prepare:prod
# migration/.target から移行済みを消す
# 消したらマイグレーション
# npm run migrateion:start:prod

9. メンテナンスモードを解く feat(migration): create budgets sheet migration script #30 をマージ

マイグレーション失敗時

• 5までの失敗はコントロールできるので、自分でSpreadSheetを戻して終了
• 8のユーザーデータの移行の失敗は直接連絡して戻してもらう
• マイグレーションに失敗した場合はSpreadSheetの"変更履歴"から一つ前のバージョンに戻すことで復元できる

マイグレーションエラーが出た場合

• アプリケーション的にはマイグレーション前と後で互換性がある
• そのユーザー特有の問題なら、ひとまずそのまま進める
• 7 までにマイグレーションエラーが出た場合は、戻れるので一旦中止

[azu]

chore: Enter maintenance 2021-04-04 by azu · Pull Request #35 · azu/philan.netをマージしてメンテンスモードにする

マージ

[azu]

https://philan.net/ がメンテナンスモードになった

[azu]

2\. テスト環境に対してマイグレーションを実施する
3\. テストのSnapshotsテストをアップデートする

実行した。2021年のデータだけに限定される

[azu]

4\. ローカルでDevのマイグレーションをテストする

ローカル環境のマイグレーションをしていく

[azu]

ローカル環境のマイグレーションはOK。

[azu]

ローカル環境のマイグレーションはOK。

[azu]

ローカル環境のマイグレーションはOK。

[azu]

ローカル環境のマイグレーションはOK。

[azu]

yarn dev:local でクリアなデータを確認。

• 新規アカウント作成

• データ追加
  

• シートの値を確認
  ¥1,000,000.00 - 231
  = ¥999,769.00

なので正しい

• なんかSpreadSheetの取得が時間かかる
  

コンパイルし直したらリロードされた

[azu]

本番の 少数のユーザーに対してマイグレーションを実施する

をやっていく

[azu]

yarn migrateion:prepare:prod で作った

マイグレーション対象

[azu]

移行前のデータ

[azu]

マイグレーションを実行して、ログは成功。
動作確認する

 yarn migrateion:start:prod
yarn run v1.22.10
$ ENABLE_PRODUCTION_DATA=1 ts-node --project _migration/tsconfig.json --require dotenv/config _migration/index.ts
Migration targets count: 2
Migration targets:  [
  '/Users/azu/.ghq/github.com/azu/philan.net/web/_migration/.target/users:1:a.json',
  '/Users/azu/.ghq/github.com/azu/philan.net/web/_migration/.target/users:1:azu.json'
]
Start Migration: a
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"oldRecordSheetId: 922046095","timestamp":1617524607226}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Budget: 10000","timestamp":1617524607228}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Create copy","timestamp":1617524608320}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Created working copy: 145973134","timestamp":1617524608320}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"rename \"2021\" to \"Records\" sheet","timestamp":1617524609393}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Success to create Budgets Sheet: 292516645","timestamp":1617524610066}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Try to update Budgets Sheet: 292516645","timestamp":1617524610066}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Update Records sheet with new definition","timestamp":1617524611143}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Delete original sheet","timestamp":1617524611701}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Rename copied sheet","timestamp":1617524612227}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Complete operation!","timestamp":1617524612228}
Migration Success: a
Start Migration: azu
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"oldRecordSheetId: 544053332","timestamp":1617524613833}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Budget: 200000","timestamp":1617524613834}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Create copy","timestamp":1617524614677}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Created working copy: 1053155627","timestamp":1617524614677}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"rename \"2021\" to \"Records\" sheet","timestamp":1617524615420}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Success to create Budgets Sheet: 699651768","timestamp":1617524615894}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Try to update Budgets Sheet: 699651768","timestamp":1617524615895}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Update Records sheet with new definition","timestamp":1617524616820}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Delete original sheet","timestamp":1617524617252}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Rename copied sheet","timestamp":1617524617674}
{"metadata":{"env":"ENV not set","context":{},"level":"info"},"message":"Complete operation!","timestamp":1617524617674}
Migration Success: azu
Migration Finished!
✨  Done in 19.59s.

[azu]

移行後

[azu]

本番でもマイグレーションはOKそう。

[azu]

その他のユーザーもマイグレーションする

最後、全ユーザーマイグレーションする

[azu]

❯ yarn migrateion:prepare:prod
yarn run v1.22.10
$ ENABLE_PRODUCTION_DATA=1 ts-node --project _migration/tsconfig.json --require dotenv/config _migration/prepare.ts
Save: /Users/azu/.ghq/github.com/azu/philan.net/web/_migration/.target/users:1:a.json
Save: /Users/azu/.ghq/github.com/azu/philan.net/web/_migration/.target/users:1:azu.json
...

マイグレーション対象を作成。
既に移行済みの自分は除外する

[azu]

yarn migrateion:start:prod

本番データを移行中…

[azu]

Migration Finished!
✨  Done in 165.21s.

全員成功

動作確認する

[azu]

 yarn dev:prod

で動作を見ていく

[azu]

何人かのページを見てるけど、問題なさそう

[azu]

1. メンテナンスモードを解く #30 をマージ

完了したので #30 をマージする

[azu]

メンテナンス解除

マイグレーション完了 🎉