更新負荷低減のためにリグレッションテスト方法を検討する

[ghost]

改善詳細 / Details of Improvement

• 更新負荷低減のためにリグレッションテスト方法を検討します
• Renovate（依存ライブラリ更新）の運用方法を考える(Renovate（依存ライブラリ更新）の運用方法を考える #5142)からリグレッションテスト方法関連トピックの分岐です

現状の課題 / Current issues

• Renovateのbotが立てたPRをひとつひとつ検証する作業が結構たいへんです

検討の方向性 / Direction of Examination

• 一般的にテストは単体テスト/結合テスト/UIテスト等に分類されると思います
• たたき台として以下のようなことも考えられます
  • UIテストにフォーカスして検討する
  • 完全自動化は理想ではありますがまずは負荷低減の補助策を最初のステップとする

参考情報 / Reference information

• Qiitaの記事
  • Nuxt.jsの新規プロジェクトでいい感じのテスト環境をつくる@2018
  • フロントエンドのテストについて考える
• 関連しそうなOpen Issue
  • JestのSnapshot Testingを導入したい (JestのSnapshot Testingを導入したい #3122)
  • storybookの導入 (storybookの導入 #756)
• 現在利用中のSelenium
  • GitHub ActionsのOGP Builderとscreenshot(Pythonバインディングを利用)
  • JavaScript(Node.js)でSeleniumを使って自動UIテストをする方法
  • iOS 13のSafariブラウザが「WebDriver」を正式サポート。SeleniumなどによるUIテストの自動化が容易に
• Microsoft関連
  • IE/Edgeの仮想環境
  • かつてmodern.IEと呼ばれていたMac上などの仮想環境でIEやEdgeなどのWindowsブラウザを動かす方法 2020年版

動作環境・ブラウザ / Environment

• 開発環境

[mcdmaster]

#5142 あたりで、jest の廃止論がありました。私も、そこで賛意をにおわせたりしています。
しかしながら、自動化できる範囲のリグレッション・テストやカバレッジ・テストを行ううえで jest が役立つ範囲は間違いなくありますよね。
より優れた方策、対案があるのならそれを使いましょう。でも、jest か否かを問わず、上述のリグレッションとカバレッジという大き目のテスト項目とスケジュールは、やはりあった方がいいです。

こういう主張をするのには、実はもう一つの意味があります。
このサイト、市井のウェブ開発者もご覧になっています。まあ、私からこうして指摘するまでもなく、皆さんは既にご存じなのかもですけど。
この、Nuxt やら Vue やら eslint やら TS やら SCSS やらナンやらカンやらに対する我々の使いっぷりは、そうしたデヴェロッパたちの範となっているかもしれません。私の限定的な観測範囲でも、既にこれを「お手本」と呼ぶ人に二、三人くらい出くわしたことがあります。

上述は、このプロジェクトにおいてもテストが欠かせないことを示す論旨です。これは公共事業の中でも通常は決裁にさえ至らないほどの特異な一例で、たとえば金融機関やヘルスケア業界がやっているような各省庁がらみのテストケースを完遂しつつ、さらに該当省庁レビューまでもやってもらうべき理由はありません。
そうした「お役所対応」を不必要と説く際に、誰がどういうプロセスでそのための規定をいつQ定め、そして誰がそれを承認するか、くらいは網羅・明示されるのが望ましいです。
金融機関基準の（テスト可能な）セキュリティ・チェックは、かならずしも自治体情報サイトには不要というロジックを勝手に立てつつ話を締めくくると、たとえば人力に依存せずテストケースが実行され結果が収集される仕組みの中でも特に貢献度が高そうなモノをイメージすると、私は jest くらいしか思いつきません。かなりの割合の論旨を私見で書いているので、ぜひ皆さんのご意見をいただきたいです。

[suzuryo]

例えば岩手版では、rspecを使ったテスト MeditationDuck#1105 を回しています

[kaizumaki]

@suzuryo フォローありがとうございます！リアクション遅れましてすみません。その表示テスト、よさそうですね！ぜひ当サイトでも導入したいのですが、どのようにすればいいでしょう？

[suzuryo]

@kaizumaki どのような項目をどのくらい詳細にテストしたいかによりますが、とりあえず叩き台のPRを作ってみますか

[kaizumaki]

@suzuryo PR出していただけると嬉しいです！項目は当面はサイトトップ（タブ切り替え含む）だけでいいと思います。

[suzuryo]

@kaizumaki issuesとPRを出してみました

ISSUES: #5960
PR: #5961

[kaizumaki]

更新作業もだいぶ手順が落ち着いてきましたので、こちらのissueはクローズとします。