一部の PR では Scrivito に関するテストが落ちる問題を解決したい

[yasulab]

２〜３回に１回ぐらいの確率で落ちているので、これの原因を調査したいです >< 💦
問題が解決できると嬉しいですが、現在はそもそもの原因がわかっていない状況です🤔💭
cf. #159

追記: forked repository からの PR だと落ちるのが分かった

#159 (comment)

SCRIVITO_TENANTとSCRIVITO_API_KEYは暗号化してあるけど環境変数として使うには復号化する必要があって、それは当然ダンプ可能なのでセキュリティ的に宜しくないという理由からforkしたrepoからのジョブには渡されない仕様になっています。

ref: #128 (comment)

[nalabjp]

#159 (comment)

SCRIVITO_TENANTとSCRIVITO_API_KEYは暗号化してあるけど環境変数として使うには復号化する必要があって、
それは当然ダンプ可能なのでセキュリティ的に宜しくないという理由からforkしたrepoからのジョブには渡されない仕様になっています。

ref: #128 (comment)

[yasulab]

あーなるほど、感覚的には2〜3回落ちるでしたが、正確には fork したレポジトリからPRを送ると落ちる、が正しいということですね🤔

[yasulab]

.oO(そうするとテストケースの方を変更するのが無難かなぁ🤔)

[nalabjp]

本番用ではない環境変数で動くならなんとかなりそうですが、
動かないとなるとscrivitoの機能を使っているところをテストしているところが全く動か無さそうですねぇ。。。

[yasulab]

なるほど、そうすると先に #156 を解決してしまうことが早いかもですね🤔

[nalabjp]

そうですね、ほぼ同じ対応になるのかなという認識です

[yasulab]

MEMO MTG w/ @nalabjp

• 必要なチェック: yaml check ぐらい
  • [ci skip]?
  • shell script で分岐させる?
  • Send feedbacks to Scrivito (OSS)
• フラグを持たせることはできる
• Mock で書くと解決できそう? https://scrivito.com/fe6bd882f04b03c6

[nalabjp]

ScrivitoにsignupしてCMS instanceをtrialとしてcreateすると、
そのinstance用のSCRIVITO_TENANTとSCRIVITO_API_KEYが発行されるので、
それを使ってrspecを実行することは可能だった。

ただ、おそらくworkspace上にscrivitoのObjやWidgetが無いのでScrivito::ResourceNotFoundというエラーでテストがコケる。
ここをモックで書ければテストは通せるのかもしれない。

ここからは完全に余談なんですが、
有志のコントリビューターがOSSとしてこのフローで開発するのはなかなか厳しいのでは🤔と思いました。
モックでテストを書くにしても正しい状態が分かっていないとモックが書けないわけで。。。
SCRIVITO_TENANTとSCRIVITO_API_KEYは複数発行可能なようなので、
production用のセットとtest用のセットが二種類生成できるようになっていて、
test用のキーでリクエストが来た場合はproduction用のデータのコピーを返すとか、
そういう作りになっていると良いのになー、と思いました。（ただの思いつきなのですが😅）
Scrivitoの中の人にfeedbackして、なにかしら良い解決方法が出て来るのを期待したい感じがします。

[nalabjp]

あぁ、productionのコピーだと開発ができないのか。
そもそもproductionのworkspaceにresourceを作れないとなると、
やっぱりScrivitoのresourceに依存するところはOSSとして開発するのは厳しいということになるのかもしれないですね。

[yasulab]

Scrivito を使っている部分は一部のページ (/kata と /sotechsha) だけで、その２つのページは Wiki として活用だけなので、そこの開発に関わることはほとんどないのかなぁと考えています🤔 基本は Wiki ページなので、コンテンツの更新がほとんどになると考えています (Wiki はコンテンツを更新するページで、Wiki そのものを開発する必要はほとんどないと考えています) が、どうですかね? 💭

[yasulab]

なのでこの Issue で伝えたい内容としては、Wiki に関するテストをAPI Keysを入力しなくてもパスできるようにすることであって、Wiki の開発者を増やすこととは切り離して考えた方が良い、という認識しています。Wiki のコンテンツは継続的に更新されますが、Wiki の開発は継続的にはされないだろう、という考えです (僕自身も、コンテンツの更新はすれど開発はほとんどしないかなと考えています)。

なので今回モックを書いてPRが通るようになったら、少なくとも当分の間は、Wiki に関するページをほとんど開発する必要はなくなるかなと考えています🤔💭