Jestが突然終了する時がある

[syuilo]

テストの途中で exit status 1 でプロセスが終了することがある(エラーなどは吐かない)

[syuilo]

tasukete

[syuilo]

エラーもなんも吐かないから手掛かりが全くない

[syuilo]

ちなみにテストは test/unit 下にあるものしかやらないようにしている

[syuilo]

メモリを少なくとも500MBくらい消費してることが判明した
これが原因である可能性ありそう

[syuilo]

ほぼ空のテストファイルでも150MBほどメモリ消費した
ts-jestが非常に怪しい

[syuilo]

似たような問題が報告されていた
jestjs/jest#11601

[syuilo]

懸賞金 ¥6000

[syuilo]

ts-jestやめてesbuild-jestとか使うと解決するかなと思ったけど上手く動かなかった

[syuilo]

あーキャッシュが無い状態でやると必ず再現しそう

[syuilo]

いや関係なかった

[syuilo]

swc使ってみたけど、動くときもあるけどやっぱり突然終了するときもある
ts-jest関係ないかも

[syuilo]

tasukete

[syuilo]

• --runInBandは外しても発生することがあるためそれは関係なさそう
• テストファイルの先頭にconsole.log書いてみたけど、突然終了するときはそれすらも呼ばれない

[syuilo]

懸賞金 ¥7000

[syuilo]

Chromeのデバッガ繋いだ時に限って再現しなくなる

[syuilo]

関係あるか分からないけどたまにこれが出るときがある(これが出るときは突然終了しない場合)

[syuilo]

ヌァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァンンンンオオオオンンオンオンオンオンンンンンンンンン゛ン゛！！！！！！！！！！！！！！！！

[syuilo]

ここまで来るとあとはJestのコードリーディングしてプリントデバッグするくらいしかなさそう

[syuilo]

こまこまのこまり

[syuilo]

あとはこんな感じでタイムアウトとthe user is already existsがたまにある

これらはこっちでは出たことないな

[syuilo]

jsonldをimportするコードが含まれるのがRelayServiceだからSegfaultもそれに関係してるかも？

[ikuradon]

手元で検証してみたところ、Node.js 16だと問題なく、18だとSegmentation faultを出すのかな
https://github.com/misskey-dev/misskey/blob/develop/.github/workflows/test.yml#L16
で18を指定しているっぽい？

[CyberRex0]

クラッシュしなかった
Node 18.5 + Ubuntu 20.04.5 LTS
AMD EPYC 7282 16-Core Processor

[tamaina]

MetaSeriviceでもSegfaultした

[tamaina]

SegfaultはOCI A1 (arm64)特有の問題かもしれない

[syuilo]

ちなみに私はずっとwindows + node 16で検証してました

[tamaina]

ところで: --detectOpenHandles試したことある？

[syuilo]

ところで: --detectOpenHandles試したことある？

むしろずっとそれしてたけどパフォーマンスに影響があるらしいからやめた

[tamaina]

いま外出先なのでスクショ貼れないんだけど、--detectOpenHandlesだと必ず最後にhttp2ストリームが残っててなんとかかんとかって言われるので、ky-universalが何か関与してる？

[tamaina]

[tamaina]

SegfaultはOCI A1 (arm64)特有の問題かもしれない

x64なWSL2 Ubuntuでも再現した

[syuilo]

まあこれはライブラリの仕様(importしただけで副作用を発生させるのは問題な気はする)だからしょうがないわね

[ikuradon]

メモリリークが原因かと思って同じテストを11回ずつまわしてるけど全然落ちないわね…

yarn: 1.22.19
node: v16.17.0
command: rm -rf /tmp/jest_0/ && NODE_ENV=test node --expose-gc --experimental-vm-modules --experimental-import-meta-resolve node_modules/jest/bin/jest.js --forceExit --runInBand --detectOpenHandles --logHeapUsage

[syuilo]

Note: このコミットで一時的に原因と思われる箇所を消してるので、再現させたい時はこれより前の状態でやった方が良いかも
da88e3a

[syuilo]

そのコミット以降Actions上で一回も異常終了してないからやっぱりjsonldパッケージが原因ということで間違いなさそうになってきた

[ikuradon]

Segmentation fault再現してます

yarn: 1.22.19
node: v16.17.0
commit: dabe5bf

[CyberRex0]

Apple Siliconだと発現しない
Node 16で動かしてる

[ikuradon]

Apple Siliconだと発現しない Node 16で動かしてる

MetaService.tsを複数コピーして(for i in {1..10};do cp test/unit/MetaService.{,$i.}ts;done)動かすと落ちる確率が上がるけどどうなんじゃろ

[CyberRex0]

MetaService.tsを複数コピーして(for i in {1..10};do cp test/unit/MetaService.{,$i.}ts;done)動かすと落ちる確率が上がるけどどうなんじゃろ

クラッシュしなかった

[ikuradon]

依然として落ちる環境と落ちない環境の違いがよくわかりませんが、jsonldにパッチを当てたところ落ちなくなった気がするので貼っておきます

--- node_modules/jsonld/lib/jsonld.orig.js      2022-09-25 10:34:08.252571149 +0000
+++ node_modules/jsonld/lib/jsonld.js   2022-09-25 09:28:59.067598275 +0000
@@ -34,7 +34,7 @@
  * SOFTWARE, EVEN IF ADVISED OF THE POSSIBILITY OF SUCH DAMAGE.
  */
 const canonize = require('rdf-canonize');
-const platform = require('./platform');
+// const platform = require('./platform');
 const util = require('./util');
 const ContextResolver = require('./ContextResolver');
 const IdentifierIssuer = util.IdentifierIssuer;
@@ -1017,8 +1017,8 @@
        /* WebIDL API */
        jsonld.JsonLdProcessor = require('./JsonLdProcessor')(jsonld);
 
-       platform.setupGlobals(jsonld);
-       platform.setupDocumentLoaders(jsonld);
+       // platform.setupGlobals(jsonld);
+       // platform.setupDocumentLoaders(jsonld);
 
        function _setDefaults(options, {
                documentLoader = jsonld.documentLoader,

[cffnpwr]

色々やってたら落ちなくなったので報告します

MetaService.tsだけで落ちてる感じなのでこれを除いてJestを動かして見たら動いたので、このファイルが怪しいなという感じで色々してみました
どうやらファイル内にテストが1つもない状態が良くないらしく以下のような絶対成功するテストを追加してyarn jestを実行したら通りました

//  絶対に成功するテスト
it('alwaysCorrectTest', () => {
    expect(true).toBe(true);
});

以下環境です
OS: Ubuntu 22.04.1 LTS x86_64
node: v18.9.1
yarn: 1.22.19
commit: df0a90f

[syuilo]

MetaServiceで落ちてるのはまた別の問題ですね
このIssueの内容としてはテスト実行中に突然exit code 1で異常終了するというもので、これはMetaServiceのテストファイルが無い状態でも再現します

[cffnpwr]

なるほど
自環境だと再現してないのでますます謎ですね

[massongit]

https://qiita.com/kawanet/items/cfedd535990b32710c50

ヒープ領域が不足している可能性があるかもしれないです。

[syuilo]

起きなくなった気がする？

[syuilo]

起きなくなった 🙏🏻