バックエンドのメモリリーク

[syuilo]

バックエンドにメモリリークがある可能性がある

[syuilo]

ローカル環境程度の規模では特定できなかった

[acid-chicken]

メモリリークある？

[syuilo]

らしい

[syuilo]

からMisskeyプロセスを定期的に再起動しているという管理者を複数知ってる

[syuilo]

キャッシュが溜まるのはあるけどそこまで膨れ上がるか？とも思う

[syuilo]

実際にある程度の規模のサーバーのプロセスにデバッガー繋ぐしか特定する方法なさそう

[mattyatea]

定期的に再起動しないとメモリ食い荒らしていきますね…（メモリリークかはわからないけど
あと起動しっぱなしだと重たくなるってのも聞いたことあります

[tamaina]

p1.a9z.devだとそんなことない（多くて3GB程度で収まってる）んだけど、そもそも再起動回数が多いため当てにならない

[sim1222]

メモリ使用量は確認できていませんが、再起動せずに数百万ノートくらいノートするとcpu使用率が全体的に高めになる現象はあります

[nexryai]

自分のサーバー（misskey.sda1.net）では、起動後30分後の状態と1から2周間連続稼働の状態を比較すると1ワーカー辺りのメモリ使用率が起動後から3から4倍くらいになります。
またメモリが膨らむと同時にメモリ空きスペース自体には余裕があるのにswapが使われまくるみたいな現象が発生しています（メモリリークが関係あるかは謎ですがMisskeyを落とすとswapがほぼ全部開放されるのでMisskeyが使ってるのは確実）

[syuilo]

とりあえずcache.tsに定期clean処理付けるか

[EbiseLutica]

cache.tsのクリーン処理コミットできたらcherry-pickして自鯖で試してみます（自鯖はめちゃメモリ食われてるので）

[noellabo]

のえすきーもやむを得ず、2プロセス交互で各1時間ごとの再起動やってます。
終了にやたら時間かかる（別の不具合？）ので再起動自体も大変で、キャッシュクリーンで改善するならありがたいです。

[sasagar]

いかすきーも3時間に1回バックアップを立ち上げて差し替え再起動するという手順を踏んでます。
その結果解放されるのが2GBから3GB程度。
リークかどうかはわからないですが、何かしら対策をして頂けたら凄く助かります！

[GrapeApple0]

こちらの方で一時間程度起動を続けた感じだと


のような感じでプロセスごとのメモリー使用量を見たところ、Master,Workerともにメモリーを消費し続けてる感じです
詳細は取れていませんが3日程度経過すると70%を超えてることも多いです

[acid-chicken]

• メモリリークがあると感じているかどうか
• 一日あたりのリモートを含めたノート増加数はどれくらいか
• Docker 上で立てているかどうか
• メモリ容量
• OS
• CPU アーキテクチャ

あたりでアンケートしたい感

[tamaina]

そもそも: MisskeyサーバーでRAM使用量が（異常に）多いと感じるのはどのくらい？

https://p1.a9z.dev/notes/9ft3mdpuwj

[sasagar]

• メモリリークがあると感じているかどうか: メモリリークという確信はないけど、妙に増えていくメモリが有る印象は有る
• 一日あたりのリモートを含めたノート増加数はどれくらいか: 1000前後
• Docker 上で立てているかどうか: Yes
• メモリ容量: 4GB + SWAP 10GB
• OS: CentOS Stream 9
• CPU アーキテクチャ: arm64

[tamaina]

• メモリリークがあると感じているかどうか
  いいえ
• 一日あたりのリモートを含めたノート増加数はどれくらいか
  7万程度
• Docker 上で立てているかどうか
  いいえ
• メモリ容量
  24GB (使用量は11〜13%程度)
• OS
  Ubuntu 22.04
• CPU アーキテクチャ
  arm64

[kanasaki15]

• メモリリークがあると感じているかどうか
  いいえ (メモリ使用量は気になっている(2日で約9G食っているので))
  ただ13.12と比べて13.13はメモリの消費具合は抑えられている気がする
• 一日あたりのリモートを含めたノート増加数はどれくらいか
  約10万
• Docker 上で立てているかどうか
  No
• メモリ容量
  128G＋swap 64G
• OS
  Arch Linux
• CPU アーキテクチャ
  x86_64

蛇足：
clusterLimitを1から16に設定してからかなりメモリを食う気がします

[GrapeApple0]

• メモリリークがあると感じているかどうか
  • ややはい
• 一日あたりのリモートを含めたノート増加数はどれくらいか
  • 約10万程度
• Docker 上で立てているかどうか
  • いいえ
• メモリ容量
  • 8GB
• OS
  • Ubuntu 22.04 LTS
• CPU アーキテクチャ
  • x86_64

[mattyatea]

• メモリリークがあると感じているかどうか

  • 感じている

• 一日あたりのリモートを含めたノート増加数はどれくらいか

  • 14~20万くらい？

• Docker 上で立てているかどうか

  • いいえ

• メモリ容量

  • 4gb

• OS

  • debian 11

• CPU アーキテクチャ

  • arm

[nexryai]

misskey.sda1.net

メモリリークがあると感じているかどうか

はい

一日あたりのリモートを含めたノート増加数はどれくらいか

2から3万（ばらつきあり）

Docker 上で立てているかどうか

本体のみDocker、RedisとDBは別

メモリ容量

16GB

OS

Ubuntu Server 22.04 LTS

CPU アーキテクチャ

AMD64

[tamaina]

MisskeyサーバーでRAM使用量が（異常に）多いと感じるのはどのくらい？

私は3GBは普通だと思っていたけど3GBで多く感じている人も一定数おり、結構そこらへんからして温度感に差がありそう

[kanade]

Ubuntu環境です。
Jemallocに切り替えてから3時間あまりの経過ですが、再起動後のメモリ使用量の上昇がかなり緩やかになり（1.2GB前後で安定）、スワップがほぼゼロになりました。

上がJemalloc導入前、下がJemalloc導入後のグラフです。
導入後半日ほど経過しましたがメモリ使用量は再起動後ずっと安定しています。

[popkirby]

nodejs/node#8871 (comment)
nodejs/node#21973

nodejs自体でメモリ確保が行われる際にもメモリ消費量が多くなることがあり（メモリの断片化が原因？）、workaroundとして jemalloc の利用が効果的になる場合もあるそうです。

[tai-cha]

dockerだとこんな感じでjemalloc導入してみましたがたしかにうちの使用率も1.4GB程度で安定してる
https://github.com/nadesuki/nadesskey/pull/9/files

[fruitriin]

misskey.gamelore.fun（同時接続400人くらい）
RAM
Total: 11.7GB
Used: 2GB
Free: 9.7GB

入れる前の半分くらいになったかな？劇的に効いてそう

[EbiseLutica]

Arch環境にてjemalloc導入しました。

メモリ4GBをフルに使い切って大きなGCが働いていたのが、現在1/2くらいのメモリ使用率で安定し続けています。効果絶大です。

[kanarikanaru]

Ubuntu環境です
導入後7GB弱メモリ使用量が落ちました
clusterlimitは10です

[fruitriin]

そういえばNewRelicで時系列グラフとってたのだわ
(misskey.gamelore.fun)

朝4時再起動

[tamaina]

https://sharp.pixelplumbing.com/install#linux-memory-allocator
lovell/sharp#1803

（ドキュメントに書いてあったわね）

[tamaina]

なんでみんなそんなメモリ食ってんだろと思ってたら #8605 の時にjemalloc導入してたわ…

[tamaina]

（皮肉にも1年以上運用して特にバグがないことがわかった）

[mendakon]

常に8GB使ってたのが4GBに！約半分になり人生が変わりました！

[syobocat]

jemalloc以外のメモリアロケータがどうしても気になったのでglibc malloc/jemalloc/mimalloc/tcmallocで比較をしようとしたのですが、仮想環境ではメモリ使用量の減少を再現できず断念しました…

[acid-chicken]

[kanade]

私の環境だけかもしれませんが、jemallocに変えたタイミングから、LTLを取得するAPIがレスポンスを返してくるまでの時間が改善されました。（5分ごとに監視しています）

[syuilo]

解決した方に報奨金を進呈

[tamaina]

Dockerイメージにjemallocを含むようにすると親切かも

https://github.com/nadesuki/nadesskey/pull/9/files

[syuilo]

アーキテクチャによっては使えないらしい

[syuilo]

解決方法はありそう
#11847 (comment)

[syuilo]

解決した方に報奨金を進呈(再掲)

[popkirby]

entrypoint.sh みたいなのを作って

LD_PRELOAD=`pkg-config jemalloc --variable libdir`/libjemalloc`pkg-config jemalloc --variable install_suffix`.so

とかどうですか

[tamaina]

アーキテクチャが増えて書き換えが発生するよりはそのほうがスマートだわね

[tamaina]

（というかアーキテクチャでわざわざパスを分けるのやめてほしい）

[vnetb]

1年ほど経過してますが
その後いかがですか？👀

[tai-cha]

バージョンによって差がまちまちあるものの

• 現行 2024.5.0 はcolumn instance.issuspended does not existのエラーがsystemのtickChartsで起こっておりジョブキューが繰り返されるためバックエンド負荷がかかる (fixed in fix(backend): チャート生成時にinstance.isSuspendedが読まれてしまう問題の修正 #13951 and will be releaseed in 2024.7.0)
• jemallocを使った際はメモリの利用が安定している ( node.jsにも多少原因がある可能性 )
  • misskey公式Dockerイメージを使っている場合はjemallocを使っているためこれもFixed
• 特定の原因がある可能性も否めないものの複数の要因が組み合わさっている可能性がある

と私個人では認識しています

[kakkokari-gtyih]

• https://activitypub.software/TransFem-org/Sharkey/-/issues/600
• https://activitypub.software/TransFem-org/Sharkey/-/issues/601

[samunohito]

related: #14310