Support for meilisearch as backend search solution

[zirconline]

Summary

Obviously, for small and medium-sized misskey instances, elasticsearch takes up too much hardware resources (especially memory) .But meilisearch, which is much lighter. Therefore, it would be very pleasant to add support for meilisearch.

Refrence

https://github.com/meilisearch/meilisearch

[tamaina]

よさそう

[syuilo]

やるか

[syuilo]

クエリはJSONじゃなくて文字列で書かないといけなくてめんどい

[syuilo]

クエリはJSONじゃなくて文字列で書かないといけなくてめんどい

tasukete

[syuilo]

作った

[syuilo]

👍🏻

[syuilo]

tasukete

[syuilo]

ブラウザからlocalhost:7700にアクセスしたら見れるのに何故かnodeからは繋がらない

[syuilo]

詰んだ

[u1-liquid]

もしかして: DNS問題（cacheable-lookup使ってる？）

[syuilo]

多分使ってない

[syuilo]

[syuilo]

あーlocalhostじゃなくて127.0.0.1にしたらいけたかも

[syuilo]

なんか検索結果が0件になる

[syuilo]

tasukete

[syuilo]

謎

[syuilo]

addDocumentsして成功してるのにここが0なのおかしくない？

[syuilo]

[2023-05-03T02:47:06Z INFO  actix_web::middleware::logger] 127.0.0.1 "POST /indexes/notes/documents HTTP/1.1" 202 133 "-" "undici" 0.004114
[2023-05-03T02:47:06Z INFO  index_scheduler] A batch of tasks was successfully completed.

[syuilo]

クエリ空にしても0 hitsなんだけど

[syuilo]

ヌァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァァンンンンオオオオンンオンオンオンオンンンンンンンンン゛ン゛！！！！！！！！！！！！！！！！

[u1-liquid]

使ってるバージョンがもしかしてv1.1.0？なんか変なバグ見つかって妙なことしてるみたい

v1.1.1使うかv1.0.2使ったほうがいいかも
あとアプデ周りめんどくさい仕様みたいだからlatest使うのはやめた方がいいみたい

[syuilo]

1.1.1だった

[syuilo]

このブランチで他の人が動くか試してもらいたい
https://github.com/misskey-dev/misskey/tree/meilisearch

[syuilo]

コマンド的にはsocumentsにaddしてるけど結果的にはindexだけ作られてるような挙動になってる

[syuilo]

ここでaddDocumentsしてる

misskey/packages/backend/src/core/SearchService.ts

Line 98 in 6506571

this.meilisearchNoteIndex!.addDocuments([{

[syuilo]

スケールに関しては、Misskeyで検索する頻度はそう多くないと思うから問題になりにくそう

[syuilo]

あと、大規模サーバーの場合はオンプレミスよりは(スケーラブルな)Meilisearch Cloud使った方が良いかも

[u1-liquid]

とはいえ…同意するからElasticsearch使う気にならないのよね

ちょっと語弊があるかも
複雑なプラットフォームであるのはわかるけどシェアトップなのはまぁそれなりの理由があるのと、規模のわりにシンプルに動く、あと使えるけど使わないのと最初から使えないのは話がちがうよね
そして実際アプリ側で細かな実装してあげる必要は全くなくて、udpかtcpでノートのストリームを送信してあげる機能（インデクシング周りはlogstashに任せる）、（esの）rest apiにユーザーのクエリを投げる機能だけサポートしてあげればesがつかえる鯖缶は勝手に使えると思う
前みたいにソースコードレベルでインテックスを管理してあげる必要はほぼないので、それで維持管理コストは解決できると思う

スケールに関しては、Misskeyで検索する頻度はそう多くないと思うから問題になりにくそう

検索を使わないように色んな機能盛り込んだから比較的使わなくても済むようになってるだけで実際必要になったら使えない状態なのはちょっとまずいかも

あと、大規模サーバーの場合はオンプレミスよりは(スケーラブルな)Meilisearch Cloud使った方が良いかも

それめちゃくちゃ高いので現実的じゃないかも
あとこの（Meilisearchの）実装だとcloudを使うとしても安定に動くとはちょっと微妙かも

（↑の追記）ざっくりソース見た感じそもそもベースのものが現時点では全くと言えるほどスケーラブルじゃないので結局自動化されたバックアップ+リストアとかで動いてそう、頻繁にデータが変わる使い方に向いてなさそうな実装と感じたため
あと使ってみたら鬼ほどストレージとメモリを食ってる（公式ドキュメントですら9.1MBのJSONが224MBになると言ってるし、手元では938KBのJSONが13MBになってる…）

[syuilo]

Elasticsearchにするか

[tamaina]

（ストレージとメモリが高速かつ大量ならCPUは貧弱でもいいのではと期待してみるけど実際どうなんだろう…まあそれも高くつくが）

[tamaina]

メモリを大量に使うならCPUもある程度比例して使いそうだからだめだな

[rinsuki]

(というか昔の io で実績がある PGroonga は…)

[Steve-0628]

パッと試したところ、MeiliSearchはストレージさえあれば割とと快適に動くかも知れません。
WSLで1Core 2GBに制限しても数十msで検索できます。Misskeyからダンプした180万件程度のノートで、ホストはRyzen 5 5600です。

[syuilo]

ストレージ効率を犠牲にして高速性に特化したものだと思うから高速なのはそうなのだろうけど、大きいサーバーだと投稿数1億は普通に超えるから運用が厳しそう

[tamaina]

PGroongaはp1.a9z.devで使ってるけどたまに遅かったり結果が微妙だったりはする

[tamaina]

（たまに遅いというか検索結果が過去に遡るほど遅い

[syuilo]

Meilisearchを選択肢のひとつとして実装するなら良いかもしれないけど、ドキュメントとか見てる感じaqzが言ったようにショッピングサイトとか検索対象がそこまで多くないユースケースが想定されてそうで、Misskeyのような毎秒投稿が追加されていくようなサービスにはあまり向いてなさそうだから小規模サーバーであっても結局はそのうち厳しくなってきそう

[tamaina]

misskey.ioの全投稿をSSD8TB+RAM256GBぐらいで検索できるなら許容範囲だとは思う（それで収まるかは知らないけど）

[syuilo]

投稿ではなくユーザーの検索とかだったらMeilisearchはちょうど良さそう

[u1-liquid]

パッと試したところ、MeiliSearchはストレージさえあれば割とと快適に動くかも知れません。
WSLで1Core 2GBに制限しても数十msで検索できます。Misskeyからダンプした180万件程度のノートで、ホストはRyzen 5 5600です。

たしかに応答速度に関してはいい感じだとは思います。HAもレプリケーションも無しで動かすのはちょっと不安だけど小規模なら許容範囲かも

ちなみに元のデータとmsのインデクスされてるデータのサイズはどのぐらいでしょうか？

[u1-liquid]

投稿ではなくユーザーの検索とかだったらMeilisearchはちょうど良さそう

たしかに

[syuilo]

あとローカルの投稿のみインデックス対象にするオプション実装すればそれなりに耐えられそう

[tamaina]

（ユーザー検索ってそこまで遅かった？）

[tamaina]

（p1.a9z.devでノート検索試してみようかなと思ったけど無理ゲーかも）

[u1-liquid]

大きいサーバーだと投稿数1億は普通に超えるから運用が厳しそう

昔のついったーみたいに直前3ヶ月くらいはこれで検索して範囲外はesかPGroongaになげるみたいなことができたらいいかも

[Steve-0628]

ちなみに元のデータとmsのインデクスされてるデータのサイズはどのぐらいでしょうか？

元のデータは、DBのnoteテーブルからid, createdAt, text, cw, userHostを抜き出したもので、280MB程度です。インデックス後のサイズ(このデータのみ新規にインデックスしたdata.msディレクトリのサイズ)は3.1GBになりました。

MeiliSearchのドキュメントにも、元データの10倍程度のディスクを用意してね、と書いてあるので、妥当な結果だと思います。

[u1-liquid]

ioレベルだとTB規模になりそうですが検索範囲をローカル+投稿の期間で絞ればなんとかなるかも…？

あとはやっぱりユーザーやチャンネル、ページ、PLAYなどの検索に使えたら便利かも

[jojobii-arks]

Completed with release of v13.12.0 #10774

[tamaina]

ioのインデックスは30GBで済んだらしい

[tamaina]

（ローカル投稿限定で）

[syuilo]

done