全文検索の導入

[KeenS]

wasmで動く全文検索エンジンがあるので導入したい

stork

stork-search.net/
ひとまず試してみた。

https://github.com/KeenS/KeenS.github.io/tree/fulltext-search-stork

結論からいうとダメ。インデックスが200MBあってロードがめちゃくちゃ重い。

$ du -h static/federalist.st
199M    static/federalist.st

tinysearch

A Tiny, Static, Full-Text Search Engine using Rust and WebAssembly | Matthias Endler

bloom filterベースっぽいのでfalse positiveが起きそうだけど一旦試してみる。

[KeenS]

tinysearchはよさそう。

$ du -h tinysearch*
4.0K    tinysearch_engine.d.ts
8.0K    tinysearch_engine.js
268K    tinysearch_engine_bg.wasm
4.0K    tinysearch_engine_bg.wasm.d.ts

[KeenS]

tinysearhにはバグがある
tinysearch/tinysearch#111

あと日本語の検索結果がかなり怪しい。キーワードが入ってないページが数件表示されるだけでキーワードが入ってるページが表示されない

[KeenS]

split_whitespace...
https://github.com/tinysearch/tinysearch/blob/05f3979d54f20e26d651ad122e53d86751a8fe0a/bin/src/storage.rs#L53

[KeenS]

そもそもブログの内容をまとめると3.5MBくらいあって毎回ブラウザにロードするには重いのでアプローチとしてはtinysearchの路線が正解？

[KeenS]

done in 1c80d78