希望 Halo 提供内存索引功能提高数据的获取速度

[guqing]

你当前使用的版本

2.11.0

描述一下此特性

目前 Halo 分页条件查询数据会有大批量无效数据被加载到内存中，在数据量多的情况下获取数据需要的时间和对内存的消耗变的很大

用例验证

创建一个 Moment 自定义模型，有以下这些属性

 public static class Spec {
        private String title;

        private String slug;

        private String content;

        private String raw;

        private List<String> tags;

        private String author;

        private boolean isPrivate;
    }

创建内容大小同为 37kb 的数据 2000 条

查询条件 1

通过 labelSelector 查询条件获取 10 条数据（实际会将该 Moment 自定义模型的所有数据查询到 Halo 然后过滤 10 条）

labelSelector=moment.halo.run/is-private=false&labelSelector=moment.halo.run/archive-month=28

Heap 使用量在查询时增加了约 1200M
查询耗时：20.120986512 seconds

查询条件 2

labelSelector=moment.halo.run/is-private=false

耗时：22.709311531 seconds，所以对于没有索引时无论查询条件都会出现相同的内存占用情况

用例 2

在单条数据大小不变的情况下增加到 4000 条，使用以下查询条件

labelSelector=moment.halo.run/is-private=false

耗时：58.147185776 seconds
可以看出随着数据量的增加，查询耗时和内存占用了都在上涨

在内存中建立索引

而在内存中建立对 metadata.name 与查询条件的索引后在 2k 和 4k 数据的情况下相同的查询条件的内存占用情况基本一致，如下：
（根据条件从索引筛选出所需的 metadata.name 后通过数据库的类似 where name in() 查询来批量拿取数据）

耗时：0.023571471 seconds

总结

由于索引提供了精准定位数据行主键的能力，有两点优于目前 ReactiveExtensionClient.list 方法：

1. list 查询依旧可以通过主键索引从数据库获取数据
2. 减少了不必要的数据传输，查询条件可以过滤掉那些不需要的数据且分页可以减少获取数据数量从而提高了效率

因此随着目前数据量日益增长的情况下，有必要先提供一个建立内存索引并根据查询条件使用索引来获取数据的功能以减少查询时的内存占用和缩短查询时间

附加信息

/kind feature
/area core
/assign

[xinkeng0]

1. 分页时，如果没有任何查询条件且无需排序的情况下，也许可以先skip take之后再Deserialize JSON
   

   halo/application/src/main/java/run/halo/app/extension/ReactiveExtensionClientImpl.java

   Lines 47 to 69 in d6dc2a7

   	public <E extends Extension> Flux<E> list(Class<E> type, Predicate<E> predicate,
   	Comparator<E> comparator) {
   	var scheme = schemeManager.get(type);
   	var prefix = ExtensionStoreUtil.buildStoreNamePrefix(scheme);
   	return client.listByNamePrefix(prefix)
   	.map(extensionStore -> converter.convertFrom(type, extensionStore))
   	.filter(predicate == null ? Predicates.isTrue() : predicate)
   	.sort(comparator == null ? Comparator.naturalOrder() : comparator);
   	}
   	@Override
   	public <E extends Extension> Mono<ListResult<E>> list(Class<E> type, Predicate<E> predicate,
   	Comparator<E> comparator, int page, int size) {
   	var extensions = list(type, predicate, comparator);
   	var totalMono = extensions.count();
   	if (page > 0) {
   	extensions = extensions.skip(((long) (page - 1)) * (long) size);
   	}
   	if (size > 0) {
   	extensions = extensions.take(size);
   	}
   	return extensions.collectList().zipWith(totalMono)

2. 鉴于Plugin的自定义模型定义不可知，用JSON存储，查询怎么样？

Type	H2	Mysql	PostgreSQL
JSON Column	✅	✅	✅
JSON Query	⬜	✅	✅

[JohnNiang]

Hi @gengxiaoxiaoxin ，感谢提供思路！

1. 由于 Predicate 和 Comparator 都需要拿到 Extension 之后才能进行判断和排序，故无法做到先 skip 后 Deserialize JSON。当前 Issue 要解决的应该就是这个问题，我们需要提前为所有数据建立索引，重构搜索和排序方法，实现只需要根据索引就可以判断并排序，这样就只需要拿到部分数据并 Deserialize JSON。
2. 如果我们需要自己实现索引的话，如果还用 JSON 存储的话，可能有些多余。同时，不同的数据库的 JSON 查询的方式可能不同。