【开源之夏】实现基于向量相似度实现LLM结果召回的WASM插件

[CH3CHO]

项目产出要求

1. 可以和LLM Proxy以及AI Assistant插件联动，将LLM提供商返回的结果缓存在Redis中
2. 支持基于请求向量相似度，从Redis中召回LLM响应，替代向LLM提供商发起请求
3. 设计评估插件召回效果的测试用例，评估插件的准确率和召回率，并能根据测试结果进一步优化插件逻辑

项目描述

在AI时代，对网关的需求已经远远超越了传统的路由和负载均衡功能，形成了AI网关的形态。AI网关可以为AI应用开发者提供便利，统一不同LLM提供商的API协议，并提供API编排、安全、稳定性和成本控制等扩展功能。

Higress是阿里云开源的云原生网关项目，基于Wasm插件的扩展能力，可以基于LLM Proxy插件对接不同的LLM提供商，同时支持AI Assistant插件帮助开发者快速构建RAG应用。

本项目希望在AI网关场景下实现基于向量相似度的LLM缓存结果召回插件。通过LLM提供商API（例如通义千问，moonshot，openai等）构建AI应用的场景，这个插件可以在保障结果质量的前提下，减少向LLM提供商API的请求数量，从而降低成本。

该插件需要实现以下基础能力：

1. 可以和LLM Proxy以及AI Assistant插件联动，将LLM提供商返回的结果缓存在Redis（或其他向量数据库）中
2. 支持基于请求向量相似度，从Redis（或其他向量数据库）中召回LLM响应，替代向LLM提供商发起请求

在此基础上，要求插件的向量召回能力有较高的准确率和召回率。