本项目使用LLaVA 1.6多模态模型实现以文搜图和以图搜图功能。

OCR模型

PaddleOCR

模型介绍及部署方法: https://www.paddlepaddle.org.cn/hubdetail?name=ch_pp-ocrv3&en_category=TextRecognition

多模态模型

LLaVA 1.6

Github网址：https://github.com/haotian-liu/LLaVA/tree/main

DEMO网址：https://llava.hliu.cc/

实现原理

待补充

图片上传

src/serve/image_upload_gradio_server.py

使用文字搜图

src/serve/image_search_server.py

• 单个短语

• 多个短语

以图搜图