如何使用本地的模型权重接入？

[fsyfb]

如果不想使用在线的大模型api，使用本地的模型如qwen7b等接入该程序，有什么建议吗

[wxywb]

1.先确认llamaindex是否支持你的模型，如果支持，在executor里把LLM换成你用的LLM就可以
2.不支持你用的模型，你把你的大模型使用fastapi或者flask写成一个api服务，仿照https://github.com/wxywb/history_rag/blob/master/custom/llms/QwenLLM.py 写一个client连上