使用Mac运行Langchain-Chatchat几轮对话之后内存占用一直增加

[southkorea2013]

使用了PyTorch版本为：
torch 2.3.0.dev20240110
torchaudio 2.2.0.dev20240110
torchvision 0.18.0.dev20240110

操作系统：macOS-14.3-arm64-arm-64bit.
python版本：3.10.13 (main, Sep 11 2023, 08:16:02) [Clang 14.0.6 ]
项目版本：v0.2.9
langchain版本：0.0.354. fastchat版本：0.2.35
当前使用的分词器：ChineseRecursiveTextSplitter
当前启动的LLM模型：['chatglm2-6b'] @ mps
{'device': 'mps',
'host': '127.0.0.1',
'infer_turbo': False,
'model_path': '/Applications/work/llm/models/chatglm2-6b',
'model_path_exists': True,
'port': 20002}
当前Embbedings模型： bge-large-zh @ mps
vector db: milvus
谢谢！

[dosubot[bot]]

🤖

嘿，@southkorea2013！再次遇见你真是太好了，希望一切都好！

您的问题可能是由于在每轮对话结束后，用于存储对话历史的内存(ConversationBufferDBMemory)没有被清除或释放，导致内存泄漏，即随着对话的进行，内存使用量持续增加。

在您提供的代码中，当提供conversation_id和history_len时，会为每次对话创建ConversationBufferDBMemory：

memory = ConversationBufferDBMemory(conversation_id=conversation_id,
                                    llm=model,
                                    message_limit=history_len)

然而，对话结束后并没有代码来清除或释放这个内存。如果内存管理不当，这可能导致内存泄漏。

要解决这个问题，您可以在每轮对话结束后添加代码来清除或释放ConversationBufferDBMemory。这可以在chat_iterator函数的await task行后完成。例如：

finally:
    if memory is not None:
        memory.clear()  # 假设ConversationBufferDBMemory中有一个clear方法

请注意，清除或释放内存的实际方法取决于ConversationBufferDBMemory类的实现，这在上下文中并未提供。clear方法只是一个例子，可能在实际实现中并不存在。

另外，根据Langchain-Chatchat代码库中ConversationBufferDBMemory类的实现，这个类是BaseChatMemory的子类，用于管理内存中的对话历史。但是，这个类的clear方法并没有做任何事情，所以即使调用了clear方法，也不会释放内存。

因此，您可能需要在ConversationBufferDBMemory类中实现一个方法来清除或释放内存。具体的实现方式取决于您的需求和ConversationBufferDBMemory类的具体实现。

以上是我对您问题的理解和建议，如果有任何不准确或需要进一步解释的地方，请随时告诉我。

Sources

• server/chat/chat.py
• server/memory/conversation_db_buffer_memory.py

---

This response is meant to be useful and save you time. It is not meant to be a precise solution, but rather a starting point for your own research.

Help me be more useful! Please leave a 👍 if this is helpful and 👎 if it is irrelevant.

If you want to continue the conversation, start your reply with @dosu-bot.

[zRzRzRzRzRzRzR]

关闭历史就不会了

[zixiaotan21]

请问如何关闭历史

[zixiaotan21]

关闭历史是在web UI 界面 点击“清楚对话”操作吗