Add support for Ollama

[Menghuan1918]

基本测试没发现问题：

不过依然存在一些问题：

1.在代码中依然使用的

response=requests.post(endpoint,headers=headers,proxies=proxies,json=payload,stream=True,timeout=TIMEOUT_SECONDS);

进行请求，然而考虑到ollama是本地运行的，有必要使用proxies吗?

2.ollama的图形支持没完成

[ME-Msc]

请问如何接入ollama？谢谢

[Menghuan1918]

请问如何接入ollama？谢谢

如果是直接调用本地的的ollama(即地址是 http://localhost:11434/api/chat) 的话，直接往AVAIL_LLM_MODELS里面加模型名字，"ollama-"开头，中间是模型名字，(max_token=xxxx)结尾，比如：

AVAIL_LLM_MODELS = ["yi-34b-chat-200k","ollama-phi3(max_token=4096)","ollama-llama3(max_token=8000)"]

如果不是本地或者其他地址，还要加一个：

API_URL_REDIRECT = {"http://localhost:11434/api/chat": "这儿放你的ollama请求地址"}

[Bardbo]

您好，请问按照您提供的接入方法，出现下列错误，这是为什么呢？ollama本地端口为8000，我是如下设置的config_private.py文件：

LLM_MODEL = "ollama-gemma(max_token=4096)" # 可选 ↓↓↓
AVAIL_LLM_MODELS = ["ollama-gemma(max_token=4096)", "ollama-llama3(max_token=4096)", "ollama-qwen:7b(max_token=4096)", "ollama-tinyllama(max_token=4096)"]
API_URL_REDIRECT = {"http://localhost:11434/api/chat":"http://localhost:8000"}

报错为：

[Local Message] 异常

Traceback (most recent call last):
  File ".\request_llms\bridge_ollama.py", line 193, in predict
    gpt_replying_buffer = gpt_replying_buffer + chunkjson['message']["content"]
                                                ~~~~~~~~~^^^^^^^^^^^
TypeError: 'NoneType' object is not subscriptable

404 page not found

[Menghuan1918]

API_URL_REDIRECT = {"http://localhost:11434/api/chat":"http://localhost:8000"}

这个部分应该是：

API_URL_REDIRECT = {"http://localhost:11434/api/chat":"http://localhost:8000/api/chat"}

[Bardbo]

谢谢您，我刚刚也发现了，您回复速度好快！已解决！