为什么我运行的composite_demo里面tool不会调用例子里面的方法？

[tmpuserx]

尝试查询一下厦门地天气，结果给了个代码。

[Btlmd]

您好！我刚才用 float16, temperature=0.95 和 top_p=0.80 试了 10 次，没能复现不能调用的情况。我觉得一个可能的原因 temperature 或 top_p 偏高。
另外对于 6B 模型来说，不能正确触发调用的情况也确实存在。这时可以考虑删除无用工具或修改对工具和参数的描述。

---

[tmpuserx]

您好，我看了我的设置 也是一样的。我没有在环境变量中定义MODEL_PATH，而是直接修改了client.py，将MODEL_PATH直接指定到模型的下载目录。另外因为is_ascii在3.2之后的charset_normalizer.util已经被移除了。我环境中的是3.3.x版本，一开始运行的时候是找不到is_ascii的错误，后来我从3.2.0版本里面把那个函数定义拷贝到本地的3.3版本的util.py里面去，不知道会不会是这个导致的问题？

您好！我刚才用 float16, temperature=0.95 和 top_p=0.80 试了 10 次，没能复现不能调用的情况。我觉得一个可能的原因 temperature 或 top_p 偏高。 另外对于 6B 模型来说，不能正确触发调用的情况也确实存在。这时可以考虑删除无用工具或修改对工具和参数的描述。

[nyanyae]

同样的情况(https://github.com/THUDM/ChatGLM3/assets/137745961/0b496e80-c137-43a1-8f7a-dcfc85dade98)
不光自己不会用 调低temperature和top_p之后反而教育我让我去用工具

自定义的搜索引擎工具也只会在第一次调用 当有history的情况下会非常强烈的想使用上下文来回答而不是继续使用工具
比如 搜苹果 之后再让 搜橘子 就会

[Roych13]

请问你们都是怎么跑成功的？给个配置呗。比如python版本，操作系统，显卡GPU，是否需要量化模型等。

我跑完一直是这个状态，也没看到加载模型的进度条，打开URL，都是“该页无法显示”。

[Btlmd]

在 chatglm3-6b-32k 中复现了以上两类无法调用工具的问题。目前我们仅在 chatglm3-6b 中增加了工具调用支持，chatglm3-6b-32k 中暂未支持工具调用，参见 #29 。

[tmpuserx]

请问你们都是怎么跑成功的？给个配置呗。比如python版本，操作系统，显卡GPU，是否需要量化模型等。 我跑完一直是这个状态，也没看到加载模型的进度条，打开URL，都是“该页无法显示”。

我是WIN10, Anaconda环境，python 3.10.6， CUDA 11，RTX3070 16G （自己找人升级的显存），模型是从modelscope下载的发布版本。看代码应该是没有做在线量化。运行后大概占用内存13.2GB

[tmpuserx]

在 chatglm3-6b-32k 中复现了以上两类无法调用工具的问题。目前我们仅在 chatglm3-6b 中增加了工具调用支持，chatglm3-6b-32k 中暂未支持工具调用，参见 #29 。

谢谢，使用chatglm3-6b模型就会调用方法了。请问后续会在32K版本里面的添加方法调用支持吗？

[Roych13]

请问你们都是怎么跑成功的？给个配置呗。比如python版本，操作系统，显卡GPU，是否需要量化模型等。 我跑完一直是这个状态，也没看到加载模型的进度条，打开URL，都是“该页无法显示”。

我是WIN10, Anaconda环境，python 3.10.6， CUDA 11，RTX3070 16G （自己找人升级的显存），模型是从modelscope下载的发布版本。看代码应该是没有做在线量化。运行后大概占用内存13.2GB

膜拜一下壕。我租的服务器，24G显存的4090，理论上应该能跑。除非~~~这货跟Ubuntu不太对付。唯一奇怪的是，webui_demo是没问题的。但跟streamlit有关的demo都不成功。不知道是不是跟streamlit的版本有关。

[shakeley]

请问你们都是怎么跑成功的？给个配置呗。比如python版本，操作系统，显卡GPU，是否需要量化模型等。 我跑完一直是这个状态，也没看到加载模型的进度条，打开URL，都是“该页无法显示”。

我是WIN10, Anaconda环境，python 3.10.6， CUDA 11，RTX3070 16G （自己找人升级的显存），模型是从modelscope下载的发布版本。看代码应该是没有做在线量化。运行后大概占用内存13.2GB

膜拜一下壕。我租的服务器，24G显存的4090，理论上应该能跑。除非~~~这货跟Ubuntu不太对付。唯一奇怪的是，webui_demo是没问题的。但跟streamlit有关的demo都不成功。不知道是不是跟streamlit的版本有关。

hi，我也遇到这个问题， 我是V100，重配了几次环境都不行，请问你解决了吗？