[BUG/Help] windows11 chatglm2-6b-int4 量化版本 webui打开了，但是无法提交和回复

[jhjade]

Is there an existing issue for this?

• I have searched the existing issues

Current Behavior

Expected Behavior

启动后webui 可以正常打开
'gcc' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
Compile parallel cpu kernel gcc -O3 -fPIC -pthread -fopenmp -std=c99 C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels_parallel.c -shared -o C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels_parallel.so failed.
'gcc' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
Compile cpu kernel gcc -O3 -fPIC -std=c99 C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels.c -shared -o C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels.so failed.
D:\chatGLM\ChatGLM2-6B\web_demo.py:90: GradioDeprecationWarning: The style method is deprecated. Please set these arguments in the constructor instead.
user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
Running on local URL: http://127.0.0.1:7860

To create a public link, set share=True in launch().
C:\ProgramData\anaconda3\envs\chatglm2\lib\site-packages\gradio\helpers.py:818: UserWarning: Using the update method is deprecated. Simply return a new object instead, e.g. return gr.Textbox(...) instead of return gr.update(...) warnings.warn( C:\ProgramData\anaconda3\envs\chatglm2\lib\site-packages\gradio\components\textbox.py:163: UserWarning: Using the update method is deprecated. Simply return a new object instead, e.g. return gr.Textbox(...)instead ofreturn gr.Textbox.update(...)`.
warnings.warn(

Steps To Reproduce

python .\web_demo.py
'gcc' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
Compile parallel cpu kernel gcc -O3 -fPIC -pthread -fopenmp -std=c99 C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels_parallel.c -shared -o C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels_parallel.so failed.
'gcc' 不是内部或外部命令，也不是可运行的程序
或批处理文件。
Compile cpu kernel gcc -O3 -fPIC -std=c99 C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels.c -shared -o C:\Users\Administrator.cache\huggingface\modules\transformers_modules\THUDM\chatglm2-6b-int4\382cc704867dc2b78368576166799ace0f89d9ef\quantization_kernels.so failed.
D:\chatGLM\ChatGLM2-6B\web_demo.py:90: GradioDeprecationWarning: The style method is deprecated. Please set these arguments in the constructor instead.
user_input = gr.Textbox(show_label=False, placeholder="Input...", lines=10).style(
Running on local URL: http://127.0.0.1:7860

To create a public link, set share=True in launch().

Environment

- OS: window11
- Python: 3.10.13
- Transformers:4.30.2
- PyTorch:2.0.1+cu117
- CUDA Support (`python -c "import torch; print(torch.cuda.is_available())"`) :True

Anything else?

No response

[jhjade]

量化模型在 api demo 里是好的

[jhjade]

找到原因了：需要降低版本 gradio==3.39.0

[TianZheng-9741]

找到原因了：需要降低版本 gradio==3.39.0

类似的问题，感谢前人的脚步 哈哈

[myaijarvis]

感谢，终于找到原因了

[theskywilldawn]

感谢，我也遇到了这个问题

[dengweixing1996]

找到原因了：需要降低版本 gradio==3.39.0

感谢解答，同样遇到这个问题

[zasidle]

thanks for your answer~

[ReAklL]

找到原因了：需要降低版本 gradio==3.39.0

同样的问题，已解决。感谢！