ggml_graph_compute_helper函数的作用?

[wildkid1024]

当我在扩展新的模型时,发现在cuda版本下,chatglm.cpp的#463行ggml_graph_compute_helper(ctx_.work_buffer, &ctx_.gf, n_threads);函数会导致以下cuda bug:
CUDA error 9 at /home/pan/Code/chatglm.cpp/third_party/ggml/src/ggml-cuda.cu:6047: invalid configuration argument

但是在纯cpu环境下运行时无问题,去掉该函数也没问题,所以对该函数的作用很疑惑,望能够解答.

[gambler119]

你好，我也碰到了这个问题，请问你解决了吗

[wildkid1024]

ggml会创建一个graph，最后是实际计算的那个函数。

检查是不是attention写的不对，一般是cuda内存的问题。这个问题我也没完全解决。

[wac81]

my fault