优化 #818
xiaozhuhan1
started this conversation in
General
优化
#818
Replies: 0 comments
Sign up for free
to join this conversation on GitHub.
Already have an account?
Sign in to comment
Uh oh!
There was an error while loading. Please reload this page.
我觉得既然有本地运行模型这个功能， 那应该对本地运行mnn进行一个高效的优化。 包括内存管理和运行。希望加上高通npu调用和较好的内存控制。就比如我通过16g内存的设备运行。 净内存剩余量9g 在运行千问3.5 2b还没加载完就崩溃了。 可是如果连2b量都达不到，那本地还有啥意义呢？
All reactions