Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

Sign up for GitHub

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

Jump to bottom

你好，请问如何使用f16的模型？我使用f32的模型运行起来了， 但是速度不是特别理想，3060ti没占满，并且cpu只用到了单个核心 #2

Closed
luckily-lzy opened this issue Sep 23, 2021 · 3 comments
Closed

你好，请问如何使用f16的模型？我使用f32的模型运行起来了， 但是速度不是特别理想，3060ti没占满，并且cpu只用到了单个核心 #2

luckily-lzy opened this issue Sep 23, 2021 · 3 comments

Comments

@luckily-lzy
Copy link

luckily-lzy commented Sep 23, 2021 •
edited
Loading

新手上路，不太会
@luckily-lzy luckily-lzy changed the title 你好，请问如何使用f16的模型？我使用放2 你好，请问如何使用f16的模型？我使用f32的模型运行起来了， 但是速度不是特别理想，3060ti没占满，并且cpu只用到了单个核心 Sep 23, 2021
@DefTruth
Copy link
Owner

新手上路，不太会

f16的模型现在直接调用有些问题，fp32没有问题，这里有讨论 #4 。GPU没有占满的原因，我想可能是我的这份实现里，暂时还没有实现C++版本的CUDA的io_binding。这个问题在RVM的官方仓库有说明，inference_zh_Hans.md . 您可以考虑在 lite.ai.toolkit 中重新开这个issue，我会考虑在 lite.ai.toolkit 中修复这个问题，因为这个demo 项目的c++实现是在lite.ai.toolkit 中~
对于”cpu只用到了单个核心“，我想这应该是正常的，因为当你使用CUDA版本的时候，运算主要在GPU上。

@DefTruth
Copy link
Owner

新手上路，不太会

另外就是，如果你是用windows跑，可以参考 DefTruth/lite.ai.toolkit#10 进行GPU的兼容

@DefTruth DefTruth closed this as completed Dec 9, 2021
@chris2lee
Copy link

刚上路，不太会
请问你有没有成功跑起来windows的GPU版本？

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Assignees
No one assigned
Labels
None yet
Projects
None yet
Milestone
No milestone
Development

No branches or pull requests
4 participants
@DefTruth @luckily-lzy @chris2lee and others