| title | emoji | type | topics | published | |||
|---|---|---|---|---|---|---|---|
llama-cpp-pythonをMacで動かしているときにやたら遅いと思ったら |
🦙 |
tech |
|
true |
llama-cpp-python 使ってる？ https://github.com/abetlen/llama-cpp-python
macOS (Metal) で動く。すごい。 https://llama-cpp-python.readthedocs.io/en/latest/install/macos/
ただ、環境変えたら何故か動かなくなった。。。
調べたら、どうもバグっぽい。バージョンを低くしたら動いた。Activity Monitor 見たら 期待通り GPU も使ってくれてそう。
pip uninstall llama-cpp-python
CMAKE_ARGS="-DLLAMA_METAL=on" pip install llama-cpp-python==0.2.27
結構なレアケースな気がするけど、真面目に調べたら解決できた。よかったよかった。