Releases
v1.2.1
v1.2.1: Fix External GGUF Model Loading & Exception Swallow
Compare
Sorry, something went wrong.
No results found
Local LLM Android v1.2.1 Release Notes
๐ ๏ธ GGUF & ์ธ๋ถ ๋ชจ๋ธ ๋ก๋ฉ ์น๋ช
์ ๋ฒ๊ทธ ์์ ํด๊ฒฐ
llama.cpp ๋ค์ดํฐ๋ธ ์ปจํ
์คํธ ์ง์ ์ธ์คํด์คํ (LlamaContext) :
๊ธฐ์กด \LlamaAndroid.startEngine\์ด ๋ด๋ถ ์์ธ๋ฅผ ๊ฐ๋ก์ฑ
ull\๋ก ์ผ์ผ๋ฒ๋ ค \llama.cpp contextId ๋ฐํ ์คํจ: null\์ ๋ฐ์์ํค๋ ์น๋ช
์ ๊ฒฐํจ์ ์์ฒ ์ ๊ฑฐ
๋ค์ดํฐ๋ธ ์์ธ ๋ฐ์ ์ ์ค์ ์๋ฌ ์ฌ์ ๋ฐ ์์ธ ์ฝ๋๋ฅผ ์ค์๊ฐ ์ง๋จ ๋ํ์์์ ์์ธ ํ์ถ
์๋๋ก์ด๋ ์ ์ฅ์ ํ์ผ ๋์คํฌ๋ฆฝํฐ ์ง๊ฒฐ (ParcelFileDescriptor.open) :
\Uri.parse\ ๋ฐ \openInputStream\ ์คํจ ์ทจ์ฝ์ ์ ์ฐํํ์ฌ ๊ธฐ๊ธฐ ์ ์ฅ์/์ธ๋ถ์์ ๊ฐ์ ธ์จ ํ์ผ๋ OS ๋ค์ดํฐ๋ธ ๋ ๋ฒจ์์ ์์ ํ๊ฒ FD ์คํ
6๋จ๊ณ ์ง๋ฅํ ํด๋ฐฑ ๋ณต๊ตฌ ๋ก๋ (Multi-Stage Fallback Loader) :
1๋จ๊ณ: ์ปค๋ \mmap\ + ๋ด์ฅ/์ธ์ฅ ๋น์ ํ์ ์ฐ๋
2๋จ๊ณ: ์ง์ ๋ฉ๋ชจ๋ฆฌ ๋ก๋ (\use_mmap = false) + ๋น์ ํ์ ์ฐ๋
3๋จ๊ณ: ํ์ค ํ
์คํธ ๋์ฝ๋ ๋ชจ๋ (์ฌ์ฉ์ ์ค์ ์ปจํ
์คํธ ์๋์ฐ)
4๋จ๊ณ: ์ง์ ๋ฉ๋ชจ๋ฆฌ ๋ชจ๋ (mmap ๋ฏธ์ง์ ์ปค๋ ๋์)
5๋จ๊ณ: ์ปจํ
์คํธ ์ถ์ ์์ ํ ๋ชจ๋ (2048 ctx)
6๋จ๊ณ: ์ ์ฌ์ ๊ธฐ๊ธฐ ์ ์ ๋ชจ๋ (1024 ctx)
์ปจํ
์คํธ ๋์ ๋ฐฉ์ง ๋ฐ ๋ฆฌ๋ฐ ํ์ฅ :
\LlamaAndroid\ ๊ธฐ๋ณธ ํ๋(1)๋ฅผ 16์ผ๋ก ํ์ฅํ์ฌ ๋ชจ๋ธ ์ ํ ์ ์ฆ๊ฐ ๋ก๋ ๊ฐ๋ฅ
๋ชจ๋ธ ์ธ๋ก๋ ์ ๊ธฐ์กด ๋ค์ดํฐ๋ธ ์ปจํ
์คํธ ๋งต์ ์ ์ ํด์ ํ์ฌ ํฐ RAM ๋์ ์ฐจ๋จ
You canโt perform that action at this time.