Installazione

Requisiti

Strumento	Uso
macOS (testato su Intel)	piattaforma di sviluppo
Compilatore C++17 (g++/clang++)	compilare engine/main.cpp
CMake	compilare llama.cpp
Node.js e npm	compilare la UI web
Google Chrome	finestra di Banana.app (il resto funziona con qualsiasi browser)
~2,5 GB per il 4B, ~1,1 GB per l'1.7B, ~3,6 GB per Omni-3B	pesi dei modelli

Installazione

Tutti i comandi si eseguono dalla cartella principale llm/.

1. Compila llama.cpp (motore, server e UI web):

cd llama.cpp
cmake -B build -DCMAKE_BUILD_TYPE=Release -DLLAMA_BUILD_UI=ON
cmake --build build --config Release -j4
cd ..

2. Scarica i modelli. Non sono inclusi nella repo (limite di 100 MB di GitHub, e sono esclusi da .gitignore).

Modello	Download	Dove metterlo
Qwen3-4B	Qwen3-4B-Q4_K_M.gguf	llm/Qwen3-4B-Q4_K_M.gguf
Qwen3-1.7B	Qwen3-1.7B-Q4_K_M.gguf	llm/Qwen3-1.7B-Q4_K_M.gguf
Qwen2.5-Omni-3B (multimodale)	ggml-org/Qwen2.5-Omni-3B-GGUF: servono due file, Qwen2.5-Omni-3B-Q4_K_M.gguf e mmproj-Qwen2.5-Omni-3B-Q8_0.gguf	entrambi nella cartella llm/Qwen2.5-Omni-3B/

Il file mmproj è la parte che interpreta immagini e audio: senza di esso Omni accetta solo testo.

3. (Facoltativo) Compila la chat da terminale ./llm:

g++ -std=c++17 -O2 engine/main.cpp -I llama.cpp/include -I llama.cpp/ggml/include \
    -L llama.cpp/build/bin -lllama -lggml \
    -Wl,-rpath,@executable_path/llama.cpp/build/bin -o llm

4. (Facoltativo, macOS) Crea l'app con un clic:

bash scripts/make_app.sh