Repository navigation
Releases
AIChat v1.7.0 — Beta Kaggle Auto-Tunnel, Responsive Editorial UI & Prebuilt CUDA (llama.cpp b12076)
🚀 AIChat v1.7.0 — Beta Kaggle Auto-Tunnel, Responsive Editorial UI & Prebuilt CUDA (llama.cpp b12076)
Rilis v1.7.0 menghadirkan sistem orkestrasi Beta Kaggle Auto-Tunnel (npm run beta-kaggle) tanpa perlu menyalin URL manual, pembaruan antarmuka Responsive Digital Typography (Warm Paper & Obsidian) yang nyaman di mata, serta paket binary prebuilt multi-arsitektur terbaru berbasis llama.cpp b12076 (v0.8.0) yang kompatibel dengan pembaruan driver NVIDIA terbaru di Kaggle & Google Colab.
✨ Apa yang Baru di v1.7.0?
1. 🧪 Beta Kaggle Auto-Tunnel (npm run beta-kaggle)
Jalankan server GPU Dual Tesla T4 di Kaggle dan hubungkan ke AIChat lokal cukup dengan satu perintah — mendukung penggunaan penuh dari 1 perangkat saja (termasuk HP/Mobile & laptop spek ringan):
- Auto-Push & Non-Stop Handshake: Menjalankan
npm run beta-kaggleakan otomatis mengirim kernel server ke Kaggle (aichat-kaggle-server), menyalakanllama-server+ Cloudflare Tunnel, dan mengirim URL aktif kembali ke AIChat melalui dataset privat (aichat-kaggle-tunnel) tanpa menghentikan sesi kernel. - Auto-Shutdown & Penghemat Kuota GPU:
- Instant Shutdown (
Ctrl+C): Mematikan server AIChat lokal akan otomatis mengirim sinyal/__aichat_shutdownke Kaggle sehingga kernel langsung berhenti dan kuota GPU mingguan (30 jam) tetap hemat. - 30-Minute Auto-Idle Watchdog: Jika perangkat lokal terputus dari internet atau mati mendadak, kernel Kaggle otomatis mematikan dirinya sendiri setelah 30 menit tanpa aktivitas (timer otomatis dijeda saat model sedang men-generate respons panjang).
- Instant Shutdown (
- Panduan konfigurasi kredensial tersedia di
kaggle-kernel/config/README.md.
2. 📖 Responsive Digital Typography & Editorial UI Redesign
- Anti-Glare Warm Paper (Light Mode) & Obsidian (Dark Mode): Mengganti latar putih menyilaukan (
#FFFFFF) dengan warna kertas hangat (#F8F6F1&#EAE6DF) serta teks abu-abu arang (#222222) untuk mencegah kelelahan mata (reading fatigue). - Hierarki Visual Dialog vs. Narasi/Action:
- Dialog (
"..."): Menggunakan font Sans-Serif tajam (Plus Jakarta Sans/Inter) dengan kontras utama. - Narasi / Action (
*...*): Menggunakan font Serif miring (Georgia) dengan warna hangat yang diredam (muted terracotta/amber) sehingga langsung mudah dibedakan dari dialog.
- Dialog (
- Batas Lebar Baris Ideal (
65ch): Lebar gelembung pesan dibatasi pada ~60–75 karakter per baris dengan line-height1.62.
3. ⚡ Upgrade llama.cpp b12076 (v0.8.0) & Perbaikan Build CUDA
- Pembaruan engine dari
b10605keb12076(v0.8.0) (~1.470 commit lebih baru) dengan dukungan arsitektur model GGUF terbaru, optimasi FlashAttention/MMQ CUDA, dan kompresi fatbin. - Perbaikan resolusi linker
libcuda.so.1(-Wl,-rpath-link) dan isolasi build/kaggle/tmppadaBuild-Llama-CUDA-Release.pyserta seluruh script fallback notebook.
🖥️ Spesifikasi Prebuilt Binary (llama-cuda-multiarch-b12076.tar.gz)
File llama-cuda-multiarch-b12076.tar.gz pada rilis ini adalah fat multi-arch binary yang memungkinkan notebook Kaggle & Google Colab menyala dalam ~10 detik tanpa perlu kompilasi ulang dari source (yang memakan waktu ~1 jam 30 menit di 4-core CPU Kaggle).
🔧 Lingkungan Build & Driver yang Didukung
| Komponen | Versi Build / Dukungan |
|---|---|
Versi llama.cpp |
b12076 (v0.8.0, commit 36ee3ca) |
| NVIDIA Driver Host | Driver 580.178.04 (CUDA 13.0 Host) & kompatibel penuh dengan Driver 550+ / 560+ / 570+ (CUDA 12.x) |
CUDA Toolkit (nvcc) |
CUDA 12.8 (V12.8.93) dengan CUDA Virtual Memory Management (VMM) aktif |
| OS / Platform | Linux x86_64 (Ubuntu 22.04 / 24.04 — Kaggle & Google Colab Container Images) |
🎮 Hardware GPU yang Didukung (Satu File untuk Semua GPU)
Binary ini menyertakan kode mesin native (SASS) untuk 5 generasi arsitektur GPU ditambah kode PTX Virtual untuk kompatibilitas ke depan (forward-compatibility):
| Arsitektur NVIDIA | Compute Capability | Daftar GPU yang Didukung | Mode Eksekusi |
|---|---|---|---|
| Turing |
sm_75 (75-real) |
NVIDIA Tesla T4 (Kaggle T4 x2 / Colab T4), RTX 2060/2070/2080 Ti, Quadro RTX | ✅ Native SASS |
| Ampere (Data Center) |
sm_80 (80-real) |
NVIDIA A100 (Colab Pro A100 40GB/80GB), A30 | ✅ Native SASS |
| Ampere (Consumer/Workstation) |
sm_86 (86-real) |
NVIDIA A10, A10G, A40, RTX 3060/3070/3080/3090/3090 Ti, RTX A4000–A6000 | ✅ Native SASS |
| Ada Lovelace |
sm_89 (89-real) |
NVIDIA L4 (Colab L4), L40, L40S, RTX 4060/4070/4080/4090, RTX 6000 Ada | ✅ Native SASS |
| Hopper |
sm_90 (90-real) |
NVIDIA H100 (Kaggle/Colab H100), H200, GH200 | ✅ Native SASS |
| Blackwell & Generasi Baru |
compute_90 (90-virtual) |
NVIDIA B100, B200, GB200, RTX 50xx / RTX PRO 6000 Blackwell (sm_100 / sm_120) |
⚡ PTX JIT Forward-Compat |
Catatan: GPU pra-Turing seperti Pascal (
P100/sm_60) atau Volta (V100/sm_70) tidak disertakan di dalam fat binary ini; jika dijalankan pada GPU tersebut, script notebook akan otomatis mendeteksinya dan melakukan fallback build khusus untuk GPU tersebut.
📦 Checksum (SHA-256)
kedua file berikut adalah aset rilis:
llama-cuda-multiarch-b12076.tar.gzllama-cuda-multiarch-b12076.tar.gz.sha256
v1.3.1 — Multi-GPU Auto-Detect Build (T4 / A100 / L4 / RTX / H100)
Added
- Fat multi-arch CUDA build: Compiles native binaries for T4 (
sm_75), A100 (sm_80), RTX 30-series (sm_86), L4/RTX 40-series (sm_89), and H100 (sm_90), plus ansm_90PTX forward-compatibility entry. - Runtime GPU auto-detection:
Collab-Llama.pyandKaggle-Llama.pynow detect the attached GPU architecture automatically vianvidia-smi—no manualCUDA_ARCHediting required. - Coverage-aware prebuilt verification: Tarball verification now checks if the attached GPU is natively supported or JIT-compatible before extraction, falling back to source build if not.
- Enhanced
VERSION.txtmetadata: Addedcuda_archsandcuda_archs_humanfor quick inspection.
Fixed
- Shell argument truncation: Quoted
-DCMAKE_CUDA_ARCHITECTURES="{CUDA_ARCH}"to prevent semicolons from splitting cmake arguments into separate shell commands. - CUDA driver library resolution: Expanded search paths to include container paths (
/usr/local/nvidia/lib64,/usr/local/nvidia/lib),LD_LIBRARY_PATH, and versioned CUDA directories on Colab and Kaggle. - VMM fallback configuration: Cleaned up fallback flags to properly bypass
CUDA::cuda_driverlinkage when VMM is disabled.
Changed
- Asset naming updated to
llama-cuda-multiarch-{tag}.tar.gz(one package serves all supported GPUs). GITHUB_RELEASE_URLin the notebook scripts should be updated to point to this new multi-arch asset.
v1.0.0
Prebuilt llama-server binary (llama.cpp tag b10605), compiled with CUDA
for Tesla T4 (sm_75). Built via Build-Llama-CUDA-Release.py on Kaggle.
- CUDA VMM: off (built with GGML_CUDA_NO_VMM=ON — this Kaggle image
doesn't expose libcuda.so at build time; inference correctness is
unaffected, only the VRAM allocator is slightly less flexible) - Bundled: llama-server + libggml*/libllama*/libmtmd*.so (project-owned
only — system CUDA runtime/driver libs come from the host at runtime) - Verify before use: extract, check VERSION.txt matches your
LLAMA_CPP_TAG/CUDA_ARCH, then./run.sh --version
Asset: llama-linux-cuda-sm75-b10605.tar.gz (+ .sha256)
Used by: Collab-Llama.py / Kaggle-Llama.py via GITHUB_RELEASE_URL
LlamaCPP Linux CUDA v0.0.1 pre-test
ini hanya untuk sementara dan di tujukan untuk tes lebih lanjut.
This is only temporary and is intended for further testing.