Skip to content

Releases

AIChat v1.7.0 — Beta Kaggle Auto-Tunnel, Responsive Editorial UI & Prebuilt CUDA (llama.cpp b12076)

Choose a tag to compare

@KiyoEditz KiyoEditz released this 04 Nov 03:51

🚀 AIChat v1.7.0 — Beta Kaggle Auto-Tunnel, Responsive Editorial UI & Prebuilt CUDA (llama.cpp b12076)

Rilis v1.7.0 menghadirkan sistem orkestrasi Beta Kaggle Auto-Tunnel (npm run beta-kaggle) tanpa perlu menyalin URL manual, pembaruan antarmuka Responsive Digital Typography (Warm Paper & Obsidian) yang nyaman di mata, serta paket binary prebuilt multi-arsitektur terbaru berbasis llama.cpp b12076 (v0.8.0) yang kompatibel dengan pembaruan driver NVIDIA terbaru di Kaggle & Google Colab.


✨ Apa yang Baru di v1.7.0?

1. 🧪 Beta Kaggle Auto-Tunnel (npm run beta-kaggle)

Jalankan server GPU Dual Tesla T4 di Kaggle dan hubungkan ke AIChat lokal cukup dengan satu perintah — mendukung penggunaan penuh dari 1 perangkat saja (termasuk HP/Mobile & laptop spek ringan):

  • Auto-Push & Non-Stop Handshake: Menjalankan npm run beta-kaggle akan otomatis mengirim kernel server ke Kaggle (aichat-kaggle-server), menyalakan llama-server + Cloudflare Tunnel, dan mengirim URL aktif kembali ke AIChat melalui dataset privat (aichat-kaggle-tunnel) tanpa menghentikan sesi kernel.
  • Auto-Shutdown & Penghemat Kuota GPU:
    • Instant Shutdown (Ctrl+C): Mematikan server AIChat lokal akan otomatis mengirim sinyal /__aichat_shutdown ke Kaggle sehingga kernel langsung berhenti dan kuota GPU mingguan (30 jam) tetap hemat.
    • 30-Minute Auto-Idle Watchdog: Jika perangkat lokal terputus dari internet atau mati mendadak, kernel Kaggle otomatis mematikan dirinya sendiri setelah 30 menit tanpa aktivitas (timer otomatis dijeda saat model sedang men-generate respons panjang).
  • Panduan konfigurasi kredensial tersedia di kaggle-kernel/config/README.md.

2. 📖 Responsive Digital Typography & Editorial UI Redesign

  • Anti-Glare Warm Paper (Light Mode) & Obsidian (Dark Mode): Mengganti latar putih menyilaukan (#FFFFFF) dengan warna kertas hangat (#F8F6F1 & #EAE6DF) serta teks abu-abu arang (#222222) untuk mencegah kelelahan mata (reading fatigue).
  • Hierarki Visual Dialog vs. Narasi/Action:
    • Dialog ("..."): Menggunakan font Sans-Serif tajam (Plus Jakarta Sans / Inter) dengan kontras utama.
    • Narasi / Action (*...*): Menggunakan font Serif miring (Georgia) dengan warna hangat yang diredam (muted terracotta/amber) sehingga langsung mudah dibedakan dari dialog.
  • Batas Lebar Baris Ideal (65ch): Lebar gelembung pesan dibatasi pada ~60–75 karakter per baris dengan line-height 1.62.

3. ⚡ Upgrade llama.cpp b12076 (v0.8.0) & Perbaikan Build CUDA

  • Pembaruan engine dari b10605 ke b12076 (v0.8.0) (~1.470 commit lebih baru) dengan dukungan arsitektur model GGUF terbaru, optimasi FlashAttention/MMQ CUDA, dan kompresi fatbin.
  • Perbaikan resolusi linker libcuda.so.1 (-Wl,-rpath-link) dan isolasi build /kaggle/tmp pada Build-Llama-CUDA-Release.py serta seluruh script fallback notebook.

🖥️ Spesifikasi Prebuilt Binary (llama-cuda-multiarch-b12076.tar.gz)

File llama-cuda-multiarch-b12076.tar.gz pada rilis ini adalah fat multi-arch binary yang memungkinkan notebook Kaggle & Google Colab menyala dalam ~10 detik tanpa perlu kompilasi ulang dari source (yang memakan waktu ~1 jam 30 menit di 4-core CPU Kaggle).

🔧 Lingkungan Build & Driver yang Didukung

Komponen Versi Build / Dukungan
Versi llama.cpp b12076 (v0.8.0, commit 36ee3ca)
NVIDIA Driver Host Driver 580.178.04 (CUDA 13.0 Host) & kompatibel penuh dengan Driver 550+ / 560+ / 570+ (CUDA 12.x)
CUDA Toolkit (nvcc) CUDA 12.8 (V12.8.93) dengan CUDA Virtual Memory Management (VMM) aktif
OS / Platform Linux x86_64 (Ubuntu 22.04 / 24.04 — Kaggle & Google Colab Container Images)

🎮 Hardware GPU yang Didukung (Satu File untuk Semua GPU)

Binary ini menyertakan kode mesin native (SASS) untuk 5 generasi arsitektur GPU ditambah kode PTX Virtual untuk kompatibilitas ke depan (forward-compatibility):

Arsitektur NVIDIA Compute Capability Daftar GPU yang Didukung Mode Eksekusi
Turing sm_75 (75-real) NVIDIA Tesla T4 (Kaggle T4 x2 / Colab T4), RTX 2060/2070/2080 Ti, Quadro RTX ✅ Native SASS
Ampere (Data Center) sm_80 (80-real) NVIDIA A100 (Colab Pro A100 40GB/80GB), A30 ✅ Native SASS
Ampere (Consumer/Workstation) sm_86 (86-real) NVIDIA A10, A10G, A40, RTX 3060/3070/3080/3090/3090 Ti, RTX A4000–A6000 ✅ Native SASS
Ada Lovelace sm_89 (89-real) NVIDIA L4 (Colab L4), L40, L40S, RTX 4060/4070/4080/4090, RTX 6000 Ada ✅ Native SASS
Hopper sm_90 (90-real) NVIDIA H100 (Kaggle/Colab H100), H200, GH200 ✅ Native SASS
Blackwell & Generasi Baru $\ge$ compute_90 (90-virtual) NVIDIA B100, B200, GB200, RTX 50xx / RTX PRO 6000 Blackwell (sm_100 / sm_120) ⚡ PTX JIT Forward-Compat

Catatan: GPU pra-Turing seperti Pascal (P100 / sm_60) atau Volta (V100 / sm_70) tidak disertakan di dalam fat binary ini; jika dijalankan pada GPU tersebut, script notebook akan otomatis mendeteksinya dan melakukan fallback build khusus untuk GPU tersebut.


📦 Checksum (SHA-256)

kedua file berikut adalah aset rilis:

  • llama-cuda-multiarch-b12076.tar.gz
  • llama-cuda-multiarch-b12076.tar.gz.sha256

v1.3.1 — Multi-GPU Auto-Detect Build (T4 / A100 / L4 / RTX / H100)

Choose a tag to compare

@KiyoEditz KiyoEditz released this 24 Sep 22:42

Added

  • Fat multi-arch CUDA build: Compiles native binaries for T4 (sm_75), A100 (sm_80), RTX 30-series (sm_86), L4/RTX 40-series (sm_89), and H100 (sm_90), plus an sm_90 PTX forward-compatibility entry.
  • Runtime GPU auto-detection: Collab-Llama.py and Kaggle-Llama.py now detect the attached GPU architecture automatically via nvidia-smi—no manual CUDA_ARCH editing required.
  • Coverage-aware prebuilt verification: Tarball verification now checks if the attached GPU is natively supported or JIT-compatible before extraction, falling back to source build if not.
  • Enhanced VERSION.txt metadata: Added cuda_archs and cuda_archs_human for quick inspection.

Fixed

  • Shell argument truncation: Quoted -DCMAKE_CUDA_ARCHITECTURES="{CUDA_ARCH}" to prevent semicolons from splitting cmake arguments into separate shell commands.
  • CUDA driver library resolution: Expanded search paths to include container paths (/usr/local/nvidia/lib64, /usr/local/nvidia/lib), LD_LIBRARY_PATH, and versioned CUDA directories on Colab and Kaggle.
  • VMM fallback configuration: Cleaned up fallback flags to properly bypass CUDA::cuda_driver linkage when VMM is disabled.

Changed

  • Asset naming updated to llama-cuda-multiarch-{tag}.tar.gz (one package serves all supported GPUs).
  • GITHUB_RELEASE_URL in the notebook scripts should be updated to point to this new multi-arch asset.

v1.0.0

Choose a tag to compare

@KiyoEditz KiyoEditz released this 26 Aug 03:24

Prebuilt llama-server binary (llama.cpp tag b10605), compiled with CUDA
for Tesla T4 (sm_75). Built via Build-Llama-CUDA-Release.py on Kaggle.

  • CUDA VMM: off (built with GGML_CUDA_NO_VMM=ON — this Kaggle image
    doesn't expose libcuda.so at build time; inference correctness is
    unaffected, only the VRAM allocator is slightly less flexible)
  • Bundled: llama-server + libggml*/libllama*/libmtmd*.so (project-owned
    only — system CUDA runtime/driver libs come from the host at runtime)
  • Verify before use: extract, check VERSION.txt matches your
    LLAMA_CPP_TAG/CUDA_ARCH, then ./run.sh --version

Asset: llama-linux-cuda-sm75-b10605.tar.gz (+ .sha256)
Used by: Collab-Llama.py / Kaggle-Llama.py via GITHUB_RELEASE_URL

LlamaCPP Linux CUDA v0.0.1 pre-test

Pre-release

Choose a tag to compare

@KiyoEditz KiyoEditz released this 25 Aug 16:16

ini hanya untuk sementara dan di tujukan untuk tes lebih lanjut.

This is only temporary and is intended for further testing.