Skip to content

AIChat v1.7.0 — Beta Kaggle Auto-Tunnel, Responsive Editorial UI & Prebuilt CUDA (llama.cpp b12076)

Latest

Choose a tag to compare

@KiyoEditz KiyoEditz released this 04 Nov 03:51
· 7 commits to master since this release

🚀 AIChat v1.7.0 — Beta Kaggle Auto-Tunnel, Responsive Editorial UI & Prebuilt CUDA (llama.cpp b12076)

Rilis v1.7.0 menghadirkan sistem orkestrasi Beta Kaggle Auto-Tunnel (npm run beta-kaggle) tanpa perlu menyalin URL manual, pembaruan antarmuka Responsive Digital Typography (Warm Paper & Obsidian) yang nyaman di mata, serta paket binary prebuilt multi-arsitektur terbaru berbasis llama.cpp b12076 (v0.8.0) yang kompatibel dengan pembaruan driver NVIDIA terbaru di Kaggle & Google Colab.


✨ Apa yang Baru di v1.7.0?

1. 🧪 Beta Kaggle Auto-Tunnel (npm run beta-kaggle)

Jalankan server GPU Dual Tesla T4 di Kaggle dan hubungkan ke AIChat lokal cukup dengan satu perintah — mendukung penggunaan penuh dari 1 perangkat saja (termasuk HP/Mobile & laptop spek ringan):

  • Auto-Push & Non-Stop Handshake: Menjalankan npm run beta-kaggle akan otomatis mengirim kernel server ke Kaggle (aichat-kaggle-server), menyalakan llama-server + Cloudflare Tunnel, dan mengirim URL aktif kembali ke AIChat melalui dataset privat (aichat-kaggle-tunnel) tanpa menghentikan sesi kernel.
  • Auto-Shutdown & Penghemat Kuota GPU:
    • Instant Shutdown (Ctrl+C): Mematikan server AIChat lokal akan otomatis mengirim sinyal /__aichat_shutdown ke Kaggle sehingga kernel langsung berhenti dan kuota GPU mingguan (30 jam) tetap hemat.
    • 30-Minute Auto-Idle Watchdog: Jika perangkat lokal terputus dari internet atau mati mendadak, kernel Kaggle otomatis mematikan dirinya sendiri setelah 30 menit tanpa aktivitas (timer otomatis dijeda saat model sedang men-generate respons panjang).
  • Panduan konfigurasi kredensial tersedia di kaggle-kernel/config/README.md.

2. 📖 Responsive Digital Typography & Editorial UI Redesign

  • Anti-Glare Warm Paper (Light Mode) & Obsidian (Dark Mode): Mengganti latar putih menyilaukan (#FFFFFF) dengan warna kertas hangat (#F8F6F1 & #EAE6DF) serta teks abu-abu arang (#222222) untuk mencegah kelelahan mata (reading fatigue).
  • Hierarki Visual Dialog vs. Narasi/Action:
    • Dialog ("..."): Menggunakan font Sans-Serif tajam (Plus Jakarta Sans / Inter) dengan kontras utama.
    • Narasi / Action (*...*): Menggunakan font Serif miring (Georgia) dengan warna hangat yang diredam (muted terracotta/amber) sehingga langsung mudah dibedakan dari dialog.
  • Batas Lebar Baris Ideal (65ch): Lebar gelembung pesan dibatasi pada ~60–75 karakter per baris dengan line-height 1.62.

3. ⚡ Upgrade llama.cpp b12076 (v0.8.0) & Perbaikan Build CUDA

  • Pembaruan engine dari b10605 ke b12076 (v0.8.0) (~1.470 commit lebih baru) dengan dukungan arsitektur model GGUF terbaru, optimasi FlashAttention/MMQ CUDA, dan kompresi fatbin.
  • Perbaikan resolusi linker libcuda.so.1 (-Wl,-rpath-link) dan isolasi build /kaggle/tmp pada Build-Llama-CUDA-Release.py serta seluruh script fallback notebook.

🖥️ Spesifikasi Prebuilt Binary (llama-cuda-multiarch-b12076.tar.gz)

File llama-cuda-multiarch-b12076.tar.gz pada rilis ini adalah fat multi-arch binary yang memungkinkan notebook Kaggle & Google Colab menyala dalam ~10 detik tanpa perlu kompilasi ulang dari source (yang memakan waktu ~1 jam 30 menit di 4-core CPU Kaggle).

🔧 Lingkungan Build & Driver yang Didukung

Komponen Versi Build / Dukungan
Versi llama.cpp b12076 (v0.8.0, commit 36ee3ca)
NVIDIA Driver Host Driver 580.178.04 (CUDA 13.0 Host) & kompatibel penuh dengan Driver 550+ / 560+ / 570+ (CUDA 12.x)
CUDA Toolkit (nvcc) CUDA 12.8 (V12.8.93) dengan CUDA Virtual Memory Management (VMM) aktif
OS / Platform Linux x86_64 (Ubuntu 22.04 / 24.04 — Kaggle & Google Colab Container Images)

🎮 Hardware GPU yang Didukung (Satu File untuk Semua GPU)

Binary ini menyertakan kode mesin native (SASS) untuk 5 generasi arsitektur GPU ditambah kode PTX Virtual untuk kompatibilitas ke depan (forward-compatibility):

Arsitektur NVIDIA Compute Capability Daftar GPU yang Didukung Mode Eksekusi
Turing sm_75 (75-real) NVIDIA Tesla T4 (Kaggle T4 x2 / Colab T4), RTX 2060/2070/2080 Ti, Quadro RTX ✅ Native SASS
Ampere (Data Center) sm_80 (80-real) NVIDIA A100 (Colab Pro A100 40GB/80GB), A30 ✅ Native SASS
Ampere (Consumer/Workstation) sm_86 (86-real) NVIDIA A10, A10G, A40, RTX 3060/3070/3080/3090/3090 Ti, RTX A4000–A6000 ✅ Native SASS
Ada Lovelace sm_89 (89-real) NVIDIA L4 (Colab L4), L40, L40S, RTX 4060/4070/4080/4090, RTX 6000 Ada ✅ Native SASS
Hopper sm_90 (90-real) NVIDIA H100 (Kaggle/Colab H100), H200, GH200 ✅ Native SASS
Blackwell & Generasi Baru $\ge$ compute_90 (90-virtual) NVIDIA B100, B200, GB200, RTX 50xx / RTX PRO 6000 Blackwell (sm_100 / sm_120) ⚡ PTX JIT Forward-Compat

Catatan: GPU pra-Turing seperti Pascal (P100 / sm_60) atau Volta (V100 / sm_70) tidak disertakan di dalam fat binary ini; jika dijalankan pada GPU tersebut, script notebook akan otomatis mendeteksinya dan melakukan fallback build khusus untuk GPU tersebut.


📦 Checksum (SHA-256)

kedua file berikut adalah aset rilis:

  • llama-cuda-multiarch-b12076.tar.gz
  • llama-cuda-multiarch-b12076.tar.gz.sha256