Indonesian AI Models and Hardware

Model AI dan Perangkat Keras

Voice2Win memisahkan tiga jenis pekerjaan model. Memahami perbedaan ini membuat pengaturan model dan perangkat keras kecerdasan buatan (AI) menjadi lebih mudah.

Beban Kerja	Tujuan	Teknologi
Transkripsi utama	Dikte normal, perintah suara, transkripsi blok, dan retranskripsi	Whisper atau Parakeet
Transkripsi aliran	Hasil sementara sangat awal saat merekam	Model online Sherpa-ONNX terpisah
Peningkatan AI	Merevisi atau mengubah teks	Model Gemma bawaan, Ollama, LM Studio, atau instance Voice2Win bersama

Parakeet adalah mesin transkripsi utama, bukan model aliran.

Whisper atau Parakeet

Whisper

OpenAI Whisper memberikan pengenalan offline yang sangat baik di berbagai bahasa. Ia menggunakan lebih banyak sumber daya dan biasanya lebih lambat daripada Parakeet. Akselerasi kartu grafis direkomendasikan untuk model besar dan transkripsi blok waktu nyata.

Burung parkit

NVIDIA Parakeet V3 jauh lebih efisien dan performa baik pada prosesor utama. Mungkin sedikit kurang bebas kesalahan dibandingkan Whisper dan mendukung set bahasa yang lebih kecil. Pilih saat kecepatan dan penggunaan sumber daya yang lebih rendah lebih penting daripada cakupan multibahasa maksimal.

Pengaturan AI Models hanya menampilkan model yang termasuk dalam mesin yang dipilih. Gunakan Kelola Model untuk mengunduh atau menghapus file model. Daftar Model Saat Ini di jendela utama kemudian memilih di antara model yang diunduh.

Penugasan runtime

Tabel penugasan prosesor utama (CPU) / kartu grafis (GPU) dan Model AI menetapkan Transkripsi Audio dan Peningkatan AI secara independen.

• Prosesor utama (CPU) adalah pilihan yang paling kompatibel tetapi mungkin lebih lambat.
• Kartu grafis (GPU) mempercepat beban kerja yang didukung dan menampilkan peringatan kinerja jika beban kerja yang dipilih kemungkinan akan lambat atau kekurangan memori grafis.
• Ollama atau LM Studio dapat menyediakan Peningkatan AI dari server lokal. Masukkan host dan port-nya, cari jaringan Internet Protocol versi 4 (IPv4) lokal jika diinginkan, segarkan daftar model, dan pilih model yang dilaporkan.
• Instansi Voice2Win bersama dapat menyediakan transkripsi audio, Peningkatan AI, atau keduanya dari komputer lain.

Mengganti runtime akan memuat ulang model yang terpengaruh di latar belakang dan dapat memakan waktu.

Percepatan berdasarkan platform

• Whisper dan peningkatan AI bawaan menggunakan akselerasi grafis Vulkan di Windows dan Linux; macOS menggunakan jalur grafis bawaannya.
• Parakeet dan transkripsi aliran Windows menggunakan DirectML untuk akselerasi grafis.
• Prosesor utama tetap tersedia sebagai cadangan.

Voice2Win sengaja menghindari menggabungkan runtime CUDA karena ukuran paketnya. Driver grafis saat ini dengan dukungan Vulkan atau DirectML lebih penting daripada menginstal CUDA secara terpisah.

Perencanaan Memori

Model ucapan dan AI dapat berada di memori secara bersamaan. Kebutuhan memori gabungannya penting:

• Jika memori grafis khusus tidak mencukupi, pilih model yang lebih kecil atau yang terkuantisasi lebih kuat.
• Tunjukkan satu beban kerja ke prosesor utama dan yang lainnya ke kartu grafis.
• Hindari memuat model yang perkiraan peringatannya melebihi memori sistem atau grafis yang tersedia; paging berat dapat membuat seluruh komputer tidak responsif.
• Gunakan lokasi penyimpanan AI-model alternatif ketika kapasitas disk, bukan memori, menjadi keterbatasan.

Server AI Eksternal

Ollama menggunakan port default 11434; LM Studio menggunakan port default 1234. Voice2Win menanyakan daftar model server yang dipilih dan mengirimkan prompt peningkatan hanya ke server yang dikonfigurasi tersebut. Ketersediaan server, privasi, dan perilaku model adalah tanggung jawab dari instalasi server tersebut.

Membagikan runtime Voice2Win

Satu komputer Voice2Win dapat mengekspos model bicara dan AI yang sedang dimuat ke instance Voice2Win lainnya:

1. Di Pengaturan → Model AI, aktifkan berbagi runtime.
2. Pilih port dan opsional kata sandi.
3. Di komputer lain, tambahkan instance Voice2Win yang dibagikan, masukkan nama komputer atau alamat IPv4, port, dan kata sandi, atau cari di jaringan lokal.
4. Tetapkan Transkripsi Audio dan/atau Peningkatan AI ke baris jarak jauh.

Klien yang terhubung dan informasi penggunaan terakhir ditampilkan di komputer yang berbagi. Pertahankan versi agar selaras; ketidakcocokan versi dapat menyebabkan masalah kompatibilitas. Sebuah instance yang sendiri menggunakan runtime yang dibagikan tidak dapat membagikan runtime tersebut ke lain.

Fitur ini mengirimkan data beban kerja melalui koneksi jaringan yang dikonfigurasi. Gunakan jaringan yang tepercaya dan kata sandi ketika pengguna lain dapat mengakses port.