Vietnamese AI Models and Hardware

Mô Hình AI và Phần Cứng

Voice2Win phân tách ba loại công việc mô hình. Hiểu được sự khác biệt giúp việc cài đặt mô hình và phần cứng trí tuệ nhân tạo (AI) dễ dàng hơn nhiều.

Khối lượng công việc	Mục đích	Công nghệ
Ghi chép chính	Ghi âm bình thường, lệnh giọng nói, ghi chép khối và ghi chép lại	Whisper hoặc Parakeet
Ghi chép trực tuyến	Kết quả tạm thời rất sớm trong khi ghi âm	Mô hình Sherpa-ONNX trực tuyến riêng biệt
Nâng cấp AI	Chỉnh sửa hoặc biến đổi văn bản	Mô hình Gemma tích hợp, Ollama, LM Studio, hoặc một phiên bản Voice2Win chia sẻ

Parakeet là động cơ ghi chép chính, không phải mô hình trực tuyến.

Whisper hoặc Parakeet

Whisper

OpenAI Whisper cung cấp khả năng nhận dạng ngoại tuyến rất tốt trên nhiều ngôn ngữ. Nó sử dụng nhiều tài nguyên hơn và thường chậm hơn Parakeet. Đề xuất sử dụng tăng tốc bằng card đồ họa cho các mô hình lớn và chuyển đổi văn bản theo khối thời gian thực.

Parakeet

NVIDIA Parakeet V3 hiệu quả hơn nhiều và hoạt động tốt trên bộ xử lý chính. Nó có thể ít chính xác hơn Whisper một chút và hỗ trợ tập hợp ngôn ngữ nhỏ hơn. Chọn nó khi tốc độ và sử dụng tài nguyên thấp quan trọng hơn khả năng đa ngôn ngữ tối đa.

Các cài đặt AI Models chỉ hiển thị các mô hình thuộc về công cụ được chọn. Sử dụng Manage Models để tải xuống hoặc xóa các tệp mô hình. Danh sách Current Model trong cửa sổ chính sau đó chọn giữa các mô hình đã tải xuống.

Phân công thời gian chạy

Bảng Bộ xử lý chính (CPU) / card đồ họa (GPU) và Phân công Mô hình AI phân công Phiên âm âm thanh và Tăng cường AI một cách độc lập.

• Bộ xử lý chính (CPU) là lựa chọn tương thích nhất nhưng có thể chậm hơn.
• Card đồ họa (GPU) tăng tốc các khối lượng công việc được hỗ trợ và hiển thị cảnh báo hiệu suất nếu khối lượng công việc được chọn có khả năng chậm hoặc không đủ bộ nhớ đồ họa.
• Ollama hoặc LM Studio có thể cung cấp Tăng cường AI từ máy chủ cục bộ. Nhập máy chủ và cổng của nó, tìm kiếm mạng Giao thức Internet phiên bản 4 (IPv4) cục bộ nếu cần, làm mới danh sách mô hình và chọn mô hình được báo cáo.
• Phiên bản Voice2Win chia sẻ có thể cung cấp phiên âm âm thanh, Tăng cường AI, hoặc cả hai từ một máy tính khác.

Thay đổi môi trường chạy sẽ tải lại mô hình bị ảnh hưởng ở nền và có thể mất một thời gian.

Tăng tốc theo nền tảng

• Whisper và AI Enhancement tích hợp sử dụng tăng tốc đồ họa Vulkan trên Windows và Linux; macOS sử dụng đường dẫn đồ họa gốc của nó.
• Parakeet và phiên âm trực tuyến Windows sử dụng DirectML để tăng tốc đồ họa.
• Bộ xử lý chính vẫn có sẵn để dự phòng.

Voice2Win cố tình tránh việc gói kèm runtime CUDA vì kích thước gói của chúng. Một driver đồ họa hiện tại hỗ trợ Vulkan hoặc DirectML quan trọng hơn việc cài đặt CUDA riêng biệt.

Kế hoạch bộ nhớ

Mô hình giọng nói và AI có thể tồn tại cùng lúc. Yêu cầu bộ nhớ kết hợp của chúng là quan trọng:

• Nếu bộ nhớ đồ họa chuyên dụng không đủ, hãy chọn các mô hình nhỏ hơn hoặc có lượng lượng tử hóa cao hơn.
• Gán một khối công việc cho bộ xử lý chính và khối còn lại cho card đồ họa.
• Tránh tải một mô hình có ước lượng cảnh báo vượt quá bộ nhớ hệ thống hoặc đồ họa khả dụng; việc phân trang nặng có thể khiến toàn bộ máy tính không phản hồi.
• Sử dụng vị trí lưu trữ mô hình AI thay thế khi hạn chế là dung lượng đĩa, thay vì bộ nhớ.

Máy chủ AI bên ngoài

Ollama mặc định sử dụng cổng 11434; LM Studio mặc định sử dụng cổng 1234. Voice2Win truy vấn danh sách mô hình của máy chủ đã chọn và chỉ gửi các lời nhắc cải tiến tới máy chủ đã cấu hình đó. Khả năng sẵn sàng của máy chủ, quyền riêng tư và hành vi của mô hình thuộc trách nhiệm của cài đặt máy chủ đó.

Chia sẻ thời gian chạy Voice2Win

Máy tính One Voice2Win có thể tiết lộ các mô hình giọng nói và AI hiện đang tải của nó cho các phiên bản Voice2Win khác:

1. Trong Cài đặt → Mô hình AI, bật chia sẻ thời gian chạy.
2. Chọn một cổng và tùy chọn mật khẩu.
3. Trên máy tính khác, thêm một phiên bản Voice2Win được chia sẻ, nhập tên máy tính hoặc địa chỉ IPv4, cổng và mật khẩu, hoặc tìm trong mạng cục bộ.
4. Gán Ghi âm âm thanh và/hoặc Nâng cao AI cho hàng từ xa.

Các khách hàng đã kết nối và thông tin lần sử dụng cuối được hiển thị trên máy tính chia sẻ. Giữ các phiên bản đồng bộ; sự khác nhau về phiên bản có thể gây ra vấn đề tương thích. Một phiên bản đang sử dụng runtime được chia sẻ không thể chia sẻ runtime đó tiếp.

Tính năng này gửi dữ liệu khối lượng công việc qua kết nối mạng đã cấu hình. Sử dụng mạng tin cậy và mật khẩu khi người dùng khác có thể truy cập cổng.