Ukrainian AI Models and Hardware

Моделі ШІ та обладнання

Voice2Win розділяє три види роботи моделей. Розуміння різниці значно полегшує налаштування моделей штучного інтелекту (ШІ) та обладнання.

Навантаження	Призначення	Технологія
Основна транскрипція	Звичайна диктовка, голосові команди, групова транскрипція та ретранскрипція	Whisper або Parakeet
Потокова транскрипція	Дуже ранні проміжні результати під час запису	Окрема потокова модель Sherpa-ONNX
Покращення ШІ	Переглядає або перетворює текст	Вбудована модель Gemma, Ollama, LM Studio або спільний екземпляр Voice2Win

Parakeet є основним рушієм транскрипції, а не потоковою моделлю.

Whisper або Parakeet

Whisper

OpenAI Whisper забезпечує дуже добре офлайн-розпізнавання багатьох мов. Він використовує більше ресурсів і зазвичай повільніший за Parakeet. Рекомендовано прискорення графічною картою для великих моделей та транскрипції в реальному часі.

Parakeet

NVIDIA Parakeet V3 значно ефективніший і добре працює на центральному процесорі. Він може бути дещо менш точним, ніж Whisper, і підтримує менший набір мов. Обирайте його, коли швидкість і низьке споживання ресурсів важливіші за максимальне багатомовне охоплення.

У налаштуваннях Моделі ШІ (AI Models) показано лише моделі, що належать до обраного рушія. Скористайтеся пунктом Керування моделями (Manage Models), щоб завантажити або видалити файли моделей. Після цього у списку Поточна модель (Current Model) в головному вікні можна вибрати одну із завантажених моделей.

Призначення середовища виконання

Таблиця Призначення основного процесора (CPU) / графічних карт (GPU) та моделей ШІ призначає аудіотранскрипцію та покращення ШІ незалежно.

• Центральний процесор (CPU) є найбільш сумісним вибором, але може працювати повільніше.
• Графічна карта (GPU) прискорює підтримувані робочі навантаження і показує попередження про продуктивність, якщо обране робоче навантаження, ймовірно, буде повільним або не має достатньо відеопам'яті.
• Ollama або LM Studio можуть надавати покращення ШІ з локального сервера. Введіть його адресу й порт, за бажанням виконайте пошук у локальній мережі IPv4, оновіть список моделей і виберіть модель, доступну на сервері.
• Спільний екземпляр Voice2Win може надавати аудіотранскрипцію, покращення ШІ або обидві функції з іншого комп’ютера.

Зміна середовища виконання перезавантажує постраждалу модель у фоновому режимі і може зайняти деякий час.

Прискорення за платформою

• Whisper та вбудоване покращення ШІ використовують графічне прискорення Vulkan на Windows та Linux; macOS використовує свій власний графічний шлях.
• Parakeet і потокова транскрипція у Windows використовують DirectML для графічного прискорення.
• Центральний процесор залишається доступним як резервний варіант.

Voice2Win свідомо не включає середовище виконання CUDA через його вплив на розмір пакета. Наявність актуального графічного драйвера з підтримкою Vulkan або DirectML важливіша за окреме встановлення CUDA.

Планування пам’яті

Моделі мовлення та ШІ можуть одночасно перебувати в пам’яті, тому важливо враховувати їхню сумарну потребу в пам’яті:

• Якщо виділеної відеопам’яті недостатньо, обирайте менші моделі або моделі з вищим ступенем квантування.
• Призначте одне навантаження центральному процесору, а інше — графічній карті.
• Не завантажуйте модель, якщо оцінка її потреби перевищує доступну системну або відеопам’ять; інтенсивне використання файлу підкачки може призвести до зависання всього комп’ютера.
• Використовуйте альтернативне місце зберігання моделей ШІ, коли обмеженням є не оперативна пам’ять, а місце на диску.

Зовнішні сервери ШІ

Ollama за замовчуванням використовує порт 11434; LM Studio за замовчуванням використовує порт 1234. Voice2Win запитує список моделей обраного сервера і надсилає промпти для покращення лише на цей налаштований сервер. Доступність сервера, конфіденційність та поведінка моделей є відповідальністю тієї інсталяції сервера.

Спільне використання середовища виконання Voice2Win

Один комп’ютер Voice2Win може надавати свої завантажені моделі мовлення та ШІ іншим екземплярам Voice2Win:

1. У Налаштування → Моделі ШІ увімкніть спільний доступ до середовища виконання.
2. Виберіть порт і за бажанням пароль.
3. На іншому комп’ютері додайте спільну інстанцію Voice2Win, введіть назву комп’ютера або IPv4-адресу, порт і пароль, або шукайте у локальній мережі.
4. Призначте Транскрипцію аудіо та/або Покращення за допомогою ШІ віддаленому рядку.

Підключені клієнти та інформація про останнє використання відображаються на комп’ютері, що надає спільний доступ. Підтримуйте сумісні версії; їхня невідповідність може спричинити проблеми. Екземпляр, який сам використовує спільне середовище виконання, не може передавати його далі.

Ця функція передає дані обробки через налаштоване мережеве з’єднання. Використовуйте довірену мережу та пароль, коли інші користувачі можуть отримати доступ до порту.