Svenska AI Models and Hardware

AI-modeller och hårdvara

Voice2Win separerar tre typer av modellarbete. Att förstå skillnaden gör artificiell intelligens (AI) modell och hårdvaruinställningar mycket enklare.

Arbetsbelastning	Syfte	Teknik
Huvudtransskription	Normal diktering, röstkommandon, blocktranskription och omtranskribering	Viska eller parakit
Stream transkription	Mycket tidiga interimsresultat vid inspelning	Separat Sherpa-ONNX onlinemodell
AI-förbättring	Reviderar eller omvandlar text	Inbyggd Gemma-modell, Ollama, LM Studio eller en delad Voice2Win-instans

Parakeet är en huvudtranskriptionsmotor, inte en strömmodell.

Viska eller parakit

Viska

OpenAI Whisper ger mycket bra offlineigenkänning på många språk. Den använder mer resurser och är vanligtvis långsammare än Parakeet. Grafikkortsacceleration rekommenderas för stora modeller och blocktranskription i realtid.

Parakit

NVIDIA Parakeet V3 är mycket effektivare och fungerar bra på huvudprocessorn. Det kan vara något mindre felfritt än Whisper och stöder en mindre språkuppsättning. Välj det när hastighet och lägre resursanvändning är viktigare än maximal flerspråkig täckning.

Inställningarna för AI-modeller visar endast modeller som tillhör den valda motorn. Använd Hantera modeller för att ladda ner eller ta bort modellfiler. Huvudfönstrets lista över aktuella modeller väljer sedan bland nedladdade modeller.

Runtime assignment

Tabellen huvudprocessor (CPU)/grafikkort (GPU) och AI Model Assignment tilldelar ljudtranskription och AI Enhancement oberoende.

• Huvudprocessor (CPU) är det mest kompatibla valet men kan vara långsammare.
• Grafikkort (GPU) accelererar arbetsbelastningar som stöds och visar en prestandavarning om den valda arbetsbelastningen sannolikt är långsam eller saknar tillräckligt med grafikminne.
• Ollama eller LM Studio kan tillhandahålla AI Enhancement från en lokal server. Ange dess värd och port, sök i det lokala Internet Protocol version 4 (IPv4)-nätverket om så önskas, uppdatera modelllistan och välj en rapporterad modell.
• Delad Voice2Win-instans kan tillhandahålla ljudtranskription, AI Enhancement eller båda från en annan dator.

Att ändra en körtid laddar om den berörda modellen i bakgrunden och kan ta lite tid.

Acceleration per plattform

• Whisper och inbyggd AI Enhancement använder Vulkan-grafikacceleration på Windows och Linux; macOS använder sin inbyggda grafikväg.
• Parakeet och Windows stream transkription använder DirectML för grafikacceleration.
• Huvudprocessorn förblir tillgänglig som reserv.

Voice2Win undviker medvetet att bunta CUDA-körtider på grund av deras paketstorlek. En aktuell grafikdrivrutin med Vulkan- eller DirectML-stöd är viktigare än att installera CUDA separat.

Minnesplanering

Tal- och AI-modeller kan vara inbyggda samtidigt. Deras kombinerade minneskrav spelar roll:

• Om det dedikerade grafikminnet är otillräckligt, välj mindre eller mer kraftigt kvantiserade modeller.
• Tilldela en arbetsbelastning till huvudprocessorn och den andra till grafikkortet.
• Undvik att ladda en modell vars varningsuppskattningar överstiger tillgängligt system- eller grafikminne; tung personsökning kan göra att hela datorn inte svarar.
• Använd den alternativa lagringsplatsen för AI-modellen när diskkapacitet, snarare än minne, är begränsningen.

Externa AI-servrar

Ollama har som standard port 11434; LM Studio har som standard port 1234. Voice2Win frågar efter den valda serverns modelllista och skickar förbättringsuppmaningar endast till den konfigurerade servern. Servertillgänglighet, sekretess och modellbeteende är ansvaret för den serverinstallationen.

Dela en Voice2Win-körtid

En Voice2Win-dator kan exponera sina för närvarande laddade tal- och AI-modeller för andra Voice2Win-instanser:

1. Aktivera körtidsdelning i Inställningar → AI-modeller.
2. Välj en port och eventuellt ett lösenord.
3. På den andra datorn, lägg till en delad Voice2Win-instans, ange dess datornamn eller IPv4-adress, port och lösenord, eller sök i det lokala nätverket.
4. Tilldela ljudtranskription och/eller AI-förbättring till fjärrraden.

Anslutna klienter och information om senaste användning visas på delningsdatorn. Håll versionerna anpassade; en version som inte matchar kan orsaka kompatibilitetsproblem. En instans som själv förbrukar en delad körtid kan inte dela den körtiden vidare.

Den här funktionen skickar arbetsbelastningsdata över den konfigurerade nätverksanslutningen. Använd ett pålitligt nätverk och ett lösenord när andra användare kan nå porten.