Nederlands AI Models and Hardware

AI-modellen en hardware

Voice2Win onderscheidt drie soorten modelwerk. Als u het verschil begrijpt, worden modellen voor kunstmatige intelligentie (AI) en hardware-instellingen veel eenvoudiger.

Werklast	Doel	Technologie
Hoofdtranscriptie	Normaal dicteren, spraakopdrachten, bloktranscriptie en hertranscriptie	Fluister of Parkiet
Streamtranscriptie	Zeer vroege tussentijdse resultaten tijdens opname	Apart Sherpa-ONNX online-model
AI-verbetering	Herziet of transformeert tekst	Ingebouwd Gemma-model, Ollama, LM Studio of een gedeelde Voice2Win-instantie

Parakeet is een belangrijke transcriptie-engine, geen streammodel.

Fluister of parkiet

Fluister

OpenAI Whisper biedt zeer goede offline herkenning in vele talen. Het gebruikt meer hulpbronnen en is meestal langzamer dan Parkiet. Acceleratie van de grafische kaart wordt aanbevolen voor grote modellen en real-time bloktranscriptie.

Parkiet

NVIDIA Parakeet V3 is veel efficiënter en presteert goed op de hoofdprocessor. Het is mogelijk iets minder foutloos dan Whisper en ondersteunt een kleinere taalset. Selecteer dit wanneer snelheid en een lager gebruik van hulpbronnen belangrijker zijn dan maximale meertalige dekking.

De AI-modellen-instellingen tonen alleen modellen die tot de geselecteerde engine behoren. Gebruik Modellen beheren om modelbestanden te downloaden of te verwijderen. De lijst met huidige modellen in het hoofdvenster selecteert vervolgens tussen gedownloade modellen.

Runtime-toewijzing

De tabel hoofdprocessor (CPU) / grafische kaarten (GPU) en AI Model Assignment wijst audiotranscriptie en AI-verbetering onafhankelijk toe.

• Hoofdprocessor (CPU) is de meest compatibele keuze, maar kan langzamer zijn.
• Grafische kaart (GPU) versnelt ondersteunde werklasten en toont een prestatiewaarschuwing als de gekozen werklast waarschijnlijk langzaam is of onvoldoende grafisch geheugen heeft.
• Ollama of LM Studio kunnen AI-verbetering bieden vanaf een lokale server. Voer de host en poort in, doorzoek indien gewenst het lokale Internet Protocol versie 4 (IPv4) netwerk, vernieuw de modellenlijst en selecteer een gerapporteerd model.
• Gedeelde Voice2Win-instantie kan audiotranscriptie, AI-verbetering of beide vanaf een andere computer bieden.

Als u een runtime wijzigt, wordt het betreffende model op de achtergrond opnieuw geladen, wat enige tijd kan duren.

Versnelling per platform

• Fluisteren en ingebouwde AI-verbetering maken gebruik van Vulkan grafische versnelling op Windows en Linux; macOS gebruikt het eigen grafische pad.
• Parakeet- en Windows-streamtranscriptie gebruiken DirectML voor grafische versnelling.
• De hoofdprocessor blijft beschikbaar als fallback.

Voice2Win vermijdt bewust het bundelen van CUDA-runtimes vanwege hun pakketgrootte. Een actueel grafisch stuurprogramma met Vulkan- of DirectML-ondersteuning is belangrijker dan het afzonderlijk installeren van CUDA.

Geheugenplanning

Spraak- en AI-modellen kunnen tegelijkertijd aanwezig zijn. Hun gecombineerde geheugenvereiste is van belang:

• Als speciaal grafisch geheugen onvoldoende is, kies dan kleinere of sterker gekwantiseerde modellen.
• Wijs één werklast toe aan de hoofdprocessor en de andere aan de grafische kaart.
• Vermijd het laden van een model waarvan de waarschuwingsschattingen het beschikbare systeem- of grafische geheugen overschrijden; zware paging kan ervoor zorgen dat de hele computer niet meer reageert.
• Gebruik de alternatieve opslaglocatie van het AI-model wanneer schijfcapaciteit, in plaats van geheugen, de beperking is.

Externe AI-servers

Ollama gebruikt standaard 11434; LM Studio gebruikt standaard 1234. Voice2Win vraagt ​​de modellijst van de geselecteerde server op en stuurt alleen verbeteringsprompts naar die geconfigureerde server. Beschikbaarheid van de server, privacy en modelgedrag vallen onder de verantwoordelijkheid van die serverinstallatie.

Een Voice2Win-runtime delen

Eén Voice2Win-computer kan de momenteel geladen spraak- en AI-modellen blootstellen aan andere Voice2Win-instanties:

1. Schakel in Instellingen → AI-modellen het delen van runtime in.
2. Kies een poort en eventueel een wachtwoord.
3. Voeg op de andere computer een gedeeld Voice2Win-exemplaar toe, voer de computernaam of het IPv4-adres, de poort en het wachtwoord in, of zoek in het lokale netwerk.
4. Wijs audiotranscriptie en/of AI-verbetering toe aan de externe rij.

Verbonden clients en informatie over het laatste gebruik worden weergegeven op de deelcomputer. Houd versies op één lijn; een versie die niet overeenkomt kan compatibiliteitsproblemen veroorzaken. Een instantie die zelf een gedeelde runtime gebruikt, kan die runtime niet verder delen.

Deze functie verzendt werklastgegevens via de geconfigureerde netwerkverbinding. Gebruik een vertrouwd netwerk en een wachtwoord wanneer andere gebruikers de poort kunnen bereiken.