v2.7.0 — ASR Evaluation (WhisperModel + WER/CER)
Milestone #21: ASR — Automatic Speech Recognition Evaluation
New Features
- WhisperModel: 新增 Whisper API (
/v1/audio/transcriptions) LLM 後端，相容 OpenAI、Groq、faster-whisper-server - ASRExtractor + ASRScorer: 自動依語言選擇 WER（英文）或 CER（中文/日文/韓文），含 text normalization pipeline
- Chat Completions 多模態支援: 透過現有 OpenAIModel 搭配 audio_url 內容，支援 Qwen2-Audio 等多模態模型
- 4 個 ASR Benchmark: LibriSpeech、Aishell-1、Fleurs、Common Voice（總計 23 個可下載 benchmark）
- Optional dependency:
pip install twinkle-eval[asr]（jiwer）
Benchmark Results
使用 Breeze-ASR-25 + Common Voice TW 50 筆測試：
- CER: 3.80%
- 並行加速: 7.5x（vs sequential）