Repository navigation
Releases
v0.3.2
Same model files; faster start of speech and a faster runtime on both chips.
Changed
- Firmware: playback starts as soon as the next chunks are sure to be ready, based on each model's measured RTF, and a slower model streams in smaller chunks. ESP32-S3: M starts speaking after 0.40–0.43 s (was 1.2–1.3 s), S after 0.21–0.27 s. ESP32-P4: M after 0.23–0.27 s (was 0.74–0.90 s), S after 0.08–0.09 s.
- Runtime: register-tiled fp32 conv for the token and duration blocks (about 40% faster), lighter int8 epilogue; bit-exact. ESP32-S3 RTF: S 0.28 → 0.26, M 0.51 → 0.49; ESP32-P4: S 0.17 → 0.15, M 0.27 → 0.24.
profsplits the vocoder into input conv, depthwise + LayerNorm, MLP (pw1, GELU + quantization, pw2), head and iSTFT.
Performance
| Board | Lite model (S): RTF / speech starts | Quality model (M): RTF / speech starts |
|---|---|---|
| ESP32-P4 (NANO, 86-Panel) | 0.15 / 0.08–0.09 s | 0.24 / 0.23–0.27 s |
| ESP32-S3 (EchoEar 2.0, Touch-LCD-2.8) | 0.26 / 0.21–0.27 s | 0.49 / 0.40–0.43 s |
Details: docs/reports/performance.md
Flash a board
gh release download v0.3.2 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32
BOARD=nano ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitorBOARD is panel, nano, s3 or echoear. Model files are CC BY-NC 4.0 (non-commercial); code is Apache-2.0.
v0.3.1
Same model files as v0.3.0; faster runtime, new board, front-end and documentation updates.
Added
- Bilingual Vietnamese + English front-end (Python): token set v2 (v1 + English ARPAbet phonemes and stress, 107 tokens; v1 ids unchanged), CMU Pronouncing Dictionary lexicon, letter-to-sound rules learned from CMUdict for out-of-vocabulary words, English text normalization, and per-word language tagging (modes
vi,en,auto). - Synthetic training data: VoxCPM2 synthesis client and bilingual corpus builder (sentences chosen to cover rare Vietnamese syllables, English and code-switched text). About 98 h of speech per voice for
nam-1(male) andnu-10(female). - Teacher: bilingual training lists (
langcolumn, token set v2), FLAC input resampled on load, warm-start from project checkpoints, a frame budget per batch for long utterances. - Website and documentation: language dropdown with one table per language (model size and RTF per chip), shared content in
docs/site.jsonsynced into the READMEs, self-hosted fonts; English README with a multilingual voice catalog (Vietnamese translation inREADME.vi.md), website with on-chip audio samples, Hugging Face model repository with one folder per voice, runtime optimization research for ESP32-S3 and ESP32-P4, documentation index, runtime README, this changelog and contributing guide. All design documents and reports translated to English. - Pronunciation data per language: Vietnamese tables moved from code to
src/vtts/frontend/lexicons/vi/*.tsv, with a data test and docs/frontend/pronunciation-rules.md (layout, precedence, how to change a reading or add a language). - Runtime speedups (everything in PSRAM): exact streaming with per-layer state; fused depthwise conv + LayerNorm + quantization and GELU + quantization; 64-frame MLP blocks; cached iSTFT window and two-core overlap-add. ESP32-P4: S 0.21–0.24 → 0.17, M 0.38–0.40 → 0.27. ESP32-S3: S 0.42–0.47 → 0.28, M 0.86–0.96 → 0.51, so the quality model is practical on the S3 too. Optional
vtts_set_fast_scratch()for internal SRAM (off in the firmware). A correct fusedld.ipkernel for the S3 behindvtts_s3_kernel, with afusetestcommand. - EchoEar 2.0 board support (
BOARD=echoear).
Changed
- Product codes (upper-case letters + digits such as ESP32, S3, U23, VN123) read their digits one by one: "ESP32-P4" → "e ét pê ba hai pê bốn" / "E S P three two P four" (Python and C).
- Vietnamese letter
sreads "ét" (was "ét xì");smartphone→ "sờ mát phôn"; addedsmarthome→ "sờ mát hôm". firmware/esp32p4/renamed tofirmware/esp32/(it builds for both chips);scripts/device/p4_say.pyrenamed tosay.py.
Performance (RTF, lower is faster)
| Board | Lite model (S) | Quality model (M) |
|---|---|---|
| ESP32-P4 (NANO, 86-Panel) | 0.17 | 0.27 |
| ESP32-S3 (EchoEar 2.0, Touch-LCD-2.8) | 0.28 | 0.51 |
Details: docs/reports/performance.md
Flash a board
gh release download v0.3.1 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32
BOARD=echoear ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitorBOARD is panel, nano, s3 or echoear. Model files are CC BY-NC 4.0 (non-commercial); code is Apache-2.0.
v0.3.0 — faster runtime, ESP32-S3 support (non-commercial models)
Bản này cập nhật runtime và firmware. Hai model giữ nguyên v0.2.0 (cùng file, cùng SHA256): M v0.2 và S v0.1.
Hiệu năng (đo trên chip, 2 lõi, int8):
| Board | Chip | S-vocos RTF | M-vocos v0.2 RTF | Bắt đầu phát (S / M) |
|---|---|---|---|---|
| Waveshare ESP32-P4-86-Panel, ESP32-P4-NANO | ESP32-P4, 360 MHz | 0.20–0.24 | 0.34–0.42 | 0.3–0.5 s / 1.2–1.3 s |
| Waveshare ESP32-S3-Touch-LCD-2.8 (mới) | ESP32-S3R8, 240 MHz, PSRAM 8 MB | 0.42–0.47 | 0.85–0.99 | 0.8 s / 2.4 s |
RTF dưới 1 nghĩa là tổng hợp nhanh hơn thời gian thực. Audio trên chip khớp với runtime chạy trên máy tính, tương quan ≥ 0.99999.
Thay đổi chính:
- Runtime trên ESP32-P4 nhanh hơn khoảng 2,3 lần so với v0.2.0:
- GELU dùng bảng tra.
- Kernel int8 tính nhiều frame trong một lần gọi, vòng lặp được pipeline bằng PIE.
- iSTFT dùng FFT thực.
- Depthwise conv, LayerNorm, lượng tử hoá activation và iSTFT chia cho 2 lõi.
- Thêm board ESP32-P4-NANO (
BOARD=nano). - Thêm port ESP32-S3 (
runtime/ports/esp32s3) và board ESP32-S3-Touch-LCD-2.8 (BOARD=s3):- Loa qua DAC PCM5101, console qua cổng USB của chip.
- S3 cần PSRAM ít nhất 8 MB.
- Trên S3 không dùng lệnh gộp
ee.vmulas.s8.accx.ld.ip, vì khi hai lõi cùng chạy lệnh này thì kết quả đôi khi sai.selftestcó thêm bài kiểm tra hai lõi chạy kernel cùng lúc.
- Firmware:
- Âm lượng mặc định theo từng board.
- In tải CPU từng lõi sau mỗi câu.
- Bỏ qua ký tự rác khi mở cổng serial.
- Teacher: có tùy chọn
--no-cache(tính spectrogram khi train). Thêm script chọn và chuẩn bị dữ liệu LEMAS (CC BY 4.0) để pretrain.
Build:
gh release download v0.3.0 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32p4
BOARD=s3 ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitorBOARD=panel (mặc định), nano hoặc s3. Cần ESP-IDF v6.1.
Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại (lý do như v0.1 và v0.2). Code là Apache-2.0.
Runtime/firmware release; models are unchanged from v0.2.0 (same files and hashes). The ESP32-P4 runtime is about 2.3x faster than in v0.2.0 (S RTF 0.20–0.24, M 0.34–0.42). This release adds the ESP32-P4-NANO board, plus an ESP32-S3 port with the ESP32-S3-Touch-LCD-2.8 board (8 MB PSRAM; S RTF 0.42–0.47, M 0.85–0.99). On the S3 the fused ee.vmulas.s8.accx.ld.ip form is avoided because it returned wrong sums when both cores ran it; selftest now checks for this. Models are CC BY-NC 4.0 (non-commercial only); code is Apache-2.0. Verify downloads with SHA256SUMS.
v0.2.0 — prosody v2 (non-commercial models)
Model M có ngữ điệu v2: thêm bộ dự đoán cao độ và năng lượng tường minh, sửa lỗi đọc quá nhanh. Model S giữ nguyên bản v0.1.
| File | Tham số | CER | UTMOS | Thời lượng TB/câu (thật: 6.08 s) | RTF trên ESP32-P4 |
|---|---|---|---|---|---|
vtts-vi-m-v0.2.q8.vtts |
1.73M | 0.0118 | 2.19 | 5.80 s | 0.79–0.90 |
vtts-vi-m-v0.1 (bản trước, để so sánh) |
1.73M | 0.0124 | 2.08 | 4.95 s | 0.72–0.86 |
vtts-vi-s-v0.1.q8.vtts (không đổi) |
0.77M | 0.023 | 1.86 | — | 0.42 |
So với v0.1: đọc chậm lại gần nhịp người thật, rõ chữ và tự nhiên hơn. Tiếng rít tăng nhẹ (3.3 lên 7.8, vẫn thấp hơn teacher 14.8). Cần firmware và runtime từ commit của bản phát hành này, vì model v0.2 dùng thêm nhánh cao độ.
Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại. Lý do giống v0.1 (teacher khởi tạo từ checkpoint Piper lessac, dữ liệu InfoRe1). Code vẫn là Apache-2.0. Một giọng mới train từ đầu trên VietBibleVox (CC BY-SA 4.0) đang được chuẩn bị cho bản dùng được thương mại.
M model with prosody v2 (explicit pitch/energy predictor, fixed speaking rate). S model unchanged from v0.1. Models are CC BY-NC 4.0 (non-commercial only); code remains Apache-2.0. Verify downloads with SHA256SUMS.
v0.1.0 — prototype models (non-commercial)
Bản prototype đầu tiên: hai model int8 chạy được trên ESP32-P4, kèm firmware mẫu trong repo.
| File | Tham số | Kích thước | CER | UTMOS | RTF trên ESP32-P4 |
|---|---|---|---|---|---|
vtts-vi-m-v0.1.q8.vtts |
1.73M | 2.5 MB | 0.012 | 2.08 | 0.72 |
vtts-vi-s-v0.1.q8.vtts |
0.77M | 1.1 MB | 0.023 | 1.86 | 0.42 |
Nghe audio sinh trên chip ở mục "Nghe thử" trong README.
Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại (nghiên cứu, chạy thử). Teacher được khởi tạo từ checkpoint Piper lessac (dữ liệu gốc chỉ cho dùng phi thương mại), dữ liệu train là InfoRe1 (khoảng 25 giờ, một người đọc). Code trong repo vẫn là Apache-2.0. Bản dùng được cho thương mại sẽ có sau khi train lại trên bản thu âm có bản quyền.
Hạn chế đã biết: ngữ điệu còn hơi đều, đang được cải thiện ở bản sau.
First prototype release: two int8 models for the ESP32-P4 firmware in this repo. Models are licensed CC BY-NC 4.0 (non-commercial research use only); the code remains Apache-2.0. Verify downloads with SHA256SUMS.