Skip to content

Releases

v0.3.2

Choose a tag to compare

@tuanpmt tuanpmt released this 17 Nov 07:02

Same model files; faster start of speech and a faster runtime on both chips.

Changed

  • Firmware: playback starts as soon as the next chunks are sure to be ready, based on each model's measured RTF, and a slower model streams in smaller chunks. ESP32-S3: M starts speaking after 0.40–0.43 s (was 1.2–1.3 s), S after 0.21–0.27 s. ESP32-P4: M after 0.23–0.27 s (was 0.74–0.90 s), S after 0.08–0.09 s.
  • Runtime: register-tiled fp32 conv for the token and duration blocks (about 40% faster), lighter int8 epilogue; bit-exact. ESP32-S3 RTF: S 0.28 → 0.26, M 0.51 → 0.49; ESP32-P4: S 0.17 → 0.15, M 0.27 → 0.24.
  • prof splits the vocoder into input conv, depthwise + LayerNorm, MLP (pw1, GELU + quantization, pw2), head and iSTFT.

Performance

Board Lite model (S): RTF / speech starts Quality model (M): RTF / speech starts
ESP32-P4 (NANO, 86-Panel) 0.15 / 0.08–0.09 s 0.24 / 0.23–0.27 s
ESP32-S3 (EchoEar 2.0, Touch-LCD-2.8) 0.26 / 0.21–0.27 s 0.49 / 0.40–0.43 s

Details: docs/reports/performance.md

Flash a board

gh release download v0.3.2 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32
BOARD=nano ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitor

BOARD is panel, nano, s3 or echoear. Model files are CC BY-NC 4.0 (non-commercial); code is Apache-2.0.

v0.3.1

Choose a tag to compare

@tuanpmt tuanpmt released this 17 Nov 05:08

Same model files as v0.3.0; faster runtime, new board, front-end and documentation updates.

Added

  • Bilingual Vietnamese + English front-end (Python): token set v2 (v1 + English ARPAbet phonemes and stress, 107 tokens; v1 ids unchanged), CMU Pronouncing Dictionary lexicon, letter-to-sound rules learned from CMUdict for out-of-vocabulary words, English text normalization, and per-word language tagging (modes vi, en, auto).
  • Synthetic training data: VoxCPM2 synthesis client and bilingual corpus builder (sentences chosen to cover rare Vietnamese syllables, English and code-switched text). About 98 h of speech per voice for nam-1 (male) and nu-10 (female).
  • Teacher: bilingual training lists (lang column, token set v2), FLAC input resampled on load, warm-start from project checkpoints, a frame budget per batch for long utterances.
  • Website and documentation: language dropdown with one table per language (model size and RTF per chip), shared content in docs/site.json synced into the READMEs, self-hosted fonts; English README with a multilingual voice catalog (Vietnamese translation in README.vi.md), website with on-chip audio samples, Hugging Face model repository with one folder per voice, runtime optimization research for ESP32-S3 and ESP32-P4, documentation index, runtime README, this changelog and contributing guide. All design documents and reports translated to English.
  • Pronunciation data per language: Vietnamese tables moved from code to src/vtts/frontend/lexicons/vi/*.tsv, with a data test and docs/frontend/pronunciation-rules.md (layout, precedence, how to change a reading or add a language).
  • Runtime speedups (everything in PSRAM): exact streaming with per-layer state; fused depthwise conv + LayerNorm + quantization and GELU + quantization; 64-frame MLP blocks; cached iSTFT window and two-core overlap-add. ESP32-P4: S 0.21–0.24 → 0.17, M 0.38–0.40 → 0.27. ESP32-S3: S 0.42–0.47 → 0.28, M 0.86–0.96 → 0.51, so the quality model is practical on the S3 too. Optional vtts_set_fast_scratch() for internal SRAM (off in the firmware). A correct fused ld.ip kernel for the S3 behind vtts_s3_kernel, with a fusetest command.
  • EchoEar 2.0 board support (BOARD=echoear).

Changed

  • Product codes (upper-case letters + digits such as ESP32, S3, U23, VN123) read their digits one by one: "ESP32-P4" → "e ét pê ba hai pê bốn" / "E S P three two P four" (Python and C).
  • Vietnamese letter s reads "ét" (was "ét xì"); smartphone → "sờ mát phôn"; added smarthome → "sờ mát hôm".
  • firmware/esp32p4/ renamed to firmware/esp32/ (it builds for both chips); scripts/device/p4_say.py renamed to say.py.

Performance (RTF, lower is faster)

Board Lite model (S) Quality model (M)
ESP32-P4 (NANO, 86-Panel) 0.17 0.27
ESP32-S3 (EchoEar 2.0, Touch-LCD-2.8) 0.28 0.51

Details: docs/reports/performance.md

Flash a board

gh release download v0.3.1 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32
BOARD=echoear ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitor

BOARD is panel, nano, s3 or echoear. Model files are CC BY-NC 4.0 (non-commercial); code is Apache-2.0.

v0.3.0 — faster runtime, ESP32-S3 support (non-commercial models)

Choose a tag to compare

@tuanpmt tuanpmt released this 16 Nov 13:17

Bản này cập nhật runtime và firmware. Hai model giữ nguyên v0.2.0 (cùng file, cùng SHA256): M v0.2 và S v0.1.

Hiệu năng (đo trên chip, 2 lõi, int8):

Board Chip S-vocos RTF M-vocos v0.2 RTF Bắt đầu phát (S / M)
Waveshare ESP32-P4-86-Panel, ESP32-P4-NANO ESP32-P4, 360 MHz 0.20–0.24 0.34–0.42 0.3–0.5 s / 1.2–1.3 s
Waveshare ESP32-S3-Touch-LCD-2.8 (mới) ESP32-S3R8, 240 MHz, PSRAM 8 MB 0.42–0.47 0.85–0.99 0.8 s / 2.4 s

RTF dưới 1 nghĩa là tổng hợp nhanh hơn thời gian thực. Audio trên chip khớp với runtime chạy trên máy tính, tương quan ≥ 0.99999.

Thay đổi chính:

  • Runtime trên ESP32-P4 nhanh hơn khoảng 2,3 lần so với v0.2.0:
    • GELU dùng bảng tra.
    • Kernel int8 tính nhiều frame trong một lần gọi, vòng lặp được pipeline bằng PIE.
    • iSTFT dùng FFT thực.
    • Depthwise conv, LayerNorm, lượng tử hoá activation và iSTFT chia cho 2 lõi.
  • Thêm board ESP32-P4-NANO (BOARD=nano).
  • Thêm port ESP32-S3 (runtime/ports/esp32s3) và board ESP32-S3-Touch-LCD-2.8 (BOARD=s3):
    • Loa qua DAC PCM5101, console qua cổng USB của chip.
    • S3 cần PSRAM ít nhất 8 MB.
    • Trên S3 không dùng lệnh gộp ee.vmulas.s8.accx.ld.ip, vì khi hai lõi cùng chạy lệnh này thì kết quả đôi khi sai. selftest có thêm bài kiểm tra hai lõi chạy kernel cùng lúc.
  • Firmware:
    • Âm lượng mặc định theo từng board.
    • In tải CPU từng lõi sau mỗi câu.
    • Bỏ qua ký tự rác khi mở cổng serial.
  • Teacher: có tùy chọn --no-cache (tính spectrogram khi train). Thêm script chọn và chuẩn bị dữ liệu LEMAS (CC BY 4.0) để pretrain.

Build:

gh release download v0.3.0 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32p4
BOARD=s3 ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitor

BOARD=panel (mặc định), nano hoặc s3. Cần ESP-IDF v6.1.

Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại (lý do như v0.1 và v0.2). Code là Apache-2.0.


Runtime/firmware release; models are unchanged from v0.2.0 (same files and hashes). The ESP32-P4 runtime is about 2.3x faster than in v0.2.0 (S RTF 0.20–0.24, M 0.34–0.42). This release adds the ESP32-P4-NANO board, plus an ESP32-S3 port with the ESP32-S3-Touch-LCD-2.8 board (8 MB PSRAM; S RTF 0.42–0.47, M 0.85–0.99). On the S3 the fused ee.vmulas.s8.accx.ld.ip form is avoided because it returned wrong sums when both cores ran it; selftest now checks for this. Models are CC BY-NC 4.0 (non-commercial only); code is Apache-2.0. Verify downloads with SHA256SUMS.

v0.2.0 — prosody v2 (non-commercial models)

Choose a tag to compare

@tuanpmt tuanpmt released this 15 Nov 13:59

Model M có ngữ điệu v2: thêm bộ dự đoán cao độ và năng lượng tường minh, sửa lỗi đọc quá nhanh. Model S giữ nguyên bản v0.1.

File Tham số CER UTMOS Thời lượng TB/câu (thật: 6.08 s) RTF trên ESP32-P4
vtts-vi-m-v0.2.q8.vtts 1.73M 0.0118 2.19 5.80 s 0.79–0.90
vtts-vi-m-v0.1 (bản trước, để so sánh) 1.73M 0.0124 2.08 4.95 s 0.72–0.86
vtts-vi-s-v0.1.q8.vtts (không đổi) 0.77M 0.023 1.86 — 0.42

So với v0.1: đọc chậm lại gần nhịp người thật, rõ chữ và tự nhiên hơn. Tiếng rít tăng nhẹ (3.3 lên 7.8, vẫn thấp hơn teacher 14.8). Cần firmware và runtime từ commit của bản phát hành này, vì model v0.2 dùng thêm nhánh cao độ.

Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại. Lý do giống v0.1 (teacher khởi tạo từ checkpoint Piper lessac, dữ liệu InfoRe1). Code vẫn là Apache-2.0. Một giọng mới train từ đầu trên VietBibleVox (CC BY-SA 4.0) đang được chuẩn bị cho bản dùng được thương mại.


M model with prosody v2 (explicit pitch/energy predictor, fixed speaking rate). S model unchanged from v0.1. Models are CC BY-NC 4.0 (non-commercial only); code remains Apache-2.0. Verify downloads with SHA256SUMS.

v0.1.0 — prototype models (non-commercial)

Choose a tag to compare

@tuanpmt tuanpmt released this 15 Nov 08:14

Bản prototype đầu tiên: hai model int8 chạy được trên ESP32-P4, kèm firmware mẫu trong repo.

File Tham số Kích thước CER UTMOS RTF trên ESP32-P4
vtts-vi-m-v0.1.q8.vtts 1.73M 2.5 MB 0.012 2.08 0.72
vtts-vi-s-v0.1.q8.vtts 0.77M 1.1 MB 0.023 1.86 0.42

Nghe audio sinh trên chip ở mục "Nghe thử" trong README.

Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại (nghiên cứu, chạy thử). Teacher được khởi tạo từ checkpoint Piper lessac (dữ liệu gốc chỉ cho dùng phi thương mại), dữ liệu train là InfoRe1 (khoảng 25 giờ, một người đọc). Code trong repo vẫn là Apache-2.0. Bản dùng được cho thương mại sẽ có sau khi train lại trên bản thu âm có bản quyền.

Hạn chế đã biết: ngữ điệu còn hơi đều, đang được cải thiện ở bản sau.


First prototype release: two int8 models for the ESP32-P4 firmware in this repo. Models are licensed CC BY-NC 4.0 (non-commercial research use only); the code remains Apache-2.0. Verify downloads with SHA256SUMS.