Skip to content

v0.3.0 — faster runtime, ESP32-S3 support (non-commercial models)

Choose a tag to compare

@tuanpmt tuanpmt released this 16 Nov 13:17
· 125 commits to main since this release

Bản này cập nhật runtime và firmware. Hai model giữ nguyên v0.2.0 (cùng file, cùng SHA256): M v0.2 và S v0.1.

Hiệu năng (đo trên chip, 2 lõi, int8):

Board Chip S-vocos RTF M-vocos v0.2 RTF Bắt đầu phát (S / M)
Waveshare ESP32-P4-86-Panel, ESP32-P4-NANO ESP32-P4, 360 MHz 0.20–0.24 0.34–0.42 0.3–0.5 s / 1.2–1.3 s
Waveshare ESP32-S3-Touch-LCD-2.8 (mới) ESP32-S3R8, 240 MHz, PSRAM 8 MB 0.42–0.47 0.85–0.99 0.8 s / 2.4 s

RTF dưới 1 nghĩa là tổng hợp nhanh hơn thời gian thực. Audio trên chip khớp với runtime chạy trên máy tính, tương quan ≥ 0.99999.

Thay đổi chính:

  • Runtime trên ESP32-P4 nhanh hơn khoảng 2,3 lần so với v0.2.0:
    • GELU dùng bảng tra.
    • Kernel int8 tính nhiều frame trong một lần gọi, vòng lặp được pipeline bằng PIE.
    • iSTFT dùng FFT thực.
    • Depthwise conv, LayerNorm, lượng tử hoá activation và iSTFT chia cho 2 lõi.
  • Thêm board ESP32-P4-NANO (BOARD=nano).
  • Thêm port ESP32-S3 (runtime/ports/esp32s3) và board ESP32-S3-Touch-LCD-2.8 (BOARD=s3):
    • Loa qua DAC PCM5101, console qua cổng USB của chip.
    • S3 cần PSRAM ít nhất 8 MB.
    • Trên S3 không dùng lệnh gộp ee.vmulas.s8.accx.ld.ip, vì khi hai lõi cùng chạy lệnh này thì kết quả đôi khi sai. selftest có thêm bài kiểm tra hai lõi chạy kernel cùng lúc.
  • Firmware:
    • Âm lượng mặc định theo từng board.
    • In tải CPU từng lõi sau mỗi câu.
    • Bỏ qua ký tự rác khi mở cổng serial.
  • Teacher: có tùy chọn --no-cache (tính spectrogram khi train). Thêm script chọn và chuẩn bị dữ liệu LEMAS (CC BY 4.0) để pretrain.

Build:

gh release download v0.3.0 -R tuanpmt/vtts -p '*.vtts' -D models
cd firmware/esp32p4
BOARD=s3 ./build.sh ../../models/vtts-vi-s-v0.1.q8.vtts ../../models/vtts-vi-m-v0.2.q8.vtts -p PORT flash monitor

BOARD=panel (mặc định), nano hoặc s3. Cần ESP-IDF v6.1.

Giấy phép model: CC BY-NC 4.0, chỉ dùng phi thương mại (lý do như v0.1 và v0.2). Code là Apache-2.0.


Runtime/firmware release; models are unchanged from v0.2.0 (same files and hashes). The ESP32-P4 runtime is about 2.3x faster than in v0.2.0 (S RTF 0.20–0.24, M 0.34–0.42). This release adds the ESP32-P4-NANO board, plus an ESP32-S3 port with the ESP32-S3-Touch-LCD-2.8 board (8 MB PSRAM; S RTF 0.42–0.47, M 0.85–0.99). On the S3 the fused ee.vmulas.s8.accx.ld.ip form is avoided because it returned wrong sums when both cores ran it; selftest now checks for this. Models are CC BY-NC 4.0 (non-commercial only); code is Apache-2.0. Verify downloads with SHA256SUMS.