TTS Text Frontend Benchmark

TTS Text Frontend Benchmark

CER

G2P

我们使用WER(词错率) 指标评估中文 G2P 系统。

TN

我们使用CER(字错率) 指标评估中文 TN 系统。

CER = (S + D + I) / N

S（substitution） 表示替换的字符数目
D（deletion）表示删除的字符数目
I（insertion）表示插入的字符数目
N 表示参考序列中字符总数

CER值的范围是[0, 无穷大)

测试数据

G2P

测试集使用 BZNSYP。

TN

使用我们收集的 case 作为测试集。

测试结果

G2P

The WER is: 0.026014352515701198

     ,--------------------------------------------------------------------.
     |        | # Snt    # Wrd  | Corr    Sub    Del    Ins    Err  S.Err |
     |--------+-----------------+-----------------------------------------|
     | Sum/Avg|  9996   299181  | 97.3    2.7    0.0    0.0    2.7   52.2 |
     `--------------------------------------------------------------------'

测试脚本在此

TN

The CER is: 0.00730093543235227

      ,-----------------------------------------------------------------.
      |        | # Snt  # Wrd | Corr    Sub    Del    Ins    Err  S.Err |
      |--------+--------------+-----------------------------------------|
      | Sum/Avg|  125    2254 | 99.4    0.1    0.5    0.2    0.8    4.8 |
      `-----------------------------------------------------------------'

测试脚本在此