[TTS]在TTSArmLinux基础上实现英文tts

[nuo900617]

使用官方给出的 fastspeech2_ljspeech_pdlite_1.3.0，hifigan_ljspeech_pdlite_1.3.0模型，paddlelite库使用68b66fd35版本，文本预处理得到的phone_id是对的，但最终生成的音频是不对的，声音像鬼畜完全没有词。
fs=22050，请问可能的原因是什么，该怎么排查？
谢谢！

[zxcd]

具体是怎么跑的？

[nuo900617]

int load_tts_model_en(const std::string& tts_path) {
std::string acoustic_model = tts_path + "/fastspeech2_ljspeech_arm.nb";
std::string vocoder = tts_path + "/hifigan_ljspeech_arm.nb";
std::string FLAGS_wav_bit_depth = "16";
if (FLAGS_wav_bit_depth == "16") {
predictor_en = new Predictor<int16_t>();
} else if (FLAGS_wav_bit_depth == "32") {
predictor_en = new Predictor();
} else {
LOG(ERROR) << "Unsupported WAV bit depth: " << FLAGS_wav_bit_depth;
return -1;
}

    /////////////////////////// 前端：文本转音素 ///////////////////////////

    // 实例化文本前端引擎
    en_front_inst = new ppspeech::EnFrontEngineInterface(tts_path);
    const PowerMode cpuPowerMode = PowerMode::LITE_POWER_FULL;
    if (!predictor_en->Init(acoustic_model,
                         vocoder,
                         cpuPowerMode,
                         cpuThreadNum,
                         wavSampleRate_en)) {
        INFOE("Failed to init predictor_en");
        return -1;
    }
    return 0;
}

int generate_tts_data_en(const std::string& sentence, const std::string& wav_path) {
    // 文本预处理
    std::string normalized_sentence = en_front_inst->PreprocessInput(sentence);
    // 分句
    std::vector<std::string> sentence_part;
    en_front_inst->SplitByPunc(normalized_sentence, &sentence_part);

    // 获取音素id
    std::vector<int> phone_ids;
    for (int i = 0; i < sentence_part.size(); i++) {
        std::string part = en_front_inst->NormalizeSentence(sentence_part[i]);
        if (0 !=
            en_front_inst->GetSentenceIds(part, &phone_ids)) {
            INFOE(
                "Failed to get the phoneme id sequence of the "
                "sentence");
            return -1;
        }
    }
    
    std::vector<int64_t> phones(phone_ids.size());
    std::transform(
        phone_ids.begin(), phone_ids.end(), phone_ids.begin(), [](int x) {
            return static_cast<int64_t>(x);
    });

    // 推理
    if (!predictor_en->RunModel(phones)) {
        INFOE("Failed to run predictor_en");
        return -1;
    }

    // 写文件
    if (!predictor_en->WriteWavToFile(wav_path)) {
        INFOE("Failed to write wav file");
        return -1;
    }

    INFO("generate_tts_data_en success!");
    return 0;
}

第一个函数加载模型，第二个函数生成wav，麻烦看一下，用pwgan_ljspeech_pdlite_1.3.0这个模型，在推理那步直接segmentation fault， 用hifigan_ljspeech_arm.nb这个模型，可以生成但是音频不正常。

[zxcd]

在前端文本正确的情况下要区分是声学模型的问题还是声码器的问题。建议使用python API跑通后对比c++的两个模型的输出分别对照看下问题在哪里。