Implement FastSpeech2

[Yugo0000999921]

#1735

[Yugo0000999921]

textなど必要なファイルのコミットを行いました。
推論は単一話者のみ成功しています。

[Yugo0000999921]

複数話者に対しても推論が成功しました。

[kyakuno]

モデルをアップロードしました。
https://storage.googleapis.com/ailia-models/fastspeech2/aishell3.onnx.prototxt

[kyakuno]

コード的には単機能でシンプルにした方が良いと考えていまして、#1764 をマージ後に、Batch SynthesisのREADME.mdからの削除と該当コードの削除をお願いできればと思います。

[Yugo0000999921]

approve changes

[kyakuno]

@Yugo0000999921 下記のコマンドで音声合成した場合、音声の末尾にノイズが入りました。
output.wav

$ python3 fastspeech2.py \
  --text "Hello, I am speaking from a multi-speaker model." \
  --preprocess_config config/LibriTTS/preprocess.yaml \
  --onnx_fs2 libritts.onnx \
  --speaker_id 0

Torchの場合はactual_mel_lenで処理していますが、ONNXをFixed Shapeでエクスポートしてしまっているために、パディングでノイズが発生していると考えています。

    # HiFi-GANのONNXモデルは固定長（3000フレーム）を期待しているため、パディングが必要
    # ただし、元のリポジトリの処理に近づけるため、シンプルなパディングを使用
    HIFI_FIXED_LENGTH = 3000
    hop_length = preprocess_config["preprocessing"]["stft"]["hop_length"]
    actual_mel_len = mel_input.shape[2]

    if actual_mel_len < HIFI_FIXED_LENGTH:
        # 元のリポジトリに近い処理：最後のフレームを繰り返してパディング
        pad_length = HIFI_FIXED_LENGTH - actual_mel_len
        last_frame = mel_input[:, :, -1:]
        padding = np.repeat(last_frame, pad_length, axis=2)
        mel_input = np.concatenate([mel_input, padding], axis=2)
        logger.info(f"Padded mel_input from {actual_mel_len} to {HIFI_FIXED_LENGTH} frames")
    elif actual_mel_len > HIFI_FIXED_LENGTH:
        # 3000フレームを超える場合は切り詰め
        mel_input = mel_input[:, :, :HIFI_FIXED_LENGTH]
        actual_mel_len = HIFI_FIXED_LENGTH
        logger.info(f"Truncated mel_input from {actual_mel_len} to {HIFI_FIXED_LENGTH} frames")

そこで、ONNXをDynamic Shapeでエクスポートして、このノイズを抑制することは可能でしょうか？

また、ONNXで推論した場合の音声ファイルと、Torchで推論した場合の音声ファイルを聞いてみて、概ね一致しているかを確認いただければと思います。

[Yugo0000999921]

dynamic shapeの部分の修正を行いました。また、hifiganのモデルについて、単一話者(LJSpeech)と複数話者(Aishell3,LibriTTS)でモデルを変更する必要があったため、その部分の修正を行いました。
基本的にノイズが消えたことは確認できています。同じ条件でtorchとailiaの推論結果における、波形のMSEや音声のSNR比などももいくつか出力しましたが、ほぼ問題ないと思われます。(必要でしたら共有します！)

結論として、onnxのチェックポイントは計5個あります。(LJspeech,Aishell3,LibriTTS,hifigan_ljspeech,hifigan)
すべてslackで送信させていただきます。

推論コード(fastspeech2.py) 内にもいくつかコメントアウトしております。

[kyakuno]

実装ありがとうございます。モデルを全てアップロードしました。
https://storage.googleapis.com/ailia-models/fastspeech2/aishell3.onnx
など

[kyakuno]

下記のコミットで、ONNXファイルの名前を指定するのではなく、model_nameを指定して、モデルを自動的にダウンロードするようにしました。
5f766fa

[kyakuno]

@Yugo0000999921 onnx.loadではなく、ailiaのAPI（get_input_blob_list、get_output_blob_list、get_blob_name）で取得できるようにしていただければと思います。

[kyakuno]

このオプションを削除して、常にargs.outputにwavを出力するようにしてください。

[Yugo0000999921]

上記の内容を修正しました。