`SongInvalidError`を返す対象を拡大する

[qryxip]

内容

VOICEVOX Songは実装当初から、いくつかの種類の入力を弾いて400 Bad Requestを返すようになっています。しかしながら次のような場合において500 Internal Server Errorもしくは異常挙動が起こりうる状態です。

1. ScoreもしくはFrameAudioQueryのframe_lengthが負だと、np.reshape np.repeatの失敗により500 Internal Server Errorが返される。
2. /sing_frame_audio_queryの入力の、一つ先のものが子音モーラであるようなNoteにおいて、frame_lengthが1以下だと_calc_phoneme_lengthsがバグって（？）500 Internal Server Errorが返される。
3. /sing_frame_audio_queryの入力の先頭Noteはpau ("")であると期待されているが、適当な母音モーラも受理してしまう。
4. "notes": []や"phonemes": []を与えると、ONNXモデルが空の入力を拒否することで500 Internal Server Errorが返される。
5. /sing_frame_volumeに負の値のf0を与えると、ONNXモデルがNaNを返すことでJSONシリアライズに失敗して500 Internal Server Errorが返される。
6. f0やvolumeのサイズがframe_lengthの合計値よりも大きい場合、超過した分が無視されて処理される。
7. f0やvolumeのサイズがframe_lengthの合計値よりも小さい場合、足りない分は未初期化メモリが読み出され、場合によっては下記画像のような音声が出力される。もしかしたらSEGVしたりする可能性もあるかもしれない。
   
8. /sing_frame_audio_queryにてoutputSamplingRateを0以下にすると、soxrが拒否するため500 Internal Server Errorが返される。
9. keyが[-301, 298]の範囲から外れると推論が失敗して500 Internal Server Errorが返される。

これらをSongInvalidErrorで拒否するようにします。なおとりあえずはPydanticの層で弾かなくてもよいこととします。ただしその前に1., 2., 3., 8.の扱いを議論したいです。

VOICEVOX CORE側での議論: VOICEVOX/voicevox_core#1234

なおトークの方は現在、TalkInvalidInputErrorが完全に未使用状態であることを補足しておきます。COREの方では「不正なAudioQuery」というのを定義済みです。

Pros 良くなる点

Cons 悪くなる点

実現方法

VOICEVOXのバージョン

OSの種類/ディストリ/バージョン

• Windows
• macOS
• Linux

その他

[Hiroshiba]

• 計算不可・変な音が出うるのはエラー
• 明らかに指定ミスっぽいならエラー
• 計算できるけど意図と違うのはwarning＋ドキュメント
• 計算できるけど意図と違いうるのはドキュメント
• 計算できるけど実装が面倒なのはエラーでも良い

で考えました！（ここに書いたのと似た考え方です）

1. ScoreもしくはFrameAudioQueryのframe_lengthが負だと、np.reshape np.repeatの失敗により500 Internal Server Errorが返される。

→ 計算が定義できないのでエラー

2. /sing_frame_audio_queryの入力の、一つ先のものが子音モーラであるようなNoteにおいて、frame_lengthが1以下だと_calc_phoneme_lengthsがバグって（？）500 Internal Server Errorが返される。

→ 長さ0の音素ができるけど計算はできるし、BPM3000にしたくなるかもしれない（？）。理想はバグらないようにすること。面倒ならエラー。
たぶんバグらないようにする方がメンテは楽そう･･･？
あと長さ0の音素をエラーとするorエラーになるなら、エラーで良さそう。

3. /sing_frame_audio_queryの入力の先頭Noteはpau ("")であると期待されているが、適当な母音モーラも受理してしまう。

→ 明らかに指定ミスっぽいのでエラー

4. "notes": []や"phonemes": []を与えると、ONNXモデルが空の入力を拒否することで500 Internal Server Errorが返される。

→ 指定ミスっぽいしエラーで良さそう

5. /sing_frame_volumeに負の値のf0を与えると、ONNXモデルがNaNを返すことでJSONシリアライズに失敗して500 Internal Server Errorが返される。

→ 指定ミスっぽいのでエラーで良さそう。

6. f0やvolumeのサイズがframe_lengthの合計値よりも大きい場合、超過した分が無視されて処理される。

→ ミスっぽいのでエラーで良さそう。

7. f0やvolumeのサイズがframe_lengthの合計値よりも小さい場合、足りない分は未初期化メモリが読み出され、場合によっては下記画像のような音声が出力される。もしかしたらSEGVしたりする可能性もあるかもしれない。

→ 6同様にエラーで良さそう

8. /sing_frame_audio_queryにてoutputSamplingRateを0以下にすると、soxrが拒否するため500 Internal Server Errorが返される。

→ 計算が定義できないし指定ミスっぽいのでエラーで良さそう。

---

なおとりあえずはPydanticの層で弾かなくてもよいこととします

pydanticでやるのかそうじゃないのかは議論しとくとなお良さそうですね！ cc @tarepan
異常な音やわかりづらいエラーが出るのは良くないので、とりあえずなんでも良いから実装するのがこのissue的にはウェルカムになりそう。

[qryxip]

2. /sing_frame_audio_queryの入力の、一つ先のものが子音モーラであるようなNoteにおいて、frame_lengthが1以下だと_calc_phoneme_lengthsがバグって（？）500 Internal Server Errorが返される。

VOICEVOX COREの方の対応をここで共有しておくと、とりあえずバグらないようにし、長さ1のノートから長さ0の子音音素が誕生したとしても特に警告も出さないようにしてみました。

またついでに、predict_sing_consonant_lengthの推論結果に対して次の性質をチェックするようにしました。

• 「推論されたconsonant_lengthが0以外」==「元のノートが子音を持つ」

[Hiroshiba]

今回のissueと直接関係ないかもですが、音素の長さが0の場合にどうすべきかちょっと考えてみたのでメモです。こんな感じ･･･？

• 考え方：音素の長さ0はなかなか混乱するのでなるべく避けたいが、エラーを出すのも避けたい
  • 長さ0の音素は、そもそもない方が状態として正しいはずで、メンテが混乱する
  • 使う側も長さ0を想定しないといけないので大変になることがある
  • とはいえ「とりあえず音が出れば良い」ときはなんでも良いから音が出てほしいはずで、こっちを尊重する
  • 全体的に長さ0ではエラーを出さないように倒す
• 対応
  • 音素の長さ0はなるべく返さない、推論結果が0以下になっても1を返したい
  • どうしても長さ0の音素を返すときはwarningを出すのがベストだけど、レアケースである今のうちは必須ではない
  • 長さ0を返すことがある場合はドキュメントに書くのがベストだけど、レアケースである今のうちは必須ではない

[qryxip]

9.を追加しました。

9. keyが[-301, 298]の範囲から外れると推論が失敗して500 Internal Server Errorが返される。

VOICEVOX COREでは、keyが取り得る値を[0, 127]にすることで解決しました。(VOICEVOX/voicevox_core#1250)。