粤语词语/彦语一字多音问题

[i998979]

这几天在测试粤语支持的效果时，发现代码貌似没有考虑一字多音的问题。
例如「长者」一词，正确读法该为zoeng2 ze2，但却读成coeng4 ze2。
在原GPT-SoVITS https://github.com/RVC-Boss/GPT-SoVITS/blob/main/GPT_SoVITS/text/cantonese.py 中使用了 https://github.com/CanCLID/ToJyutping 作判断粤语分词的读音，可是在ToJyutping找了一圈也没找到现版本的词语一字多音是如何运作，反而在其中一个pull request的修改纪录中找到词语/彦语的读音 https://raw.githubusercontent.com/rime/rime-cantonese/5b6d334/jyut6ping3.dict.yaml ，可以看一下这两个线索对于修补一字多音问题有没有帮助。

[i998979]

另外，对于粤语这种语言的特性，如 https://github.com/CanCLID/ToJyutping#custom-entries--existing-entries-overriding-or-exclusion 所述，一个词语不同读音有不同意思，在修补的时候可以考虑如ToJyutping般保留一个端口自订读音。

[null-define]

收到, 最近工作比较忙, 我会抽空看下如何实现这个feature.
另外最新的lib已经修复了吸气问题，只需要在参考音频后加一小段的空白音频即可：f922601#diff-b1a35a68f14e696205874893c07fd24fdb88882b47c23cc0e0c80a30c7d53759R564

[null-define]

1.ToJyutping 应该没有多音字分词的支持，并不为多音字提供额外的标注规则。
2. yut6ping3.dict.yaml 确实很有帮助，这种基于规则的匹配的方式已经添加到主线。
3. 有粤语版的g2pw模型，在 https://huggingface.co/Naozumi0512/g2pW-canto-20241206-bert-base ， 理论上可以把普通话的gp2w port过去， 但是这个模型的训练数据集看起来质量一般（都是现有的词典），感觉应该收益不大，我也就没有尝试。

[i998979]

刚刚试了一下，使用yut6ping3.dict.yaml解决一字多音的问题应该是解决了，不过ToJyutping现版本并未使用这个办法，所以也不知道是否可靠，但我看Android Studio logcat里的翻译也大概正确，暂时先不深究。

另外新版本有一个很严重的问题是，相比上次发现onnxslim无法在某此模型进行优化前的版本，新版本的粤语参考音频泄漏十分严重，导致音频完全不可用，普通话也有训练音频泄漏问题，但没粤语严重，然后效能相比优化前版本，在手机端上的效能更是惨不忍睹，我的粤语跟英语模型还没成功加载，应用就先崩溃了。我猜可能是自上次版本后重新启用了的optimize导致？

对于"如ToJyutping般保留一个端口自订读音"，我的意思是在代码端保留一个如 https://github.com/CanCLID/ToJyutping#custom-entries--existing-entries-overriding-or-exclusion 般的接口，让使用者可以单独对某单字/词语自行标示读音，毕竟yut6ping3.dict.yaml里的读音并不完全适用于各个使用场景，此举可对读音保留更大弹性，例如这是我在GPT-SoVITS中自订的读音部分。

syllables = jyutping_converter.get_jyutping_list(text)
syllables = [(char, 'sing4' if jyutping == 'seng4' else jyutping) for char, jyutping in syllables]
syllables = [(char, 'wun3' if jyutping == 'wun6' else jyutping) for char, jyutping in syllables]

这个算是优化吧，但主要问题还是上面提及的参考音频泄漏。

[null-define]

可以把模型架构和推理部分的代码 revert到这个commit看看：
3f61445

也可以取消参考音频的空wav填充看看。

我在sync torch部分的模型代码+填充空wav后，确实出现了相对于之前版本更高频度的输出异常，但是在我的case下输出还是可用的。或者给个你那边问题较为严重的case我看下用公版模型能否复现。

lib崩溃我没有遇到，优化脚本更新后，模型的大小基本没变，x86上测试的性能也基本没有变化。所以没有测试安卓的效果，我晚上下班回去测试下。

[i998979]

也可以取消参考音频的空wav填充看看。

这个部分是?

问题较为严重的case

我輸入的文本是「照顧同行小童及長者」

另外我有尝试编译一个x86_64 .so在Android Studio Emulator上运行的版本，但是没有成功，不知道有没有什么技巧。

[null-define]

空音频填充在： https://github.com/null-define/gpt-sovits-onnx-rs/blob/main/src/lib.rs#L554 和 https://github.com/null-define/gpt-sovits-onnx-rs/blob/main/src/lib.rs#L556， 如果你把commit revert到3f61445 也不会包含这两段代码。

编译Android X86没有尝试过，项目的onnxruntime的构建脚本也没有内置该平台的支持，怀疑是一部分lib错误地使用了aarch64的架构导致的。
不建议在x86上使用Android apk验证。一是效果/精度和理论上和普通cli无差别，且由于onnxruntime实现问题，可能和aarch64存在精度差异。 二是AVD存在虚拟化，可能导致性能上的降低。

崩溃可能是模型和lib不匹配导致的，可以尝试卸载并重新安装app后，load模型看看；或者直接使用编译的cli通过adb shell运行。我没有在我的iqoo13上复现任何崩溃和性能回退。但是我成功在Android设备上复现了较为严重的非普通话输出质量下降（很神奇就），我这边看下引起这个问题的原因。

---

我輸入的文本是「照顧同行小童及長者」

看起来和输入关系不大，我这边没有办法使用我的本地模型复现，你可以根据我的提示尝试下，看下是哪个原因引起的，我这边针对性地再对比下原项目和我的项目可能存在的gap。

[null-define]

我上传了一个分支 https://github.com/null-define/gpt-sovits-onnx-rs/tree/revert/torch_sync ，回退了所有模型结构/输入/输出相关的代码。
你可以看下这个分支是否可以在你的模型+设备上正常工作。
我发现似乎填充0.3s的空音频会导致一些情况下的音频输出质量下降，但是这个0.3s的空音频填充是我和原代码对齐的，就很奇怪：https://github.com/RVC-Boss/GPT-SoVITS/blob/main/api.py#L881

[i998979]

新分支下东西是正常运作的，我猜应该是我输入的文本跟参考音频内容相似的关系？(照顧同行小童及長者 vs 乘客上落車時，請小心月台與車廂間之空隙，及照顧同行嘅小朋友)，但是输入文本跟参考音频高度相似情况下会出现这种情况是有点奇怪。

至于程式崩溃我暂时也没什么头绪，反正新分支下粤语模型看着是没有崩溃的情况出现，其他语言还没测试，模型崩溃前我脑袋先崩溃了，需要点时间整理思绪跟档案。

[null-define]

了解了，可以在x86上跑下未量化的 decoder onnx 看看。或者指定quantize_dynamic的参数per_channel=True, 我怀疑输出异常还是和量化有点关系。

崩溃的情况，可能是粤语的分词/g2p处理有bug导致的。
我普通话的场景下，唯一可以稳定复现的崩溃是模型和lib不匹配导致的崩溃。别的都基本只是打印/返回错误而不会影响程序的继续运行。

如果发生了崩溃可以把对应的输入发下。

[i998979]

刚测了一下，在新分支的x86运行未量化的模型，除了普通话以外都有吞字重复字的问题出现，手机端的我就没特别测了。
然后手机端崩溃的问题我也没再测出来，有的话我再回报。

看到有main branch有新的commit，等等我再测一下

[null-define]

哦，这个不用测试，我这边只是做了一些尝试后提交了，还是存在问题。

之前的版本存在这个问题吗？如果没有的话可否提供一个正常的commit，我对比下两个版本生成的tokens看看。

我这周末打算和torch完全对齐下，如果还是不行的话可能就暂时没思路了

[i998979]

测了几个小时，好几次测试结果都不一致，但总算把范围缩少至2286f99c跟24105940之间，2286f99c是正常的，但24105940就不正常了。

[null-define]

感谢，我这边看下原因

可以注释下revert/torch_sync 分支的https://github.com/null-define/gpt-sovits-onnx-rs/blob/revert/torch_sync/src/lib.rs#L550 看下

看起来只有这个地方和2286f99c 存在不同。

只是注释了这个之后，我这边本地的模型就会出现吸气的问题。