在cosyvoice2强化学习，token2wav合成时，我发现prompt是随机挑选的，这样和LLM推理出的音色会不一致或者俩音色混淆，是不是应该prompt按照LLM推理的prompt对应的id来选。

[carelessswhisper]

在cosyvoice2强化学习，token2wav合成时，我发现prompt是随机挑选的，这样和LLM推理出的音色会不一致或者俩音色混淆，是不是应该prompt按照LLM推理的prompt对应的id来选。
https://github.com/nvidia-china-sae/mair-hub/blob/main/rl-tutorial/cosyvoice_llm/token2wav_asr_server.py
prompt_speech_list = [get_random_prompt_from_dataset(self.dataset)[1] for i in range(batch_size)]

[yuekaizhang]

@carelessswhisper 好问题，现在的 reward setting 里面，只设置了 wer reward, 音色这部分指标没有测试过，听感上音色训练前后没有受到太大的影响。这样设置也方便使用大量无监督的文本数据。

同时，主导音色的，是 flow matching 部分的 prompt speech。 llm 部分的输入目前的实验都只采用了文本 token, 而不包含 prompt_speech_token。https://github.com/nvidia-china-sae/mair-hub/blob/main/rl-tutorial/cosyvoice_llm/prepare_data.py#L39

如果你有新的实验探索结果，也欢迎分享！

[carelessswhisper]

好的，感谢您的回答。cosy2 token里面音色解耦不干净。LLM不加prompt，会随机出带音色的token，然后flow matching 部分的prompt去强行控制，虽然这样音色相似度会下降，但wer我再去看下会不会上升。

[carelessswhisper]

另外想请教您下，推出来的token 设置最大长度为512。实际推理有效部分也就20s以内，甚至很多是几秒，也就100-200 token，其他全为静音段或者杂音。想请问下，cosy2 的LLM 应该带有：（结束符），但是为啥在您训练框架中，停不下来呢？一直到512才停下来，这样有很长一段是静音/杂音（虽然对asr识别影响较小，但还是有幻读现象，会影响一些的）

[yuekaizhang]

@carelessswhisper max_len 是超参数可以配置，aishell3 文本比较短 512就够了，长文本的句子可以增大一些。

你说的停不下来的现象，我们的实验过程没有遇到

如果你测试的时候没有这个停不下来的问题，我觉得可以不用管。

[carelessswhisper]

好的，感谢您的回复。我遇到的现象和这个兄弟描述的一样。https://github.com/FunAudioLLM/CosyVoice/issues/1463#issuecomment-3179017907，【保存token2wav之后的中间音频，每个音频均是20s，然后末尾是大段的静音段或者噪音，感觉和data.max_response_length=512是对应上的】，这个不用关心是吗？

[yuekaizhang]

@carelessswhisper 这个问题是 cosyvoice2 llm 官方模型才有的，你可以选择前面的训练 step 进行解码，应该可以复现出我们 report 的结果。对于后面的训练 step, 出现静音很长的片段，可以试试检测一下然后做惩罚，不过我没有尝试过。

也可以试试我们 sft 以后的 cosyvoice2 token 预测 llm, 效果会比官方的模型稳定很多。

[carelessswhisper]

抱歉，我上面可能没描述清楚。
我想描述的是，aishell里面很多待推理文本，长度都很短，比如“今天天气怎么样？”这个短句。
如果设置max_len=512，actor产生的token->wav的时候，因为设置512，所以会在“今天天气怎么样？”说完后，有长段静音/杂音，一直持续到20s左右（512token），为什么没有提前终止呢？
然而cosyvocie正常推理，大概LLM推理2-3s左右，就把“今天天气怎么样？”这句话推完了，因为LLM预测到（结束符）就截止了。

[yuekaizhang]

抱歉，我上面可能没描述清楚。 我想描述的是，aishell里面很多待推理文本，长度都很短，比如“今天天气怎么样？”这个短句。 如果设置max_len=512，actor产生的token->wav的时候，因为设置512，所以会在“今天天气怎么样？”说完后，有长段静音/杂音，一直持续到20s左右（512token），为什么没有提前终止呢？ 然而cosyvocie正常推理，大概LLM推理2-3s左右，就把“今天天气怎么样？”这句话推完了，因为LLM预测到（结束符）就截止了。

嗯，如果是官方的模型，比如训练1000步，可能到中间某些步骤会有你上面说的现象，我的做法是选前面的 step 进行解码，选择最好的 checkpoint。同时，我发现训练时候即便有这种现象，推理的时候，也不一定会有。

也可以加我微信交流 13679162366

[carelessswhisper]

@carelessswhisper 这个问题是 cosyvoice2 llm 官方模型才有的，你可以选择前面的训练 step 进行解码，应该可以复现出我们 report 的结果。对于后面的训练 step, 出现静音很长的片段，可以试试检测一下然后做惩罚，不过我没有尝试过。

也可以试试我们 sft 以后的 cosyvoice2 token 预测 llm, 效果会比官方的模型稳定很多。

好的，感谢感谢