Cosyvoice3vllm、trt、fp16都不能正常启用吗？

[hjj-lmx]

clone_model = CosyVoice3(os.path.join("checkpoints", "Fun-CosyVoice3-0.5B"), load_trt=True, load_vllm=True,
                         fp16=True)                    

for chunk in clone_model.inference_instruct2(text_content, instruct_text, local_path, "", False,
speed, True):

生成的音频如果保存为MP3会报错nan,如果保存为wav,全是静音。这是什么问题，官方的代码有bug吗？

[double12gzh]

可以使用。没有声音是因为使用了不对 tensorrt 版本。需要使用 tensorrt-cu12==10.13.3.9，另外，也需要注意 transformer 的版本，我用的 4.51.3 和 4.57.1 都没有问题。

[segmentationFaults]

flow decoder 导出 fp16 似乎全是nan

[hjj-lmx]

可以使用。没有声音是因为使用了不对 tensorrt 版本。需要使用 tensorrt-cu12==10.13.3.9，另外，也需要注意 transformer 的版本，我用的 4.51.3 和 4.57.1 都没有问题。

fp16全是NAN

[segmentationFaults]

@double12gzh 你的GPU型号是什么， 会不会是根据GPU型号不同做了不同的优化导致